Пробит модель - Probit model

В статистика, а пробит модель это тип регресс где зависимая переменная может принимать только два значения, например, женат или не женат. Слово это чемодан, приходящий из проблемаспособность + ООНЭто.^[1] Цель модели - оценить вероятность того, что наблюдение с определенными характеристиками попадет в определенную категорию; более того, классификация наблюдений на основе их предсказанных вероятностей - это тип двоичная классификация модель.

А пробит модель - популярная спецификация для модель двоичного ответа. Таким образом, он решает тот же набор проблем, что и логистическая регрессия используя аналогичные методы. При просмотре в обобщенная линейная модель рамки, пробит-модель использует пробит функция ссылки.^[2] Чаще всего оценивается с помощью максимальная вероятность процедура,^[3] такая оценка называется пробит регресс.

Концептуальная основа

Предположим, что переменная ответа Y является двоичный, то есть может иметь только два возможных исхода которые мы обозначим как 1 и 0. Например, Y может представлять наличие / отсутствие определенного условия, успех / отказ какого-либо устройства, ответ да / нет в опросе и т. д. У нас также есть вектор регрессоры Икс, которые, как предполагается, влияют на результат Y. В частности, мы предполагаем, что модель имеет вид

{ Displaystyle Pr (Y = 1 середина X) = Phi (X ^ {T} beta),}

где Pr обозначает вероятность, а Φ - кумулятивная функция распределения (CDF ) стандарта нормальное распределение. Параметры β обычно оцениваются максимальная вероятность.

Пробит-модель можно мотивировать как скрытая переменная модель. Предположим, что существует вспомогательная случайная величина

{ Displaystyle Y ^ { ast} = X ^ {T} beta + varepsilon,}

где ε ~ N(0, 1). потом Y можно рассматривать как индикатор того, является ли эта скрытая переменная положительной:

{ displaystyle Y = left. { begin {cases} 1 & Y ^ {*}> 0 0 & { text {else}} end {ases}} right } = left. { begin {cases} } 1 & X ^ {T} beta + varepsilon> 0 0 & { text {иначе}} end {case}} right }}

Использование стандартного нормального распределения не вызывает потеря общности по сравнению с использованием нормального распределения с произвольным средним и стандартным отклонением, потому что добавление фиксированной величины к среднему можно компенсировать путем вычитания той же суммы из точки пересечения, а умножение стандартного отклонения на фиксированную величину можно компенсировать путем умножения веса на такое же количество.

Чтобы убедиться, что эти две модели эквивалентны, обратите внимание, что

{ Displaystyle { begin {align} & Pr (Y = 1 mid X) = {} & Pr (Y ^ { ast}> 0) = {} & Pr (X ^ { T} beta + varepsilon> 0) = {} & Pr ( varepsilon> -X ^ {T} beta) = {} & Pr ( varepsilon

Оценка модели

Оценка максимального правдоподобия

Предположим набор данных ${ displaystyle {y_ {i}, x_ {i} } _ {i = 1} ^ {n}}$ содержит п независимый статистические единицы соответствует модели выше.

Для одиночного наблюдения, зависящего от вектора входных данных этого наблюдения, мы имеем:

{ Displaystyle Pr (y_ {i} = 1 | x_ {i}) = Phi (x_ {i} ' beta)}

^{[требуется разъяснение ]}

{ Displaystyle Pr (y_ {i} = 0 | x_ {i}) = 1- Phi (x_ {i} ' beta)}

где ${ displaystyle x_ {i}}$ вектор ${ displaystyle K times 1}$ входы и ${ displaystyle beta}$ это ${ displaystyle K times 1}$ вектор коэффициентов.

Вероятность единичного наблюдения ${ Displaystyle (у_ {я}, х_ {я})}$ затем

{ displaystyle { mathcal {L}} ( beta; y_ {i}, x_ {i}) = Phi (x_ {i} ' beta) ^ {y_ {i}} [1- Phi (x_ {i} ' beta)] ^ {(1-y_ {i})}}

Фактически, если ${ displaystyle y_ {i} = 1}$ , тогда ${ displaystyle { mathcal {L}} ( beta; y_ {i}, x_ {i}) = Phi (x_ {i} ' beta)}$ , и если ${ displaystyle y_ {i} = 0}$ , тогда ${ displaystyle { mathcal {L}} ( beta; y_ {i}, x_ {i}) = 1- Phi (x_ {i} ' beta)}$ .

Поскольку наблюдения независимы и одинаково распределены, то вероятность всей выборки или совместная вероятность, будет равно произведению вероятностей единичных наблюдений:

{ displaystyle { mathcal {L}} ( beta; Y, X) = prod _ {i = 1} ^ {n} left ( Phi (x_ {i} ' beta) ^ {y_ {i }} [1- Phi (x_ {i} ' beta)] ^ {(1-y_ {i})} right)}

Таким образом, совместная функция логарифмического правдоподобия

{ displaystyle ln { mathcal {L}} ( beta; Y, X) = sum _ {i = 1} ^ {n} { bigg (} y_ {i} ln Phi (x_ {i } ' beta) + (1-y_ {i}) ln ! { big (} 1- Phi (x_ {i}' beta) { big)} { bigg)}}

Оценщик ${ displaystyle { hat { beta}}}$ который максимизирует эту функцию, будет последовательный, асимптотически нормальный и эффективный при условии, что E [XX '] существует и не является единичным. Можно показать, что эта функция логарифмического правдоподобия глобально вогнутый в β, и поэтому стандартные численные алгоритмы оптимизации быстро сходятся к единственному максимуму.

Асимптотическое распределение для ${ displaystyle { hat { beta}}}$ дан кем-то

{ displaystyle { sqrt {n}} ({ hat { beta}} - beta) { xrightarrow {d}} { mathcal {N}} (0, , Omega ^ {- 1 }),}

где

{ Displaystyle Omega = OperatorName {E} { bigg [} { frac { varphi ^ {2} (X ' beta)} { Phi (X' beta) (1- Phi (X ' beta))}} XX '{ bigg]}, qquad { hat { Omega}} = { frac {1} {n}} sum _ {i = 1} ^ {n} { frac { varphi ^ {2} (x '_ {i} { hat { beta}})} { Phi (x' _ {i} { hat { beta}}) (1- Phi (x '_ {i} { hat { beta}}))}} x_ {i} x' _ {i},}

и ${ displaystyle varphi = Phi '}$ - функция плотности вероятности (PDF ) стандартного нормального распределения.

Также доступны полупараметрические и непараметрические методы максимального правдоподобия для пробит-типа и других связанных моделей.^[4]

Метод минимального хи-квадрат Берксона

Этот метод может применяться только при большом количестве наблюдений за переменной ответа. ${ displaystyle y_ {i}}$ с одинаковым значением вектора регрессоров ${ displaystyle x_ {i}}$ (такую ситуацию можно назвать «много наблюдений на ячейку»). Более конкретно модель можно сформулировать следующим образом.

Предположим среди п наблюдения ${ displaystyle {y_ {i}, x_ {i} } _ {i = 1} ^ {n}}$ Есть только Т различные значения регрессоров, которые можно обозначить как ${ Displaystyle {х _ {(1)}, ldots, х _ {(Т)} }}$ . Позволять ${ displaystyle n_ {t}}$ быть количеством наблюдений с ${ Displaystyle х_ {я} = х _ {(т)},}$ и ${ displaystyle r_ {t}}$ количество таких наблюдений с ${ displaystyle y_ {i} = 1}$ . Мы предполагаем, что действительно «много» наблюдений на каждую «ячейку»: для каждой ${ displaystyle t, lim _ {n rightarrow infty} n_ {t} / n = c_ {t}> 0}$ .

Обозначить

{ displaystyle { hat {p}} _ {t} = r_ {t} / n_ {t}}

{ displaystyle { hat { sigma}} _ {t} ^ {2} = { frac {1} {n_ {t}}} { frac {{ hat {p}} _ {t} (1 - { hat {p}} _ {t})} { varphi ^ {2} { big (} Phi ^ {- 1} ({ hat {p}} _ {t}) { big) }}}}

потом Минимальный хи-квадрат Берксона оценщик обобщенный метод наименьших квадратов оценщик в регрессии ${ displaystyle Phi ^ {- 1} ({ hat {p}} _ {t})}$ на ${ Displaystyle х _ {(т)}}$ с весами ${ displaystyle { hat { sigma}} _ {t} ^ {- 2}}$ :

{ displaystyle { hat { beta}} = { Bigg (} sum _ {t = 1} ^ {T} { hat { sigma}} _ {t} ^ {- 2} x _ {(t )} x '_ {(t)} { Bigg)} ^ {- 1} sum _ {t = 1} ^ {T} { hat { sigma}} _ {t} ^ {- 2} x_ {(t)} Phi ^ {- 1} ({ hat {p}} _ {t})}

Можно показать, что эта оценка непротиворечива (как п→ ∞ и Т фиксировано), асимптотически нормальный и эффективный.^{[нужна цитата ]} Его преимущество - наличие закрытой формулы для оценки. Однако этот анализ имеет смысл проводить только тогда, когда отдельные наблюдения недоступны, только их агрегированные подсчеты. ${ displaystyle r_ {t}}$ , ${ displaystyle n_ {t}}$ , и ${ Displaystyle х _ {(т)}}$ (например, при анализе поведения при голосовании).

Выборка Гиббса

Выборка Гиббса пробит-модели возможно, потому что в регрессионных моделях обычно используются нормальные предыдущие распределения по весам, и это распределение сопряжено с нормальным распределением ошибок (и, следовательно, скрытых переменных Y^*). Модель можно описать как

{ displaystyle { begin {align} { boldsymbol { beta}} & sim { mathcal {N}} ( mathbf {b} _ {0}, mathbf {B} _ {0}) [3pt] y_ {i} ^ { ast} mid mathbf {x} _ {i}, { boldsymbol { beta}} & sim { mathcal {N}} ( mathbf {x} '_ {i} { boldsymbol { beta}}, 1) [3pt] y_ {i} & = { begin {cases} 1 & { text {if}} y_ {i} ^ { ast}> 0 0 & { text {иначе}} end {case}} end {align}}}

Исходя из этого, мы можем определить все необходимые условные плотности:

{ displaystyle { begin {align} mathbf {B} & = ( mathbf {B} _ {0} ^ {- 1} + mathbf {X} ' mathbf {X}) ^ {- 1} [3pt] { boldsymbol { beta}} mid mathbf {y} ^ { ast} & sim { mathcal {N}} ( mathbf {B} ( mathbf {B} _ {0} ^ {- 1} mathbf {b} _ {0} + mathbf {X} ' mathbf {y} ^ { ast}), mathbf {B}) [3pt] y_ {i} ^ { ast} mid y_ {i} = 0, mathbf {x} _ {i}, { boldsymbol { beta}} & sim { mathcal {N}} ( mathbf {x} '_ {i } { boldsymbol { beta}}, 1) [y_ {i} ^ { ast} <0] [3pt] y_ {i} ^ { ast} mid y_ {i} = 1, mathbf {x} _ {i}, { boldsymbol { beta}} & sim { mathcal {N}} ( mathbf {x} '_ {i} { boldsymbol { beta}}, 1) [y_ {i} ^ { ast} geq 0] end {выровнено}}}

Результат для β приведено в статье о Байесовская линейная регрессия, хотя и указаны с другими обозначениями.

Единственная хитрость заключается в последних двух уравнениях. Обозначение ${ displaystyle [y_ {я} ^ { ast} <0]}$ это Кронштейн Айверсона, иногда написано ${ displaystyle { mathcal {I}} (y_ {i} ^ { ast} <0)}$ или похожие. Это означает, что распределение должно быть усеченный в пределах заданного диапазона и соответствующим образом масштабируется. В данном конкретном случае усеченное нормальное распределение возникает. Выборка из этого распределения зависит от степени усечения. Если осталась большая часть исходной массы, отбор проб можно легко выполнить с помощью отбраковка - просто выберите число из необрезанного распределения и отклоните его, если оно выходит за рамки ограничения, налагаемого усечением. Однако если отбор проб только из небольшой части исходной массы (например, если отбор проб из одного из хвостов нормального распределения - например, если ${ displaystyle mathbf {x} '_ {я} { boldsymbol { beta}}}$ составляет около 3 или более, и желательна отрицательная выборка), тогда это будет неэффективно, и возникнет необходимость вернуться к другим алгоритмам выборки. Общая выборка из усеченной нормали может быть достигнута с использованием приближения к нормальной CDF и пробит функция, и р имеет функцию rtnorm () для генерации усеченных нормальных выборок.

Оценка модели

Пригодность оцениваемой бинарной модели может быть оценена путем подсчета количества истинных наблюдений, равного 1, и числа, равного нулю, для которого модель назначает правильную предсказанную классификацию, обрабатывая любую оценочную вероятность выше 1/2 (или, ниже 1 / 2), как присвоение прогноза 1 (или 0). Увидеть Логистическая регрессия § Пригодность модели для подробностей.

Производительность при неправильной спецификации

Рассмотрим формулировку модели пробит-модели со скрытыми переменными. Когда отклонение из ${ displaystyle varepsilon}$ при условии ${ displaystyle x}$ не постоянный, а зависит от ${ displaystyle x}$ , то гетероскедастичность проблема возникает. Например, предположим ${ displaystyle y ^ {*} = beta _ {0} + B_ {1} x_ {1} + varepsilon}$ и ${ displaystyle varepsilon mid x sim N (0, x_ {1} ^ {2})}$ где ${ displaystyle x_ {1}}$ является непрерывной положительной объясняющей переменной. При гетероскедастичности пробит-оценка для ${ displaystyle beta}$ обычно непоследовательны, и большинство тестов на коэффициенты недействительны. Что еще более важно, оценка для ${ Displaystyle Р (у = 1 середина х)}$ тоже становится непоследовательным. Чтобы справиться с этой проблемой, исходная модель должна быть преобразована в гомоскедастическую. Например, в том же примере ${ displaystyle 1 [ beta _ {0} + beta _ {1} x_ {1} + varepsilon> 0]}$ можно переписать как ${ displaystyle 1 [ beta _ {0} / x_ {1} + beta _ {1} + varepsilon / x_ {1}> 0]}$ , где ${ Displaystyle varepsilon / x_ {1} mid x sim N (0,1)}$ . Следовательно, ${ Displaystyle P (Y = 1 mid x) = Phi ( beta _ {1} + beta _ {0} / x_ {1})}$ и пробит на ${ displaystyle (1,1 / x_ {1})}$ генерирует непротиворечивую оценку для условная возможность ${ displaystyle P (y = 1 mid x).}$

Когда предположение, что ${ displaystyle varepsilon}$ нормально распределенный, не выполняется, то функциональная форма неверное определение возникает проблема: если модель все еще оценивается как пробит-модель, оценки коэффициентов ${ displaystyle beta}$ непоследовательны. Например, если ${ displaystyle varepsilon}$ следует за логистическая дистрибуция в истинной модели, но модель оценивается пробит, оценки обычно будут меньше истинного значения. Однако противоречивость оценок коэффициентов практически не имеет значения, поскольку оценки для частичные эффекты, ${ displaystyle partial P (y = 1 mid x) / partial x_ {i '}}$ , будут близки к оценкам, данным истинной логит-моделью.^[5]

Чтобы избежать проблемы неправильной спецификации распределения, можно принять общее предположение о распределении для члена ошибки, так что в модель может быть включено множество различных типов распределения. Стоимость - более тяжелые вычисления и меньшая точность увеличения количества параметров.^[6] В большинстве случаев на практике, когда форма распределения указана неправильно, оценки коэффициентов несовместимы, но оценки условной вероятности и частичных эффектов все еще очень хороши.^{[нужна цитата ]}

Можно также использовать полупараметрический или непараметрический подходы, например, с помощью методов локального правдоподобия или непараметрических методов квази-правдоподобия, которые избегают предположений о параметрической форме для индексной функции и устойчивы к выбору функции связи (например, пробит или логит).^[4]

История

Пробит-модель обычно приписывается Честер Блисс, который ввел термин "пробит" в 1934 г.,^[7] и чтобы Джон Гэддум (1933), систематизировавшие более ранние работы.^[8] Однако базовая модель относится к Закон Вебера – Фехнера от Густав Фехнер, опубликовано в Фехнер (1860), и неоднократно открывался заново до 1930-х годов; увидеть Финни (1971), Глава 3.6) и Эйчисон и Браун (1957), Глава 1.2).^[8]

Быстрый метод вычисления максимальная вероятность оценки для пробит-модели были предложены Рональд Фишер как приложение к работе Блисс в 1935 году.^[9]

Смотрите также

использованная литература

^ Оксфордский словарь английского языка, 3-е изд. s.v. пробит (статья от июня 2007 г.): Блисс, К. И. (1934). «Метод пробит». Наука. 79 (2037): 38–39. Дои:10.1126 / science.79.2037.38. PMID 17813446. Эти произвольные единицы вероятности были названы «пробитами».
^ Агрести, Алан (2015). Основы линейных и обобщенных линейных моделей. Нью-Йорк: Вили. С. 183–186. ISBN 978-1-118-73003-4.
^ Олдрич, Джон Х .; Нельсон, Форрест Д .; Адлер, Э. Скотт (1984). Линейная вероятность, логит-модели и пробит-модели. Шалфей. С. 48–65. ISBN 0-8039-2133-0.
^ ^а ^б Park, Byeong U .; Симар, Леопольд; Зеленюк, Валентин (2017). «Непараметрическая оценка динамических моделей дискретного выбора для данных временных рядов» (PDF). Вычислительная статистика и анализ данных. 108: 97–120. Дои:10.1016 / j.csda.2016.10.024.
^ Грин, У. Х. (2003), Эконометрический анализ, Prentice Hall, Upper Saddle River, NJ.
^ Для получения дополнительной информации см .: Каппе, О., Мулин, Э. и Райден, Т. (2005): «Вывод в скрытых марковских моделях», Springer-Verlag New York, глава 2.
^ Блисс, К. И. (1934). «Метод пробит». Наука. 79 (2037): 38–39. Дои:10.1126 / science.79.2037.38. PMID 17813446.
^ ^а ^б Крамер 2002, п. 7.
^ Фишер, Р. А. (1935). «Случай нулевых выживших в пробит-анализах». Анналы прикладной биологии. 22: 164–165. Дои:10.1111 / j.1744-7348.1935.tb07713.x. Архивировано из оригинал на 2014-04-30.

Крамер, Дж. С. (2002). Истоки логистической регрессии (PDF) (Технический отчет). 119. Институт Тинбергена. С. 167–178. Дои:10.2139 / ssrn.360300.CS1 maint: ref = harv (ссылка на сайт)
- Опубликовано в: Крамер, Дж. С. (2004). «Ранние истоки логит-модели». Исследования по истории и философии науки Часть C: Исследования по истории и философии биологических и биомедицинских наук. 35 (4): 613–626. Дои:10.1016 / j.shpsc.2004.09.003.
Финни, Д. Дж. (1971). Пробит анализ.CS1 maint: ref = harv (ссылка на сайт)

дальнейшее чтение

Albert, J. H .; Чиб, С. (1993). «Байесовский анализ двоичных и полихотомических данных ответа». Журнал Американской статистической ассоциации. 88 (422): 669–679. Дои:10.1080/01621459.1993.10476321. JSTOR 2290350.
Амемия, Такеши (1985). «Модели качественного ответа». Продвинутая эконометрика. Оксфорд: Бэзил Блэквелл. С. 267–359. ISBN 0-631-13345-3.
Гурье, Кристиан (2000). «Простая дихотомия». Эконометрика качественных зависимых переменных. Нью-Йорк: Издательство Кембриджского университета. С. 6–37. ISBN 0-521-58985-1.
Ляо, Тим Футинг (1994). Интерпретация вероятностных моделей: логит-модели, пробит-модели и другие обобщенные линейные модели. Шалфей. ISBN 0-8039-4999-5.
Маккаллах, Питер; Джон Нелдер (1989). Обобщенные линейные модели. Лондон: Чепмен и Холл. ISBN 0-412-31760-5.

внешние ссылки

СМИ, связанные с Пробит модель в Wikimedia Commons
Лекция по эконометрике (тема: Пробит-модель) на YouTube от Марк Тома

[1] Оксфордский словарь английского языка, 3-е изд. s.v. пробит (статья от июня 2007 г.): Блисс, К. И. (1934). «Метод пробит». Наука. 79 (2037): 38–39. Дои:10.1126 / science.79.2037.38. PMID 17813446. Эти произвольные единицы вероятности были названы «пробитами».

[2] Агрести, Алан (2015). Основы линейных и обобщенных линейных моделей. Нью-Йорк: Вили. С. 183–186. ISBN 978-1-118-73003-4.

[3] Олдрич, Джон Х .; Нельсон, Форрест Д .; Адлер, Э. Скотт (1984). Линейная вероятность, логит-модели и пробит-модели. Шалфей. С. 48–65. ISBN 0-8039-2133-0.

[sciencedirect.com-4] а ^б Park, Byeong U .; Симар, Леопольд; Зеленюк, Валентин (2017). «Непараметрическая оценка динамических моделей дискретного выбора для данных временных рядов» (PDF). Вычислительная статистика и анализ данных. 108: 97–120. Дои:10.1016 / j.csda.2016.10.024.

[5] Грин, У. Х. (2003), Эконометрический анализ, Prentice Hall, Upper Saddle River, NJ.

[6] Для получения дополнительной информации см .: Каппе, О., Мулин, Э. и Райден, Т. (2005): «Вывод в скрытых марковских моделях», Springer-Verlag New York, глава 2.

[7] Блисс, К. И. (1934). «Метод пробит». Наука. 79 (2037): 38–39. Дои:10.1126 / science.79.2037.38. PMID 17813446.

[FOOTNOTECramer20027-8] а ^б Крамер 2002, п. 7.

[9] Фишер, Р. А. (1935). «Случай нулевых выживших в пробит-анализах». Анналы прикладной биологии. 22: 164–165. Дои:10.1111 / j.1744-7348.1935.tb07713.x. Архивировано из оригинал на 2014-04-30.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]