Инвариантная оценка - Invariant estimator

Эта статья поднимает множество проблем. Пожалуйста помоги Улучши это или обсудите эти вопросы на страница обсуждения. (Узнайте, как и когда удалить эти сообщения-шаблоны) Эта статья включает в себя список общих использованная литература, но он остается в основном непроверенным, потому что ему не хватает соответствующих встроенные цитаты. Пожалуйста, помогите улучшить эта статья введение более точные цитаты. (Июль 2010 г.) (Узнайте, как и когда удалить этот шаблон сообщения) эта статья нужны дополнительные цитаты для проверка. Пожалуйста помоги улучшить эту статью от добавление цитат в надежные источники. Материал, не полученный от источника, может быть оспорен и удален. Найдите источники: «Инвариантная оценка»  – Новости  · газеты  · книги  · ученый  · JSTOR (Июль 2010 г.) (Узнайте, как и когда удалить этот шаблон сообщения) (Узнайте, как и когда удалить этот шаблон сообщения)

В статистика, концепция быть инвариантная оценка это критерий, который можно использовать для сравнения свойств различных оценщики за такое же количество. Это способ формализовать идею о том, что оценщик должен обладать некоторыми интуитивно привлекательными качествами. Строго говоря, «инвариантный» будет означать, что сами оценки не изменяются, когда и измерения, и параметры преобразуются совместимым образом, но смысл был расширен, чтобы оценки могли изменяться соответствующим образом с такими преобразованиями.^[1] Период, термин эквивариантная оценка используется в формальных математических контекстах, которые включают точное описание взаимосвязи способа, которым оценщик изменяется в ответ на изменения в наборе данных и параметризации: это соответствует использованию "эквивалентность "в более общей математике.

Общие настройки

Задний план

В статистические выводы, есть несколько подходов к теория оценки это можно использовать для немедленного решения, какие оценки следует использовать в соответствии с этими подходами. Например, идеи из Байесовский вывод приведет непосредственно к Байесовские оценки. Точно так же теория классического статистического вывода может иногда приводить к четким выводам о том, какую оценку следует использовать. Однако полезность этих теорий зависит от наличия полностью предписанного статистическая модель и также может зависеть от наличия соответствующей функции потерь для определения оценщика. Таким образом Байесовский анализ могут быть предприняты, что приведет к апостериорному распределению соответствующих параметров, но использование конкретной функции полезности или потерь может быть неясным. Идеи инвариантности затем могут быть применены к задаче резюмирования апостериорного распределения. В других случаях статистический анализ проводится без полностью определенной статистической модели или классическая теория статистического вывода не может быть легко применена, поскольку рассматриваемое семейство моделей не поддается такой обработке. В дополнение к этим случаям, когда общая теория не предписывает оценку, концепция инвариантности оценки может применяться при поиске оценок альтернативных форм, либо для простоты применения оценки, либо для того, чтобы оценка была крепкий.

Концепция инвариантности иногда используется сама по себе как способ выбора между оценками, но это не обязательно окончательно. Например, требование инвариантности может быть несовместимо с требованием, чтобы оценка быть объективной; с другой стороны, критерий срединная непредвзятость определяется в терминах распределения выборки оценщика и поэтому инвариантен при многих преобразованиях.

Одно из применений концепции инвариантности - это когда предлагается класс или семейство оценок, и среди них должна быть выбрана конкретная формулировка. Одна из процедур состоит в том, чтобы наложить соответствующие свойства инвариантности, а затем найти формулировку в этом классе, которая имеет наилучшие свойства, что приводит к так называемой оптимальной инвариантной оценке.

Некоторые классы инвариантных оценок

Есть несколько типов преобразований, которые полезно учитывать при работе с инвариантными оценками. Каждый порождает класс оценок, которые инвариантны к этим конкретным типам преобразований.

• Инвариантность к сдвигу: теоретически оценки параметр местоположения должен быть инвариантным к простым сдвигам значений данных. Если все значения данных увеличиваются на заданную величину, оценка должна измениться на такую ​​же величину. При рассмотрении оценки с использованием средневзвешенное, это требование инвариантности немедленно означает, что суммы весов должны быть равны единице. Хотя тот же результат часто получается из требования к объективности, использование «инвариантности» не требует наличия среднего значения и вообще не использует какое-либо распределение вероятностей.
• Масштабная инвариантность: обратите внимание, что эту тему об инвариантности параметра шкалы оценки не следует путать с более общими масштабная инвариантность о поведении систем при совокупных свойствах (по физике).
• Инвариантность преобразования параметров: здесь преобразование применяется только к параметрам. Идея здесь заключается в том, что, по сути, из данных и модели, включающей параметр θ, следует сделать такой же вывод, как если бы модель использовала параметр φ, где φ - взаимно однозначное преобразование θ, φ =час(θ). Согласно этому типу инвариантности результаты инвариантных преобразований оценок также должны быть связаны соотношением φ =час(θ). Оценщики максимального правдоподобия иметь это свойство, когда преобразование монотонный. Хотя асимптотические свойства оценщика могут быть инвариантными, свойства малой выборки могут отличаться, и необходимо получить конкретное распределение.^[2]
• Инвариантность перестановок: когда набор значений данных может быть представлен статистической моделью, из которой они являются независимые и одинаково распределенные случайные переменные, разумно наложить требование, чтобы любая оценка любого свойства общего распределения была инвариантной к перестановкам: в частности, чтобы оценка, рассматриваемая как функция набора значений данных, не изменялась, если элементы данных меняются местами. в наборе данных.

Комбинация инвариантности перестановок и инвариантности местоположения для оценки параметра местоположения из независимые и одинаково распределенные набор данных с использованием средневзвешенного значения подразумевает, что веса должны быть идентичны и в сумме равны единице. Конечно, могут быть предпочтительнее оценки, отличные от средневзвешенного.

Оптимальные инвариантные оценки

В этой настройке нам дается набор измерений ${ displaystyle x}$ который содержит информацию о неизвестном параметре ${ displaystyle theta}$. Измерения ${ displaystyle x}$ моделируются как векторная случайная величина иметь функция плотности вероятности ${ Displaystyle е (х | тета)}$ который зависит от вектора параметров ${ displaystyle theta}$.

Проблема в том, чтобы оценить ${ displaystyle theta}$ данный ${ displaystyle x}$. Оценка, обозначенная ${ displaystyle a}$, является функцией измерений и принадлежит множеству ${ displaystyle A}$. Качество результата определяется функция потерь ${ Displaystyle L = L (а, тета)}$ что определяет функция риска ${ Displaystyle R = R (a, theta) = E [L (a, theta) | theta]}$. Множества возможных значений ${ displaystyle x}$, ${ displaystyle theta}$, и ${ displaystyle a}$ обозначаются ${ displaystyle X}$, ${ displaystyle Theta}$, и ${ displaystyle A}$соответственно.

В классификации

В статистическая классификация, правило, присваивающее класс новому элементу данных, можно рассматривать как специальный тип оценки. Ряд соображений типа инвариантности можно использовать при формулировании предварительные знания для распознавания образов.

Математическая установка

Определение

Инвариантная оценка - это оценка, которая подчиняется следующим двум правилам:^{[нужна цитата ]}

1. Принцип рациональной инвариантности: действие, предпринимаемое при решении задачи, не должно зависеть от преобразования используемого измерения.
2. Принцип инвариантности: если две задачи решения имеют одинаковую формальную структуру (с точки зрения ${ displaystyle X}$, ${ displaystyle Theta}$, ${ Displaystyle е (х | тета)}$ и ${ displaystyle L}$), то в каждой задаче следует использовать одно и то же правило принятия решения.

Для формального определения инвариантной или эквивариантной оценки сначала необходимы некоторые определения, относящиеся к группам преобразований. Позволять ${ displaystyle X}$ обозначают набор возможных выборок данных. А группа преобразований из ${ displaystyle X}$, чтобы обозначить ${ displaystyle G}$, представляет собой набор (измеримых) 1: 1 и на преобразования ${ displaystyle X}$ в себя, что удовлетворяет следующим условиям:

1. Если ${ displaystyle g_ {1} in G}$ и ${ displaystyle g_ {2} in G}$ тогда ${ displaystyle g_ {1} g_ {2} in G ,}$
2. Если ${ displaystyle g in G}$ тогда ${ displaystyle g ^ {- 1} in G}$, где ${ Displaystyle г ^ {- 1} (г (х)) = х ,.}$ (То есть каждое преобразование имеет обратное внутри группы.)
3. ${ displaystyle e in G}$ (т.е. есть тождественное преобразование ${ Displaystyle е (х) = х ,}$)

Наборы данных ${ displaystyle x_ {1}}$ и ${ displaystyle x_ {2}}$ в ${ displaystyle X}$ эквивалентны, если ${ Displaystyle х_ {1} = г (х_ {2})}$ для некоторых ${ displaystyle g in G}$. Все эквивалентные точки образуют класс эквивалентности.Такой класс эквивалентности называется орбита (в ${ displaystyle X}$). В ${ displaystyle x_ {0}}$ орбита ${ displaystyle X (x_ {0})}$, это множество ${ displaystyle X (x_ {0}) = {g (x_ {0}): g in G }}$.Если ${ displaystyle X}$ состоит из одной орбиты, тогда ${ displaystyle g}$ называется транзитивным.

Семья плотностей ${ displaystyle F}$ называется инвариантным относительно группы ${ displaystyle G}$ если для каждого ${ displaystyle g in G}$ и ${ displaystyle theta in Theta}$ существует уникальный ${ displaystyle theta ^ {*} in Theta}$ такой, что ${ Displaystyle Y = г (х)}$ имеет плотность ${ Displaystyle е (у | тета ^ {*})}$. ${ displaystyle theta ^ {*}}$ будет обозначаться ${ displaystyle { bar {g}} ( theta)}$.

Если ${ displaystyle F}$ инвариантен относительно группы ${ displaystyle G}$ тогда функция потерь ${ Displaystyle L ( тета, а)}$ называется инвариантным относительно ${ displaystyle G}$ если для каждого ${ displaystyle g in G}$ и ${ displaystyle a in A}$ существует ${ displaystyle a ^ {*} in A}$ такой, что ${ Displaystyle L ( theta, a) = L ({ bar {g}} ( theta), a ^ {*})}$ для всех ${ displaystyle theta in Theta}$. Преобразованное значение ${ displaystyle a ^ {*}}$ будем обозначать ${ Displaystyle { тильда {g}} (а)}$.

В приведенном выше описании ${ displaystyle { bar {G}} = {{ bar {g}}: g in G }}$ группа преобразований из ${ displaystyle Theta}$ себе и ${ displaystyle { tilde {G}} = {{ tilde {g}}: g in G }}$ группа преобразований из ${ displaystyle A}$ себе.

Задача оценивания инвариантна (эквивариантна) относительно ${ displaystyle G}$ если есть три группы ${ displaystyle G, { bar {G}}, { tilde {G}}}$ как определено выше.

Для задачи оценивания, инвариантной относительно ${ displaystyle G}$, оценщик ${ Displaystyle дельта (х)}$ является инвариантной оценкой относительно ${ displaystyle G}$ если для всех ${ displaystyle x in X}$ и ${ displaystyle g in G}$,

${ displaystyle delta (g (x)) = { tilde {g}} ( delta (x)).}$

Характеристики

1. Функция риска инвариантной оценки, ${ displaystyle delta}$, постоянна на орбитах ${ displaystyle Theta}$. Эквивалентно ${ Displaystyle R ( theta, delta) = R ({ bar {g}} ( theta), delta)}$ для всех ${ displaystyle theta in Theta}$ и ${ displaystyle { bar {g}} in { bar {G}}}$.
2. Функция риска инвариантной оценки с транзитивным ${ displaystyle { bar {g}}}$ постоянно.

Для данной проблемы инвариантная оценка с наименьшим риском называется «наилучшей инвариантной оценкой». Не всегда удается получить наилучшую инвариантную оценку. Особым случаем, в котором это может быть достигнуто, является случай, когда ${ displaystyle { bar {g}}}$ транзитивен.

Пример: параметр местоположения

Предположим ${ displaystyle theta}$ является параметром местоположения, если плотность ${ displaystyle X}$ имеет форму ${ Displaystyle е (х- тета)}$. За ${ Displaystyle Theta = A = mathbb {R} ^ {1}}$ и ${ Displaystyle L = L (а- тета)}$, задача инвариантна относительно ${ displaystyle g = { bar {g}} = { tilde {g}} = {g_ {c}: g_ {c} (x) = x + c, c in mathbb {R} } }$. Инвариантная оценка в этом случае должна удовлетворять

${ displaystyle delta (x + c) = delta (x) + c, { text {для всех}} c in mathbb {R},}$

таким образом, это имеет форму ${ Displaystyle дельта (х) = х + К}$ (${ displaystyle K in mathbb {R}}$). ${ displaystyle { bar {g}}}$ транзитивен на ${ displaystyle Theta}$ поэтому риск не зависит от ${ displaystyle theta}$: это, ${ Displaystyle R ( theta, delta) = R (0, delta) = operatorname {E} [L (X + K) | theta = 0]}$. Лучшая инвариантная оценка - та, которая приносит риск ${ Displaystyle Р ( тета, дельта)}$ к минимуму.

В случае, если L - квадрат ошибки ${ displaystyle delta (x) = x- operatorname {E} [X | theta = 0].}$

Оценщик Питмана

Проблема оценки заключается в том, что ${ displaystyle X = (X_ {1}, dots, X_ {n})}$ имеет плотность ${ Displaystyle f (x_ {1} - theta, dots, x_ {n} - theta)}$, где θ - параметр, который необходимо оценить, и где функция потерь является ${ Displaystyle L (| а- тета |)}$. Эта задача инвариантна со следующими (аддитивными) группами преобразований:

${ displaystyle G = {g_ {c}: g_ {c} (x) = (x_ {1} + c, dots, x_ {n} + c), c in mathbb {R} ^ {1 } },}$

${ displaystyle { bar {G}} = {g_ {c}: g_ {c} ( theta) = theta + c, c in mathbb {R} ^ {1} },}$

${ displaystyle { tilde {G}} = {g_ {c}: g_ {c} (a) = a + c, c in mathbb {R} ^ {1} }.}$

Лучшая инвариантная оценка ${ Displaystyle дельта (х)}$ тот, который сводит к минимуму

${ displaystyle { frac { int _ {- infty} ^ { infty} L ( delta (x) - theta) f (x_ {1} - theta, dots, x_ {n} - theta) d theta} { int _ {- infty} ^ { infty} f (x_ {1} - theta, dots, x_ {n} - theta) d theta}},}$

и это оценка Питмана (1939).

Для случая квадратичной ошибки потери результат будет

${ displaystyle delta (x) = { frac { int _ {- infty} ^ { infty} theta f (x_ {1} - theta, dots, x_ {n} - theta) d theta} { int _ {- infty} ^ { infty} f (x_ {1} - theta, dots, x_ {n} - theta) d theta}}.}.$

Если ${ Displaystyle х сим N ( тета 1_ {п}, I) , !}$ (т.е. многомерное нормальное распределение с независимыми компонентами единичной дисперсии), то

${ displaystyle delta _ {pitman} = delta _ {ML} = { frac { sum {x_ {i}}} {n}}.}$

Если ${ Displaystyle х сим С ( тета 1_ {п}, я сигма ^ {2}) , !}$ (независимые компоненты, имеющие Распределение Коши с параметром масштаба σ) тогда${ displaystyle delta _ {питман} neq delta _ {ML}}$,. Однако результат

${ displaystyle delta _ {pitman} = sum _ {k = 1} ^ {n} {x_ {k} left [{ frac {{ text {Re}} {w_ {k} }} { sum _ {m = 1} ^ {n} {{ text {Re}} {w_ {k} }}}} right]}, qquad n> 1,}$

с участием

${ displaystyle w_ {k} = prod _ {j neq k} left [{ frac {1} {(x_ {k} -x_ {j}) ^ {2} +4 sigma ^ {2} }} right] left [1 - { frac {2 sigma} {(x_ {k} -x_ {j})}} i right].}$

использованная литература

• Бергер, Джеймс О. (1985). Теория статистических решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN  0-387-96098-8. Г-Н  0804611.^{[страница нужна ]}
• Freue, Габриэла В. Коэн (2007). «Оценка Питмана параметра местоположения Коши». Журнал статистического планирования и вывода. 137: 1900–1913. Дои:10.1016 / j.jspi.2006.05.002.
• Pitman, E.J.G. (1939). «Оценка местоположения и масштабных параметров сплошной популяции любой заданной формы». Биометрика. 30 (3/4): 391–421. Дои:10.1093 / biomet / 30.3-4.391. JSTOR  2332656.
• Pitman, E.J.G. (1939). «Проверка гипотез о параметрах расположения и масштаба». Биометрика. 31 (1/2): 200–215. Дои:10.1093 / биомет / 31.1-2.200. JSTOR  2334983.