Регрессия главных компонентов - Principal component regression

В статистика, регрессия главных компонент (ПЦР) это регрессивный анализ техника, основанная на Анализ главных компонентов (СПС). В частности, ПЦР используется для оценка неизвестный коэффициенты регрессии в стандартная модель линейной регрессии.

В ПЦР вместо непосредственной регрессии зависимой переменной на независимые переменные основные компоненты независимых переменных используются как регрессоры. Обычно для регрессии используется только подмножество всех основных компонентов, что делает ПЦР своего рода упорядоченный процедура, а также вид оценщик усадки.

Часто основные компоненты с более высоким отклонения (основанные на собственные векторы соответствует высшему собственные значения из образец ковариационная матрица независимых переменных) выбраны в качестве регрессоров. Однако с целью предсказание В результате главные компоненты с низкой дисперсией также могут быть важны, а в некоторых случаях даже более важны.^[1]

Одно из основных применений ПЦР - преодоление мультиколлинеарность проблема, которая возникает, когда две или более объясняющих переменных близки к коллинеарен.^[2] ПЦР может эффективно справляться с такими ситуациями, исключая некоторые из основных компонентов с низкой дисперсией на этапе регрессии. Кроме того, обычно регрессируя только на подмножестве всех основных компонентов, ПЦР может привести к уменьшение размеров за счет существенного снижения эффективного количества параметров, характеризующих базовую модель. Это может быть особенно полезно в настройках с многомерные ковариаты. Кроме того, за счет соответствующего выбора основных компонентов, которые будут использоваться для регрессии, ПЦР может привести к эффективному прогноз результата на основе принятой модели.

Принцип

Метод ПЦР можно условно разделить на три основных этапа:

1.

{ Displaystyle ; ;}

Выполнить PCA на наблюдаемых матрица данных для объясняющих переменных, чтобы получить основные компоненты, а затем (обычно) выбрать подмножество основных компонентов, полученных таким образом, для дальнейшего использования на основе некоторых подходящих критериев.

2.

{ Displaystyle ; ;}

Теперь регрессируйте наблюдаемый вектор результатов по выбранным главным компонентам как ковариаты, используя обыкновенный метод наименьших квадратов регресс (линейная регрессия ), чтобы получить вектор оценочных коэффициентов регрессии (с измерение равное количеству выбранных главных компонентов).

3.

{ Displaystyle ; ;}

Сейчас же преобразовать этот вектор обратно в масштаб фактических ковариат, используя выбранные Загрузки PCA (собственные векторы, соответствующие выбранным главным компонентам), чтобы получить окончательная оценка ПЦР (с размерностью, равной общему количеству ковариат) для оценки коэффициентов регрессии, характеризующих исходную модель.

Подробная информация о методе

Представление данных: Позволять ${ displaystyle mathbf {Y} _ {n times 1} = left (y_ {1}, ldots, y_ {n} right) ^ {T}}$ обозначают вектор наблюдаемых результатов и ${ displaystyle mathbf {X} _ {n times p} = left ( mathbf {x} _ {1}, ldots, mathbf {x} _ {n} right) ^ {T}}$ обозначим соответствующие матрица данных наблюдаемых ковариат где, ${ displaystyle n}$ и ${ displaystyle p}$ обозначают размер наблюдаемого образец и количество ковариант соответственно, причем ${ displaystyle n geq p}$ . Каждый из ${ displaystyle n}$ ряды ${ displaystyle mathbf {X}}$ обозначает один набор наблюдений для ${ displaystyle p}$ размерный ковариата и соответствующая запись ${ displaystyle mathbf {Y}}$ обозначает соответствующий наблюдаемый результат.

Предварительная обработка данных: Предположим, что ${ displaystyle mathbf {Y}}$ и каждый из ${ displaystyle p}$ столбцы ${ displaystyle mathbf {X}}$ уже были по центру так что все они имеют ноль эмпирические средства. Этот шаг центрирования имеет решающее значение (по крайней мере, для столбцов ${ displaystyle mathbf {X}}$ ), поскольку ПЦР предполагает использование PCA на ${ displaystyle mathbf {X}}$ и PCA чувствителен к центрирование данных.

Базовая модель: После центрирования стандартная Гаусс – Марков линейная регрессия модель для ${ displaystyle mathbf {Y}}$ на ${ displaystyle mathbf {X}}$ можно представить как: ${ displaystyle mathbf {Y} = mathbf {X} { boldsymbol { beta}} + { boldsymbol { varepsilon}}, ;}$ где ${ displaystyle { boldsymbol { beta}} in mathbb {R} ^ {p}}$ обозначает вектор неизвестных параметров коэффициентов регрессии, а ${ displaystyle { boldsymbol { varepsilon}}}$ обозначает вектор случайных ошибок с ${ displaystyle operatorname {E} left ({ boldsymbol { varepsilon}} right) = mathbf {0} ;}$ и ${ displaystyle ; operatorname {Var} left ({ boldsymbol { varepsilon}} right) = sigma ^ {2} I_ {n times n}}$ для некоторых неизвестных отклонение параметр ${ Displaystyle sigma ^ {2}> 0 ; ;}$

Цель: Основная цель - получить эффективный оценщик ${ displaystyle { widehat { boldsymbol { beta}}}}$ для параметра ${ displaystyle { boldsymbol { beta}}}$ , на основании данных. Один из часто используемых подходов для этого: обыкновенный метод наименьших квадратов регрессия, предполагающая ${ displaystyle mathbf {X}}$ является полный ранг столбца, дает объективный оценщик: ${ displaystyle { widehat { boldsymbol { beta}}} _ { mathrm {ols}} = ( mathbf {X} ^ {T} mathbf {X}) ^ {- 1} mathbf {X} ^ {T} mathbf {Y}}$ из ${ displaystyle { boldsymbol { beta}}}$ . ПЦР - это еще один метод, который можно использовать с той же целью оценки ${ displaystyle { boldsymbol { beta}}}$ .

Шаг PCA: PCR начинается с выполнения PCA на центрированной матрице данных. ${ displaystyle mathbf {X}}$ . Для этого пусть ${ Displaystyle mathbf {X} = U Delta V ^ {T}}$ обозначить разложение по сингулярным числам из ${ displaystyle mathbf {X}}$ где, ${ displaystyle Delta _ {p times p} = operatorname {diag} left [ delta _ {1}, ldots, delta _ {p} right]}$ с участием ${ displaystyle delta _ {1} geq cdots geq delta _ {p} geq 0}$ обозначающий неотрицательный сингулярные значения из ${ displaystyle mathbf {X}}$ , в то время столбцы из ${ Displaystyle U_ {п раз p} = [ mathbf {u} _ {1}, ldots, mathbf {u} _ {p}]}$ и ${ displaystyle V_ {p times p} = [ mathbf {v} _ {1}, ldots, mathbf {v} _ {p}]}$ оба ортонормированные множества векторов, обозначающих левый и правый сингулярные векторы из ${ displaystyle mathbf {X}}$ соответственно.

Основные компоненты: ${ Displaystyle V Lambda V ^ {T}}$ дает спектральное разложение из ${ Displaystyle mathbf {X} ^ {T} mathbf {X}}$ где ${ displaystyle Lambda _ {p times p} = operatorname {diag} left [ lambda _ {1}, ldots, lambda _ {p} right] = operatorname {diag} left [ delta _ {1} ^ {2}, ldots, delta _ {p} ^ {2} right] = Delta ^ {2}}$ с участием ${ displaystyle lambda _ {1} geq cdots geq lambda _ {p} geq 0}$ обозначающие неотрицательные собственные значения (также известные как основные ценности ) из ${ Displaystyle mathbf {X} ^ {T} mathbf {X}}$ , а столбцы ${ displaystyle V}$ обозначим соответствующий ортонормированный набор собственных векторов. Потом, ${ Displaystyle mathbf {X} mathbf {v} _ {j}}$ и ${ displaystyle mathbf {v} _ {j}}$ соответственно обозначим ${ displaystyle j ^ {th}}$ главный компонент и ${ displaystyle j ^ {th}}$ направление главных компонент (или Загрузка PCA ) соответствующий ${ displaystyle j ^ {th}}$ самый большой основная стоимость ${ displaystyle lambda _ {j}}$ для каждого ${ displaystyle j in {1, ldots, p }}$ .

Производные ковариаты: Для любого ${ Displaystyle к в {1, ldots, p }}$ , позволять ${ displaystyle V_ {k}}$ обозначить ${ displaystyle p times k}$ матрица с ортонормированными столбцами, состоящая из первых ${ displaystyle k}$ столбцы ${ displaystyle V}$ . Позволять ${ Displaystyle W_ {k} = mathbf {X} V_ {k}}$ ${ displaystyle = [ mathbf {X} mathbf {v} _ {1}, ldots, mathbf {X} mathbf {v} _ {k}]}$ обозначить ${ Displaystyle п раз к}$ матрица, имеющая первый ${ displaystyle k}$ главные компоненты как его столбцы. ${ displaystyle W}$ можно рассматривать как матрицу данных, полученную с помощью преобразованный ковариаты ${ displaystyle mathbf {x} _ {i} ^ {k} = V_ {k} ^ {T} mathbf {x} _ {i} in mathbb {R} ^ {k}}$ вместо использования исходных ковариат ${ displaystyle mathbf {x} _ {i} in mathbb {R} ^ {p} ; ; forall ; ; 1 leq i leq n}$ .

Оценщик ПЦР: Позволять ${ displaystyle { widehat { gamma}} _ {k} = left (W_ {k} ^ {T} W_ {k} right) ^ {- 1} W_ {k} ^ {T} mathbf { Y} in mathbb {R} ^ {k}}$ обозначим вектор оценочных коэффициентов регрессии, полученных обыкновенный метод наименьших квадратов регрессия вектора ответа ${ displaystyle mathbf {Y}}$ на матрице данных ${ displaystyle W_ {k}}$ . Тогда для любого ${ Displaystyle к в {1, ldots, p }}$ , окончательная оценка ПЦР ${ displaystyle { boldsymbol { beta}}}$ на основе использования первого ${ displaystyle k}$ основные компоненты представлены: ${ displaystyle { widehat { boldsymbol { beta}}} _ {k} = V_ {k} { widehat { gamma}} _ {k} in mathbb {R} ^ {p}}$ .

Основные характеристики и применения оценщика ПЦР

Два основных свойства

Процесс подбора для получения оценки PCR включает в себя регрессию вектора отклика на матрицу производных данных. ${ displaystyle W_ {k}}$ который имеет ортогональный колонны для любых ${ Displaystyle к в {1, ldots, p }}$ так как главные компоненты взаимно ортогональные друг другу. Таким образом, на этапе регрессии выполнение множественная линейная регрессия совместно на ${ displaystyle k}$ выбранные главные компоненты как ковариаты эквивалентны выполнению ${ displaystyle k}$ независимый простые линейные регрессии (или одномерной регрессии) отдельно по каждому из ${ displaystyle k}$ выбранные главные компоненты как ковариата.

Когда все главные компоненты выбраны для регрессии так, чтобы ${ displaystyle k = p}$ , то оценка PCR эквивалентна обыкновенный метод наименьших квадратов оценщик. Таким образом, ${ displaystyle { widehat { boldsymbol { beta}}} _ {p} = { widehat { boldsymbol { beta}}} _ { mathrm {ols}}}$ . Это легко увидеть из того, что ${ Displaystyle W_ {p} = mathbf {X} V_ {p} = mathbf {X} V}$ а также наблюдая, что ${ displaystyle V}$ является ортогональная матрица.

Снижение дисперсии

Для любого ${ Displaystyle к в {1, ldots, p }}$ , дисперсия ${ displaystyle { widehat { boldsymbol { beta}}} _ {k}}$ дан кем-то

{ displaystyle operatorname {Var} ({ widehat { boldsymbol { beta}}} _ {k}) = sigma ^ {2} ; V_ {k} (W_ {k} ^ {T} W_ { k}) ^ {- 1} V_ {k} ^ {T} = sigma ^ {2} ; V_ {k} ; operatorname {diag} left ( lambda _ {1} ^ {- 1} , ldots, lambda _ {k} ^ {- 1} right) V_ {k} ^ {T} = sigma ^ {2} sideset {} {} sum _ {j = 1} ^ {k } { frac { mathbf {v} _ {j} mathbf {v} _ {j} ^ {T}} { lambda _ {j}}}.}

Особенно:

{ displaystyle operatorname {Var} ({ widehat { boldsymbol { beta}}} _ {p}) = operatorname {Var} ({ widehat { boldsymbol { beta}}} _ { mathrm { ols}}) = sigma ^ {2} sideset {} {} sum _ {j = 1} ^ {p} { frac { mathbf {v} _ {j} mathbf {v} _ {j } ^ {T}} { lambda _ {j}}}.}

Следовательно, для всех ${ Displaystyle к в {1, cdots, п-1 }}$ у нас есть:

{ displaystyle operatorname {Var} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}) - operatorname {Var} ({ widehat { boldsymbol { beta}}} _ {k}) = sigma ^ {2} sideset {} {} sum _ {j = k + 1} ^ {p} { frac { mathbf {v} _ {j} mathbf {v} _ {j} ^ {T}} { lambda _ {j}}}.}

Таким образом, для всех ${ Displaystyle к в {1, cdots, p }}$ у нас есть:

{ displaystyle operatorname {Var} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}) - operatorname {Var} ({ widehat { boldsymbol { beta}}} _ {k}) successq 0}

где ${ displaystyle A successq 0}$ указывает, что квадратная симметричная матрица ${ displaystyle A}$ является неотрицательно определенный. Следовательно, любое данное линейная форма оценки PCR имеет меньшую дисперсию по сравнению с тем же линейная форма обычного оценщика наименьших квадратов.

Решение проблемы мультиколлинеарности

Под мультиколлинеарность, две или более ковариаты очень коррелированный, так что одно можно линейно предсказать на основе других с нетривиальной степенью точности. Следовательно, столбцы матрицы данных ${ displaystyle mathbf {X}}$ которые соответствуют наблюдениям для этих ковариат, имеют тенденцию становиться линейно зависимый и поэтому, ${ displaystyle mathbf {X}}$ стремится стать не имеющий ранга теряет свою полную структуру рангов столбцов. Если говорить более количественно, одно или несколько меньших собственных значений ${ Displaystyle mathbf {X} ^ {T} mathbf {X}}$ получить (s) очень близко или стать (s) точно равным ${ displaystyle 0}$ в таких ситуациях. Приведенные выше выражения дисперсии показывают, что эти маленькие собственные значения имеют максимум эффект инфляции от дисперсии оценки наименьших квадратов, тем самым дестабилизирующий оценка значительно, когда они близки к ${ displaystyle 0}$ . Эту проблему можно эффективно решить с помощью оценки PCR, полученной путем исключения основных компонентов, соответствующих этим небольшим собственным значениям.

Уменьшение размеров

ПЦР также может использоваться для выполнения уменьшение размеров. Чтобы увидеть это, позвольте ${ displaystyle L_ {k}}$ обозначить любой ${ displaystyle p times k}$ матрица, имеющая ортонормированные столбцы, для любых ${ displaystyle k in {1, ldots, p }.}$ Предположим теперь, что мы хотим приблизительный каждое из ковариатных наблюдений ${ Displaystyle mathbf {х} _ {я}}$ сквозь ранг ${ displaystyle k}$ линейное преобразование ${ Displaystyle L_ {к} mathbf {z} _ {я}}$ для некоторых ${ displaystyle mathbf {z} _ {i} in mathbb {R} ^ {k} (1 leq i leq n)}$ .

Тогда можно показать, что

{ displaystyle sum _ {я = 1} ^ {n} left | mathbf {x} _ {i} -L_ {k} mathbf {z} _ {i} right | ^ {2} }

сводится к минимуму ${ Displaystyle L_ {k} = V_ {k},}$ матрица с первым ${ displaystyle k}$ направления главных компонентов в виде столбцов и ${ displaystyle mathbf {z} _ {i} = mathbf {x} _ {i} ^ {k} = V_ {k} ^ {T} mathbf {x} _ {i},}$ соответствующий ${ displaystyle k}$ размерные производные ковариаты. Таким образом ${ displaystyle k}$ размерные главные компоненты обеспечивают лучшее линейное приближение ранга ${ displaystyle k}$ к матрице наблюдаемых данных ${ displaystyle mathbf {X}}$ .

Соответствующие ошибка реконструкции дан кем-то:

{ displaystyle sum _ {i = 1} ^ {n} left | mathbf {x} _ {i} -V_ {k} mathbf {x} _ {i} ^ {k} right | ^ {2} = { begin {cases} sum _ {j = k + 1} ^ {n} lambda _ {j} & 1 leqslant k

Таким образом, любой потенциал уменьшение размеров может быть достигнуто выбором ${ displaystyle k}$ , количество основных компонентов, которые будут использоваться, с помощью соответствующего порогового значения кумулятивной суммы собственные значения из ${ Displaystyle mathbf {X} ^ {T} mathbf {X}}$ . Поскольку меньшие собственные значения не вносят значительного вклада в совокупную сумму, можно продолжать отбрасывать соответствующие главные компоненты до тех пор, пока не будет превышен желаемый пороговый предел. Те же критерии могут также использоваться для решения мультиколлинеарность проблема, при которой главные компоненты, соответствующие меньшим собственным значениям, могут игнорироваться, пока поддерживается пороговый предел.

Эффект регуляризации

Поскольку оценщик PCR обычно использует только подмножество всех основных компонентов для регрессии, его можно рассматривать как своего рода упорядоченный процедура. Точнее, для любого ${ Displaystyle 1 leqslant k$ , оценка ПЦР ${ displaystyle { widehat { boldsymbol { beta}}} _ {k}}$ обозначает регуляризованное решение следующего ограниченная минимизация проблема:

{ displaystyle min _ {{ boldsymbol { beta}} _ {*} in mathbb {R} ^ {p}} left | mathbf {Y} - mathbf {X} { boldsymbol { beta}} _ {*} right | ^ {2} quad { text {при условии}} quad { boldsymbol { beta}} _ {*} perp { mathbf {v} _ {k + 1}, cdots, mathbf {v} _ {p} }.}.

Ограничение может быть эквивалентно записано как:

{ displaystyle V _ {(p-k)} ^ {T} { boldsymbol { beta}} _ {*} = mathbf {0},}

где:

{ Displaystyle V _ {(pk)} = left [ mathbf {v} _ {k + 1}, cdots, mathbf {v} _ {p} right] _ {p times (pk)}. }

Таким образом, когда для регрессии выбрано только надлежащее подмножество всех основных компонентов, полученная таким образом оценка PCR основана на жесткой форме регуляризация что ограничивает полученное решение пространство столбца выбранных направлений главных компонент, и, следовательно, ограничивает его ортогональный по исключенным направлениям.

Оптимальность PCR среди класса регуляризованных оценок

Учитывая задачу ограниченной минимизации, как определено выше, рассмотрим следующую ее обобщенную версию:

{ displaystyle min _ {{ boldsymbol { beta}} _ {*} in mathbb {R} ^ {p}} | mathbf {Y} - mathbf {X} { boldsymbol { beta }} _ {*} | ^ {2} quad { text {при условии}} quad L _ {(pk)} ^ {T} { boldsymbol { beta}} _ {*} = mathbf { 0}}

где, ${ Displaystyle L _ {(п-к)}}$ обозначает любую матрицу ранга полного столбца порядка ${ Displaystyle р раз (р-к)}$ с участием ${ Displaystyle 1 leqslant k$ .

Позволять ${ displaystyle { widehat { boldsymbol { beta}}} _ {L}}$ обозначим соответствующее решение. Таким образом

{ displaystyle { widehat { boldsymbol { beta}}} _ {L} = arg min _ {{ boldsymbol { beta}} _ {*} in mathbb {R} ^ {p}} | mathbf {Y} - mathbf {X} { boldsymbol { beta}} _ {*} | ^ {2} quad { text {при условии}} quad L _ {(pk)} ^ {T} { boldsymbol { beta}} _ {*} = mathbf {0}.}

Тогда оптимальный выбор матрицы ограничений ${ Displaystyle L _ {(п-к)}}$ для которого соответствующая оценка ${ displaystyle { widehat { boldsymbol { beta}}} _ {L}}$ достигает минимальной ошибки прогноза:^[3]

{ Displaystyle L _ {(p-k)} ^ {*} = V _ {(p-k)} Lambda _ {(p-k)} ^ {1/2},}

где

{ displaystyle Lambda _ {(pk)} ^ {1/2} = operatorname {diag} left ( lambda _ {k + 1} ^ {1/2}, ldots, lambda _ {p} ^ {1/2} right).}

Совершенно очевидно, что полученная оптимальная оценка ${ displaystyle { widehat { boldsymbol { beta}}} _ {L ^ {*}}}$ тогда просто дается оценкой PCR ${ displaystyle { widehat { boldsymbol { beta}}} _ {k}}$ на основе первого ${ displaystyle k}$ основные компоненты.

Эффективность

Поскольку обычная оценка методом наименьших квадратов беспристрастный для ${ displaystyle { boldsymbol { beta}}}$ , у нас есть

{ displaystyle operatorname {Var} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}) = operatorname {MSE} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}),}

где MSE обозначает среднеквадратичная ошибка. Теперь, если для некоторых ${ Displaystyle к в {1, cdots, p }}$ , у нас дополнительно есть: ${ Displaystyle В _ {(п-к)} ^ {T} { boldsymbol { beta}} = mathbf {0}}$ , то соответствующий ${ displaystyle { widehat { boldsymbol { beta}}} _ {k}}$ это также беспристрастный для ${ displaystyle { boldsymbol { beta}}}$ и поэтому

{ displaystyle operatorname {Var} ({ widehat { boldsymbol { beta}}} _ {k}) = operatorname {MSE} ({ widehat { boldsymbol { beta}}} _ {k}) .}

Мы уже видели, что

{ displaystyle forall j in {1, cdots, p }: quad operatorname {Var} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}) - имя оператора {Var} ({ widehat { boldsymbol { beta}}} _ {j}) successq 0,}

что тогда подразумевает:

{ displaystyle operatorname {MSE} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}) - operatorname {MSE} ({ widehat { boldsymbol { beta}}} _ {k}) successq 0}

для этого конкретного ${ displaystyle k}$ . Таким образом, в этом случае соответствующий ${ displaystyle { widehat { boldsymbol { beta}}} _ {k}}$ было бы более эффективный оценщик из ${ displaystyle { boldsymbol { beta}}}$ в сравнении с ${ displaystyle { widehat { boldsymbol { beta}}} _ { mathrm {ols}}}$ , основанный на использовании среднеквадратичной ошибки в качестве критерия эффективности. Кроме того, любой данный линейная форма соответствующих ${ displaystyle { widehat { boldsymbol { beta}}} _ {k}}$ также будет более низкий среднеквадратичная ошибка по сравнению с тем же линейная форма из ${ displaystyle { widehat { boldsymbol { beta}}} _ { mathrm {ols}}}$ .

Теперь предположим, что для данного ${ Displaystyle к ин {1, cdots, p }, V _ {(p-k)} ^ {T} { boldsymbol { beta}} neq mathbf {0}}$ . Тогда соответствующие ${ displaystyle { widehat { boldsymbol { beta}}} _ {k}}$ является предвзятый для ${ displaystyle { boldsymbol { beta}}}$ . Однако, поскольку

{ displaystyle forall k in {1, cdots, p }: quad operatorname {Var} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}) - имя оператора {Var} ({ widehat { boldsymbol { beta}}} _ {k}) successq 0,}

все еще возможно, что ${ displaystyle operatorname {MSE} ({ widehat { boldsymbol { beta}}} _ { mathrm {ols}}) - operatorname {MSE} ({ widehat { boldsymbol { beta}}} _ {k}) successq 0}$ особенно если ${ displaystyle k}$ такова, что исключенные главные компоненты соответствуют меньшим собственным значениям, что приводит к более низким предвзятость.

Чтобы обеспечить эффективную оценку и прогнозирование производительности PCR в качестве средства оценки ${ displaystyle { boldsymbol { beta}}}$ , Парк (1981) ^[3] предлагает следующие рекомендации по выбору основных компонентов, которые будут использоваться для регрессии: Отбросьте ${ displaystyle j ^ {th}}$ главный компонент тогда и только тогда, когда ${ displaystyle lambda _ {j} <(p sigma ^ {2}) / { boldsymbol { beta}} ^ {T} { boldsymbol { beta}}.}$ Практическая реализация этого руководства, конечно же, требует оценок неизвестных параметров модели. ${ displaystyle sigma ^ {2}}$ и ${ displaystyle { boldsymbol { beta}}}$ . В общем, они могут быть оценены с использованием оценок методом наименьших квадратов, полученных из исходной полной модели. Однако Парк (1981) дает несколько измененный набор оценок, который может лучше подходить для этой цели.^[3]

В отличие от критериев, основанных на кумулятивной сумме собственных значений ${ Displaystyle mathbf {X} ^ {T} mathbf {X}}$ , который, вероятно, больше подходит для решения проблемы мультиколлинеарности и для выполнения уменьшения размерности, вышеупомянутые критерии на самом деле пытаются улучшить эффективность прогнозирования и оценки PCR-оценки, вовлекая как результат, так и ковариаты в процесс выбора главного компоненты, которые будут использоваться на этапе регрессии. Альтернативные подходы с аналогичными целями включают выбор основных компонентов на основе перекрестная проверка или Mallow's C_п критерии. Часто основные компоненты также выбираются на основе их степени ассоциация с исходом.

Эффект усадки ПЦР

В общем, ПЦР - это, по сути, оценщик усадки который обычно сохраняет главные компоненты с высокой дисперсией (соответствующие более высоким собственным значениям ${ Displaystyle mathbf {X} ^ {T} mathbf {X}}$ ) как ковариаты в модели и отбрасывает оставшиеся компоненты с низкой дисперсией (соответствующие нижним собственным значениям ${ Displaystyle mathbf {X} ^ {T} mathbf {X}}$ ). Таким образом, он оказывает дискретное эффект усадки на компоненты с низкой дисперсией, полностью сводя на нет их вклад в исходную модель. Напротив, регресс гребня Оценщик оказывает эффект плавной усадки через параметр регуляризации (или параметр настройки), по сути, участвующий в его построении. Хотя он не удаляет полностью ни один из компонентов, он оказывает эффект усадки по всем из них непрерывным образом, так что степень усадки выше для компонентов с низкой дисперсией и ниже для компонентов с высокой дисперсией. Фрэнк и Фридман (1993)^[4] пришли к выводу, что для целей самого прогнозирования устройство оценки гребня из-за его эффекта плавного сжатия, возможно, является лучшим выбором по сравнению с устройством оценки PCR, имеющим эффект дискретного сжатия.

Кроме того, основные компоненты получаются из собственное разложение из ${ displaystyle mathbf {X}}$ это включает наблюдения только для независимых переменных. Следовательно, результирующий оценщик PCR, полученный при использовании этих главных компонентов в качестве ковариат, не обязательно должен иметь удовлетворительную прогностическую характеристику для результата. Отчасти похожий оценщик, который пытается решить эту проблему с помощью самой своей конструкции, - это частичные наименьшие квадраты (PLS) оценщик. Подобно ПЦР, PLS также использует производные ковариаты более низкой размерности. Однако, в отличие от ПЦР, производные ковариаты для PLS получают на основе использования как результата, так и ковариат. В то время как PCR ищет направления с высокой дисперсией в пространстве ковариат, PLS ищет направления в пространстве ковариат, которые наиболее полезны для предсказания результата.

Недавно был разработан вариант классической ПЦР, известный как контролируемая ПЦР был предложен Бэром, Хасти, Полом и Тибширани (2006).^[5] В духе, аналогичном PLS, он пытается получить производные ковариаты более низких измерений на основе критерия, который включает как результат, так и ковариаты. Метод начинается с выполнения набора ${ displaystyle p}$ простые линейные регрессии (или одномерной регрессии), в которой вектор результатов регрессирует отдельно для каждого из ${ displaystyle p}$ ковариаты, взятые по одной за раз. Тогда для некоторых ${ displaystyle m in {1, ldots, p }}$ , первый ${ displaystyle m}$ ковариаты, которые оказываются наиболее коррелированными с результатом (на основе степени значимости соответствующих оценочных коэффициентов регрессии), выбираются для дальнейшего использования. Затем выполняется обычная ПЦР, как описано ранее, но теперь она основана только на ${ Displaystyle п раз м}$ матрица данных, соответствующая наблюдениям для выбранных ковариат. Количество используемых ковариат: ${ displaystyle m in {1, ldots, p }}$ и последующее количество используемых основных компонентов: ${ Displaystyle к ин {1, ldots, м }}$ обычно выбираются перекрестная проверка.

Обобщение настроек ядра

Классический метод ПЦР, описанный выше, основан на классический PCA и считает модель линейной регрессии для прогнозирования результата на основе ковариат. Однако его легко обобщить на ядро машины установка, посредством которой функция регрессии не обязательно быть линейный в ковариатах, но вместо этого он может принадлежать Воспроизведение гильбертова пространства ядра связанный с любым произвольным (возможно нелинейный ), симметричный положительно определенное ядро. В модель линейной регрессии оказывается частным случаем этой настройки, когда функция ядра выбран, чтобы быть линейное ядро.

В общем, под ядро машины установка, вектор ковариат является первым нанесенный на карту в многомерный (потенциально бесконечномерный ) пространство функций характеризуется функция ядра выбрал. В отображение полученный таким образом известен как карта характеристик и каждый из его координаты, также известный как элементы функции, соответствует одному объекту (может быть линейный или нелинейный ) ковариат. В функция регрессии тогда предполагается, что это линейная комбинация из этих элементы функции. Таким образом лежащая в основе регрессионная модель в ядро машины настройка по сути модель линейной регрессии при том понимании, что вместо исходного набора ковариат предикторы теперь задаются вектором (потенциально бесконечномерный ) из элементы функции получено преобразование фактические ковариаты с использованием карта характеристик.

Однако трюк с ядром фактически позволяет нам работать в пространство функций без явного вычисления карта характеристик. Оказывается, достаточно только вычислить попарно внутренние продукты среди карт признаков для наблюдаемых ковариатных векторов и этих внутренние продукты просто даются значениями функция ядра оценивается в соответствующих парах ковариантных векторов. Таким образом, полученные попарные скалярные продукты могут быть представлены в виде ${ Displaystyle п раз п}$ симметричная неотрицательно определенная матрица, также известная как матрица ядра.

ПЦР в ядро машины настройка теперь может быть реализована сначала надлежащим образом центрирующий этот матрица ядра (K, скажем) относительно пространство функций а затем выполнить ядро PCA на матрица с центрированным ядром (K ', скажем), посредством чего собственное разложение K 'получается. Затем ядро PCR продолжается (обычно) путем выбора подмножества всех собственные векторы так получено, а затем выполнить стандартная линейная регрессия вектора результата на выбранных собственные векторы. В собственные векторы для использования в регрессии обычно выбираются с помощью перекрестная проверка. Предполагаемые коэффициенты регрессии (имеющие ту же размерность, что и количество выбранных собственных векторов) вместе с соответствующими выбранными собственными векторами затем используются для прогнозирования результата для будущего наблюдения. В машинное обучение, этот метод также известен как спектральная регрессия.

Ясно, что ядерная PCR оказывает эффект дискретного сжатия на собственные векторы K ', очень похожий на эффект дискретного сжатия классической PCR на основные компоненты, как обсуждалось ранее. Однако карта характеристик, связанная с выбранным ядром, потенциально может быть бесконечномерной, и, следовательно, соответствующие главные компоненты и направления главных компонентов также могут быть бесконечномерными. Следовательно, эти количества часто практически невозможно изменить при настройке ядра машины. ПЦР ядра по существу решает эту проблему, рассматривая эквивалентную двойную формулировку, основанную на использовании спектральное разложение связанной матрицы ядра. В рамках модели линейной регрессии (которая соответствует выбору функции ядра в качестве линейного ядра) это сводится к рассмотрению спектрального разложения соответствующих ${ Displaystyle п раз п}$ матрица ядра ${ Displaystyle mathbf {X} mathbf {X} ^ {T}}$ а затем регрессия вектора результата на выбранном подмножестве собственных векторов ${ Displaystyle mathbf {X} mathbf {X} ^ {T}}$ так получилось. Легко показать, что это то же самое, что регрессия вектора результатов на соответствующие главные компоненты (которые в данном случае конечномерны), как определено в контексте классической PCR. Таким образом, для линейного ядра ПЦР ядра, основанная на двойной формулировке, в точности эквивалентна классической ПЦР, основанной на первичной формулировке. Однако для произвольных (и, возможно, нелинейных) ядер эта простая формулировка может стать трудноразрешимой из-за бесконечной размерности связанной карты признаков. Таким образом, в этом случае классическая ПЦР становится практически невозможной, но ядерная ПЦР, основанная на двойной формулировке, по-прежнему остается действительной и масштабируемой с вычислительной точки зрения.

Смотрите также

использованная литература

^ Джоллифф, Ян Т. (1982). «Примечание об использовании основных компонентов в регрессии». Журнал Королевского статистического общества, серия C. 31 (3): 300–303. Дои:10.2307/2348005. JSTOR 2348005.
^ Додж, Ю. (2003) Оксфордский словарь статистических терминов, ОУП. ISBN 0-19-920613-9
^ ^а ^б ^c Сун Х. Парк (1981). «Коллинеарность и оптимальные ограничения на параметры регрессии для оценки ответов». Технометрика. 23 (3): 289–295. Дои:10.2307/1267793.
^ Ллдико Э. Франк и Джером Х. Фридман (1993). «Статистический взгляд на некоторые инструменты регрессии хемометрики». Технометрика. 35 (2): 109–135. Дои:10.1080/00401706.1993.10485033.
^ Эрик Бэр; Тревор Хасти; Дебашис Пол; Роберт Тибширани (2006). «Прогнозирование контролируемых основных компонентов». Журнал Американской статистической ассоциации. 101 (473): 119–137. CiteSeerX 10.1.1.516.2313. Дои:10.1198/016214505000000628.

дальнейшее чтение

Амемия, Такеши (1985). Продвинутая эконометрика. Издательство Гарвардского университета. стр.57–60. ISBN 978-0-674-00560-0.
Тейл, Анри (1971). Принципы эконометрики. Вайли. стр.46–55. ISBN 978-0-471-85845-4.

[1] Джоллифф, Ян Т. (1982). «Примечание об использовании основных компонентов в регрессии». Журнал Королевского статистического общества, серия C. 31 (3): 300–303. Дои:10.2307/2348005. JSTOR 2348005.

[2] Додж, Ю. (2003) Оксфордский словарь статистических терминов, ОУП. ISBN 0-19-920613-9

[Park_(1981)-3] а ^б ^c Сун Х. Парк (1981). «Коллинеарность и оптимальные ограничения на параметры регрессии для оценки ответов». Технометрика. 23 (3): 289–295. Дои:10.2307/1267793.

[Frank_and_Friedman_(1993)-4] Ллдико Э. Франк и Джером Х. Фридман (1993). «Статистический взгляд на некоторые инструменты регрессии хемометрики». Технометрика. 35 (2): 109–135. Дои:10.1080/00401706.1993.10485033.

[Bair_et_al._(2006)-5] Эрик Бэр; Тревор Хасти; Дебашис Пол; Роберт Тибширани (2006). «Прогнозирование контролируемых основных компонентов». Журнал Американской статистической ассоциации. 101 (473): 119–137. CiteSeerX 10.1.1.516.2313. Дои:10.1198/016214505000000628.

[1]

[2]

[3]

[4]

[5]