Полиномиальная регрессия - Polynomial regression

Часть серии по
Регрессивный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Оценка
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал

В статистика, полиномиальная регрессия это форма регрессивный анализ в котором отношения между независимая переменная Икс и зависимая переменная у моделируется как пя степень многочлен в Икс. Полиномиальная регрессия соответствует нелинейной зависимости между значением Икс и соответствующие условное среднее из у, обозначим E (у |Икс). Несмотря на то что полиномиальная регрессия соответствует нелинейной модели к данным, как статистическая оценка Задача является линейной в том смысле, что функция регрессии E (у | Икс) линейно относительно неизвестного параметры которые оцениваются из данные. По этой причине полиномиальная регрессия считается частным случаем множественная линейная регрессия.

Объясняющие (независимые) переменные, полученные в результате полиномиального разложения «базовых» переменных, известны как члены более высокой степени. Такие переменные также используются в классификация настройки.^[1]

История

Модели полиномиальной регрессии обычно подбираются с использованием метода наименьших квадратов. Метод наименьших квадратов минимизирует отклонение из беспристрастный оценщики коэффициентов, в условиях Теорема Гаусса – Маркова. Метод наименьших квадратов был опубликован в 1805 г. Legendre а в 1809 г. Гаусс. Первый дизайн из эксперимент для полиномиальной регрессии появилась в статье 1815 г. Gergonne.^[2][3] В двадцатом веке полиномиальная регрессия сыграла важную роль в развитии регрессивный анализ, с большим упором на вопросы дизайн и вывод.^[4] В последнее время использование полиномиальных моделей было дополнено другими методами, причем неполиномиальные модели имели преимущества для некоторых классов задач.^{[нужна цитата ]}

Определение и пример

Кубическая полиномиальная регрессия соответствует моделированному набору данных. В группа уверенности - это 95% одновременный доверительный интервал, построенный с использованием Шеффе подход.

Цель регрессионного анализа - моделировать ожидаемое значение зависимой переменной. у в терминах значения независимой переменной (или вектора независимых переменных) Икс. В простой линейной регрессии модель

${displaystyle y = eta _ {0} + eta _ {1} x + varepsilon ,,}$

, где ε - ненаблюдаемая случайная ошибка со средним нулем, обусловленная скаляр Переменная Икс. В этой модели для каждой единицы увеличивается значение Икс, условное ожидание у увеличивается на β₁ единицы.

Во многих случаях такая линейная зависимость может не соблюдаться. Например, если мы моделируем выход химического синтеза с точки зрения температуры, при которой происходит синтез, мы можем обнаружить, что выход улучшается за счет увеличения количества на каждую единицу увеличения температуры. В этом случае мы могли бы предложить квадратичную модель вида

${displaystyle y = eta _ {0} + eta _ {1} x + eta _ {2} x ^ {2} + varepsilon.,}$

В этой модели при повышении температуры от Икс к Икс +1 ед., Ожидаемая доходность изменится на ${displaystyle eta _ {1} + eta _ {2} (2x + 1).}$ (Это можно увидеть, заменив Икс в этом уравнении с Икс+1 и вычитая уравнение в Икс из уравнения в Икс+1.) Для бесконечно малый изменения в Икс, влияние на у дается полная производная относительно Икс: ${displaystyle eta _ {1} +2 eta _ {2} x.}$ Тот факт, что изменение урожайности зависит от Икс это то, что делает отношения между Икс и у нелинейная, даже если модель линейна по параметрам, которые необходимо оценить.

В общем, мы можем смоделировать ожидаемое значение у как пполином степени, дающий общую модель полиномиальной регрессии

${displaystyle y = eta _ {0} + eta _ {1} x + eta _ {2} x ^ {2} + eta _ {3} x ^ {3} + cdots + eta _ {n} x ^ {n} + варепсилон.,}$

Удобно, что все эти модели линейны с точки зрения оценка, поскольку функция регрессии линейна по неизвестным параметрам β₀, β₁, .... Следовательно, для наименьших квадратов анализа, вычислительные и логические задачи полиномиальной регрессии могут быть полностью решены с использованием методов множественная регрессия. Это делается путем лечения Икс, Икс², ... как отдельные независимые переменные в модели множественной регрессии.

Форма матрицы и расчет сметы

Модель полиномиальной регрессии

${displaystyle y_ {i}, =, eta _ {0} + eta _ {1} x_ {i} + eta _ {2} x_ {i} ^ {2} + cdots + eta _ {m} x_ {i} ^ {m} + varepsilon _ {i} (i = 1,2, точки, n)}$

может быть выражено в матричной форме через матрицу дизайна ${displaystyle mathbf {X}}$, вектор ответа ${displaystyle {vec {y}}}$, вектор параметров ${displaystyle {vec {eta}}}$, а вектор ${displaystyle {vec {varepsilon}}}$ случайных ошибок. В я-й ряд ${displaystyle mathbf {X}}$ и ${displaystyle {vec {y}}}$ будет содержать Икс и у ценность для я-й образец данных. Тогда модель можно записать в виде системы линейных уравнений:

${displaystyle {egin {bmatrix} y_ {1} y_ {2} y_ {3} vdots y_ {n} end {bmatrix}} = {egin {bmatrix} 1 & x_ {1} & x_ {1} ^ {2 } & точки & x_ {1} ^ {m} 1 & x_ {2} & x_ {2} ^ {2} & dots & x_ {2} ^ {m} 1 & x_ {3} & x_ {3} ^ {2} & dots & x_ {3} ^ {m} vdots & vdots & vdots & ddots & vdots 1 & x_ {n} & x_ {n} ^ {2} & dots & x_ {n} ^ {m} end {bmatrix}} {egin {bmatrix} eta _ {0} eta _ {1} eta _ {2} vdots eta _ {m} end {bmatrix}} + {egin {bmatrix} varepsilon _ {1} varepsilon _ {2} varepsilon _ {3} vdots varepsilon _ {n} конец {bmatrix}},}$

который при использовании чисто матричных обозначений записывается как

${displaystyle {vec {y}} = mathbf {X} {vec {eta}} + {vec {varepsilon}}.,}$

Вектор оценочных коэффициентов полиномиальной регрессии (с использованием обыкновенный метод наименьших квадратов оценка ) является

${displaystyle {widehat {vec {eta}}} = (mathbf {X} ^ {mathsf {T}} mathbf {X}) ^ {- 1}; mathbf {X} ^ {mathsf {T}} {vec {y }} ,,}$

предполагая м < п что требуется для того, чтобы матрица была обратимой; тогда с ${displaystyle mathbf {X}}$ это Матрица Вандермонда, условие обратимости гарантированно выполняется, если все ${displaystyle x_ {i}}$ значения различны. Это единственное решение методом наименьших квадратов.

Интерпретация

Хотя полиномиальная регрессия технически является частным случаем множественной линейной регрессии, интерпретация подобранной модели полиномиальной регрессии требует несколько иной точки зрения. Часто бывает трудно интерпретировать отдельные коэффициенты при подборе полиномиальной регрессии, поскольку лежащие в основе мономы могут быть сильно коррелированы. Например, Икс и Икс² имеют корреляцию около 0,97, когда x равно равномерно распределены на интервале (0, 1). Хотя корреляцию можно уменьшить, используя ортогональные многочлены, как правило, более информативно рассматривать подобранную функцию регрессии в целом. Точечно или одновременно полосы уверенности затем можно использовать, чтобы дать представление о неопределенности в оценке функции регрессии.

Альтернативные подходы

Полиномиальная регрессия - один из примеров регрессионного анализа с использованием базисные функции для моделирования функциональной связи между двумя величинами. В частности, он заменяет ${displaystyle xin mathbb {R} ^ {d_ {x}}}$ в линейной регрессии с полиномиальным базисом ${displaystyle varphi (x) в mathbb {R} ^ {d_ {varphi}}}$, например ${displaystyle [1, x] {mathbin {stackrel {varphi} {ightarrow}}} [1, x, x ^ {2}, ldots, x ^ {d}]}$. Недостатком полиномиальных базисов является то, что базисные функции «нелокальны», что означает, что подобранное значение у по заданной стоимости Икс = Икс₀ сильно зависит от значений данных с Икс далеко от Икс₀.^[5] В современной статистике полиномиальные базисные функции используются наряду с новыми базисные функции, Такие как шлицы, радиальные базисные функции, и вейвлеты. Эти семейства базисных функций подходят для многих типов данных более экономно.

Целью полиномиальной регрессии является моделирование нелинейной взаимосвязи между независимыми и зависимыми переменными (технически, между независимой переменной и условным средним зависимой переменной). Это похоже на цель непараметрическая регрессия, цель которого - захватить отношения нелинейной регрессии. Следовательно, подходы непараметрической регрессии, такие как сглаживание могут быть полезными альтернативами полиномиальной регрессии. Некоторые из этих методов используют локализованную форму классической полиномиальной регрессии.^[6] Преимущество традиционной полиномиальной регрессии состоит в том, что можно использовать логическую схему множественной регрессии (это также справедливо при использовании других семейств базисных функций, таких как сплайны).

Последняя альтернатива - использовать ядровый такие модели как опорная векторная регрессия с полиномиальное ядро.

Если остатки имеют неравная дисперсия, а взвешенный метод наименьших квадратов Для этого можно использовать оценщик.^[7]

Смотрите также

• Подгонка кривой
• Линейная регрессия
• Локальная полиномиальная регрессия
• Моделирование полиномиальных и рациональных функций
• Полиномиальная интерполяция
• Методология поверхности отклика
• Сглаживающий сплайн

Примечания

• Microsoft Excel использует полиномиальную регрессию при подгонке линии тренда к точкам данных на диаграмме разброса X Y.^[8]

Рекомендации

внешняя ссылка

• Подгонка кривой, PhET Интерактивное моделирование, Колорадский университет в Боулдере