Проста лінійна регресія

Припустимо, що є n точок {(x_i, y_i), i = 1, …, n}. Функція, яка описує зв'язок х і y записується:

${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}.}$

Завдання полягає в тому, щоб знайти рівняння прямої лінії

${\displaystyle y=\alpha +\beta x,}$

яка б забезпечувала «найкращий» допасування наявних точок даних. Тут під «найкращий» розуміємо в сенсі найменшого квадратичного відхилення: лінія, що мінімізує суму квадратів похибок лінійної регресійної моделі. Іншими словами, α (перетин з віссю y) і β (нахил) є розв'язком наступної задачі мінімізації:

${\displaystyle {\text{Find }}\min _{\alpha ,\,\beta }Q(\alpha ,\beta ),\qquad {\text{for }}Q(\alpha ,\beta )=\sum _{i=1}^{n}\varepsilon _{i}^{\,2}=\sum _{i=1}^{n}(y_{i}-\alpha -\beta x_{i})^{2}\ }$

Просто розкриваючи дужки у виразі отримуємо квадратичний вираз відносно α і β, можна показати, що значення α і β, які мінімізують цільову функцію Q^[5] записуються формулами:

${\displaystyle {\begin{aligned}{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\\[6pt]&={\frac {\sum _{i=1}^{n}(x_{i}y_{i}-x_{i}{\bar {y}}-{\bar {x}}y_{i}+{\bar {x}}{\bar {y}})}{\sum _{i=1}^{n}(x_{i}^{2}-2x_{i}{\bar {x}}+{\bar {x}}^{2})}}\\[6pt]&={\frac {\sum _{i=1}^{n}(x_{i}y_{i})-{\bar {y}}\sum _{i=1}^{n}x_{i}-{\bar {x}}\sum _{i=1}^{n}y_{i}+n{\bar {x}}{\bar {y}}}{\sum _{i=1}^{n}(x_{i}^{2})-2{\bar {x}}\sum _{i=1}^{n}x_{i}+n{\bar {x}}^{2}}}\\[6pt]&={\frac {{\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}-{\bar {x}}{\bar {y}}}{{\frac {1}{n}}\sum _{i=1}^{n}{x_{i}^{2}}-{\overline {x}}^{2}}}\\[6pt]&={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{{\overline {x^{2}}}-{\bar {x}}^{2}}}={\frac {\operatorname {Cov} [x,y]}{\operatorname {Var} [x]}}\\&=r_{xy}{\frac {s_{y}}{s_{x}}},\\[6pt]{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\end{aligned}}}$

де r_xy — коефіцієнт кореляції між x і y; а s_x і s_y — це стандартні відхилення x і y. Горизонтальна риска над величиною вказує середнє значення цієї величини. Наприклад:

${\displaystyle {\overline {xy}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}.}$

Підставляючи вирази ${\displaystyle {\hat {\alpha }}}$ і ${\displaystyle {\hat {\beta }}}$ в

${\displaystyle f={\hat {\alpha }}+{\hat {\beta }}x,}$

маємо

${\displaystyle {\frac {f-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}}$

Це показує, що r_xy — нахил регресійної лінії для стандартизованих точок вибірки (і ця лінія проходить через початок координат).

Іноді корисно вираховувати r_xy даних з інших причин, використовуючи формулу:

${\displaystyle r_{xy}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{\sqrt {\left({\overline {x^{2}}}-{\bar {x}}^{2}\right)\left({\overline {y^{2}}}-{\bar {y}}^{2}\right)}}}}$

Коефіцієнт детермінації (R-квадрат) дорівнює ${\displaystyle r_{xy}^{2}}$ , коли маємо справу з лінійною моделлю з однією незалежною змінною. Докладніше в статті про коефіцієнт кореляції вибірки.

1. Регресійна лінія проходить через центр мас точок, ${\displaystyle ({\bar {x}},\,{\bar {y}})}$ , якщо модель включає в себе вільний член (тобто, не пересунена в початок координат)
2. Сума похибок дорівнює нулю, якщо модель включає в себе вільний член:

${\displaystyle \sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0.}$

1. Значення похибок і x некорельовані, тобто (не залежно від того чи присутній в моделі вільний член):

${\displaystyle \sum _{i=1}^{n}x_{i}{\hat {\varepsilon }}_{i}\;=\;0}$

Знайдемо ${\displaystyle {\hat {\alpha }}}$ і ${\displaystyle {\hat {\beta }}}$ які мінімізують суму квадратичних похибок (СКП):

${\displaystyle \min _{{\hat {\alpha }},{\hat {\beta }}}\,\operatorname {SSE} \left({\hat {\alpha }},{\hat {\beta }}\right)\equiv \min _{{\hat {\alpha }},{\hat {\beta }}}\sum _{i=1}^{n}\left(y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}\right)^{2}}$

Щоб знайти мінімум, візьмемо частинні похідні по ${\displaystyle {\hat {\alpha }}}$ і ${\displaystyle {\hat {\beta }}}$

${\displaystyle {\begin{aligned}&{\frac {\partial }{\partial {\hat {\alpha }}}}\left(\operatorname {SSE} \left({\hat {\alpha }},{\hat {\beta }}\right)\right)=-2\sum _{i=1}^{n}\left(y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}\right)=0\\\Rightarrow {}&\sum _{i=1}^{n}\left(y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}\right)=0\\\Rightarrow {}&\sum _{i=1}^{n}y_{i}=\sum _{i=1}^{n}{\hat {\alpha }}+{\hat {\beta }}\sum _{i=1}^{n}x_{i}\\\Rightarrow {}&\sum _{i=1}^{n}y_{i}=n{\hat {\alpha }}+{\hat {\beta }}\sum _{i=1}^{n}x_{i}\\\Rightarrow {}&{\frac {1}{n}}\sum _{i=1}^{n}y_{i}={\hat {\alpha }}+{\frac {1}{n}}{\hat {\beta }}\sum _{i=1}^{n}x_{i}\\\Rightarrow {}&{\bar {y}}={\hat {\alpha }}+{\hat {\beta }}{\bar {x}}\end{aligned}}}$

Перед взяттям частинної похідно по ${\displaystyle {\hat {\beta }}}$ , підставимо попередній результат для ${\displaystyle {\hat {\alpha }}}$ .

${\displaystyle \min _{{\hat {\alpha }},{\hat {\beta }}}\sum _{i=1}^{n}\left[y_{i}-\left({\bar {y}}-{\hat {\beta }}{\bar {x}}\right)-{\hat {\beta }}x_{i}\right]^{2}=\min _{{\hat {\alpha }},{\hat {\beta }}}\sum _{i=1}^{n}\left[\left(y_{i}-{\bar {y}}\right)-{\hat {\beta }}\left(x_{i}-{\bar {x}}\right)\right]^{2}}$

Тепер візьмемо похідну по ${\displaystyle {\hat {\beta }}}$ :

${\displaystyle {\begin{aligned}&{\frac {\partial }{\partial {\hat {\beta }}}}\left(\operatorname {SSE} \left({\hat {\alpha }},{\hat {\beta }}\right)\right)=-2\sum _{i=1}^{n}\left[\left(y_{i}-{\bar {y}}\right)-{\hat {\beta }}\left(x_{i}-{\bar {x}}\right)\right]\left(x_{i}-{\bar {x}}\right)=0\\\Rightarrow {}&\sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)\left(x_{i}-{\bar {x}}\right)-{\hat {\beta }}\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}=0\\\Rightarrow {}&{\hat {\beta }}={\frac {\sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)\left(x_{i}-{\bar {x}}\right)}{\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}={\frac {\operatorname {Cov} (x,y)}{\operatorname {Var} (x)}}\end{aligned}}}$

І, нарешті, підставимо ${\displaystyle {\hat {\beta }}}$  у вираз для визначення ${\displaystyle {\hat {\alpha }}}$

${\displaystyle {\hat {\alpha }}={\bar {y}}-{\hat {\beta }}{\bar {x}}}$

• Лінійна регресія

• Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.