Метод найменших квадратів
Метод найменших квадратів
У процесі вивчення різних питань природознавства, економіки і техніки, соціології, педагогіки доводиться на основі великої кількості дослідних даних виявляти суттєві фактори, які впливають на досліджуваний об’єкт, а також встановлювати форму зв’язку між різними зв’язаними одна з одною величинами (ознаками).
Нехай у результаті досліджень дістали таку таблицю деякої функціональної залежності:
Таблиця 1
x |
x>1> |
x>2> |
… |
x>n> |
y |
y>1> |
y>2> |
… |
y>n> |
Треба знайти аналітичний
вигляд функції
,
яка добре відображала б цю таблицю
дослідних даних. Функцію
можна шукати у вигляді інтерполяційного
поліному. Але інтерполяційні поліноми
не завжди добре відображають характер
поведінки таблично заданої функції. До
того ж значення
дістають у результаті експерименту, а
вони, як правило, сумнівні. У цьому разі
задача інтерполювання табличної функції
втрачає сенс. Тому шукають таку функцію
,
значення якої при
досить близькі до табличних значень
.
Формулу
називають емпіричною,
або рівнянням
регресії
на
.
Емпіричні формули мають велике практичне
значення, вдало підібрана емпірична
формула дає змогу не тільки апроксимувати
сукупність експериментальних даних,
«згладжуючи» значення величини
,
а й екстраполювати знайдену залежність
на інші проміжки значень
.
Процес побудови емпіричних формул складається з двох етапів: встановлення загального виду цієї формули і визначення найкращих її параметрів.
Щоб встановити вигляд
емпіричної формули, на площині будують
точки з координатами
.
Деякі з цих точок сполучають плавною
кривою, яку проводять так, щоб вона
проходила якомога ближче до всіх даних
точок. Після цього візуально визначають,
графік якої з відомих нам функцій
найкраще підходить до побудованої
кривої. Звичайно, намагаються підібрати
найпростіші функції: лінійну, квадратичну,
дробово-раціональну, степеневу,
показникову, логарифмічну.
Встановивши вигляд емпіричної формули, треба знайти її параметри (коефіцієнти). Найточніші значення коефіцієнтів емпіричної формули визначають методом найменших квадратів. Цей метод запропонували відомі математики К. Гаусс і А. Лежандр.
Розглянемо суть методу найменших квадратів.
Нехай емпірична формула має вигляд
,
(1)
де
,
,
…,
- невідомі коефіцієнти. Треба знайти
такі значення коефіцієнтів
,
за яких крива (1) якомога ближче проходитиме
до всіх
точок
,
,
…,
,
знайдених експериментально. Зрозуміло,
що жодна з експериментальних точок не
задовольняє точно рівняння (1). Відхилення
від підстановки координат
у рівняння (1) дорівнюватимуть величинам
.
За методом найменших
квадратів найкращі значення коефіцієнтів
ті, для яких сума квадратів відхилень
(2)
дослідних даних
від обчислених за емпіричною формулою
(1) найменша. Звідси випливає, що величина
(2), яка є функцією від коефіцієнтів
,
повинна мати мінімум. Необхідна умов
мінімуму функції багатьох змінних ─
її частинні похідні мають дорівнювати
нулю, тобто
,
,
…,
.
Диференціюючи вираз
(2) по невідомих параметрах
,
матимемо відносно них систему рівнянь:
Система (3) називається нормальною. Якщо вона має розв’язок, то він єдиний, і буде шуканим.
Якщо емпірична функція
(1) лінійна відносно параметрів
,
то нормальна система (3) буде системою
з
лінійних рівнянь відносно шуканих
параметрів.
Будуючи емпіричні
формули, припускатимемо, що експериментальні
дані
додатні.
Якщо серед значень
і
є від’ємні, то завжди можна знайти такі
додатні числа
і
,
що
і
.
Тому розв’язування
поставленої задачі завжди можна звести
до побудови емпіричної формули для
додатних значень
.
Побудова лінійної
емпіричної формули. Нехай
між даними
існує лінійна залежність. Шукатимемо
емпіричну формулу у вигляді
,
(4)
де коефіцієнти
і
невідомі.
Знайдемо значення
і
,
за яких функція
матиме
мінімальне значення. Щоб знайти ці
значення, прирівняємо до нуля частинні
похідні функції
Звідси, врахувавши,
що
,
маємо
(5)
Розв’язавши відносно
і
останню систему, знайдемо
,
(6)
.
(7)
Зазначимо, що, крім
графічного, є ще й аналітичний критерій
виявлення лінійної залежності між
значеннями
і
.
Покладемо
,
,
.
Якщо
,
то залежність між
і
лінійна, бо точки
лежатимуть на одній прямій. Якщо
,
то між
і
існує майже лінійна залежність, оскільки
точки
лежатимуть близько до деякої прямої.
Побудова квадратичної
емпіричної залежності.
Нехай функціональна залежність між
та
- квадратична. Шукатимемо емпіричну
формулу у вигляді
.
(8)
Тоді формулу (2) запишемо наступним чином
Для знаходження
коефіцієнтів
,
,
,
за яких функція
мінімальна, обчислимо частинні похідні
,
,
і прирівняємо їх до нуля. В результаті
дістанемо систему рівнянь
Після рівносильних перетворень маємо систему
(9)
Розв’язок цієї системи і визначає єдину параболу, яка краще від усіх інших парабол (8) подає на розглядуваному проміжку задану таблично функціональну залежність.
Сформулюємо аналітичний
критерій для квадратичної залежності.
Для цього введемо поділені різниці
першого і другого порядку
і
,
де
.
Точки
розміщені на параболі (8) тоді і тільки
тоді, коли всі поділені різниці другого
порядку зберігають сталі значення.
Якщо точки
рівновіддалені, тобто
,
то для існування квадратичної залежності
(8) необхідно і достатньо, щоб була сталою
скінчена різниця другого порядку
,
причому
.
Побудова емпіричних
формул найпростіших нелінійних
залежностей. Нехай
у системі координат
маємо нелінійну залежність
,
неперервну і монотонну на відрізку
.
Введемо змінні
,
так, щоб у новій системі координат
задана емпірична нелінійна залежність
стала лінійною
.
(10)
Тоді точки з координатами
в площині
лежатимуть на прямій лінії.
Покажемо, як від нелінійних залежностей
,
2)
,
3)
,
,
5)
,
6)
перейти до лінійних.
1) Розглянемо степеневу
залежність
,
де
,
,
.
Логарифмуючи її,
знаходимо
.
Звідси, поклавши
,
,
,
,
маємо
.
2) Логарифмуючи
показникову залежність
,
маємо
.
Поклавши
,
,
,
в системі координат
дістанемо залежність (10).
Зазначимо, що замість
показникової залежності
часто шукають залежність
.
Остання перетвориться в лінійну, якщо
позначити
,
,
,
.
3) Щоб перейти від
логарифмічної залежності
до лінійної
,
досить зробити підстановку
,
.
4) У гіперболічній
залежності замінимо змінні
,
.
Тоді гіперболічна залежність перетвориться
в лінійну (10), в якій
,
.
5) Розглянемо
дробово-лінійну функцію
.
Знайдемо обернену функцію
.
Тоді ввівши нові координати
,
,
дістанемо лінійну залежність (10), де
,
.
6) Нехай маємо
дробово-раціональну залежність
.
Оберненою до неї буде залежність
.
Ввівши нові змінні
,
,
дістанемо лінійну залежність (10) з
коефіцієнтами
,
.
Отже, для побудови будь-якої з емпіричних формул 1)-6) треба:
а) за вихідною таблицею
даних
побудувати нову таблицю
,
використавши відповідні формули переходу
до нових координат;
б) за новою таблицею
даних знайти методом найменших квадратів
коефіцієнти
і
лінійної функції (10);
в) за відповідними
формулами знайти коефіцієнти
і
даної нелінійної залежності.
Вибрати емпіричну
формулу для нелінійних залежностей
графічним методом часто буває важко.
Тоді вдаються до перевірки аналітичних
критеріїв існування певної залежності.
Для цього зводять її до лінійної і
перевіряють виконання критерію лінійної
залежності між перетвореними вихідними
даними
.
Але є й власні аналітичні критерії
наявності кожної з розглянутих вище
нелінійних залежностей. Найпростіші
необхідні умови їх наявності подано в
табл. 2.
Таблиця 2
№ пор. |
Емпірична формула |
|
|
Спосіб вирівнювання |
1 |
|
|
|
|
2 |
|
|
|
|
3 |
|
|
|
|
4 |
|
|
|
|
5 |
|
|
|
|
6 |
|
|
|
|
7 |
|
|
|
|
Умови перевіряють у
такий спосіб. На
заданому відрізку зміни незалежної
змінної
вибирають дві точки, досить надійні і
розміщені якомога далі одна від одної.
Нехай, наприклад, це будуть точки
,
.
Потім, залежно від типу емпіричної
формули, що перевіряється, обчислюють
значення
,
яке є або середнім арифметичним, або
середнім геометричним, або середнім
гармонічним значень
,
.
Маючи значення
і
аналогічно обчислюють і відповідне
значення
.
Далі, користуючись даною таблицею
значень
,
для значення
знаходять відповідне йому значення
.
Якщо
немає в таблиці, то
знаходять наближено з побудованого
графіка даної залежності або за допомогою
лінійної інтерполяції
,
де
і
─ проміжні значення, між якими лежить
.
Обчисливши
,
знаходять величину
.
Якщо ця величина велика, то відповідна
емпірична формула не придатна для
апроксимації заданих табличних даних.
З кількох придатних емпіричних формул
перевагу надають тій, для якої відхилення
якомога менше.