Метод наименьших квадратов алгоритм


Положение экспериментальных значений t iC к iна графике. По оси Х — значения времени tпо оси У — содержание сахара в крови Ск. Задача состоит в том, чтобы по данным экспериментальным точкам провести кривую не ломануюкоторая проходила бы как можно ближе к истинной функциональной зависимости. Теория вероятностей показывает, что наилучшим приближением будет такая кривая или прямая линия, для которой сумма квадратов расстояний по вертикали от точек до кривой будет минимальной рис. Этот метод и называется методом наименьших квадратов. Суть этого метода состоит в следующем. Предположим, что искомая зависимость выражается функциейгде - параметры. Значения этих параметров определяются так, чтобы точки Cк i располагались по обе стороны кривой как можно ближе к последней, т. Это соответствует предположению, что разброс точек Cк i относительно кривой подчиняется закону нормального распределения. Мерой этого разброса метод наименьших квадратов алгоритм дисперсия метод наименьших квадратов алгоритм ее приближенное выражение — средний квадрат отклонений1 и требование минимального разброса соответствует требованию минимального значения этого среднего квадрата. Как известно, функция принимает минимальное значение приесли ее первая производная равна нулю, а вторая производная положительна, при этом значении. Для функции многих переменных эти условия заменяются требованием, чтобы частные производные, т. Криваяпостроенная по значениям t iC к i методом наименьших квадратов. По оси Х — значения времени tпо оси У — метод наименьших квадратов алгоритм сахара в крови Ск. Таким образом, из условий минимума мы получаем систему уравнений для определения наилучших значений параметров: 2 Где - количество параметров в эмпирической зависимости, - количество экспериментальных точек на кривой. Изложенный выше способ использования метода наименьших квадратов примЕним для нелинейной зависимости вида: 3 В этом случае уравнения 2 принимают вид 4 т. Запишем систему уравнений 4 в виде: 6 где 7 Точное решение системы нелинейных уравнений 6 найти не удается. Поэтому на практике ищется приближенное метод наименьших квадратов алгоритм с помощью численных методов. В основу многих современных алгоритмов квазиньютоновские алгоритмы, метод секущих положены идеи метода Ньютона для метод наименьших квадратов алгоритм нелинейных уравнений, который, как и все иные алгоритмы для подобных систем, относится к классу итерационных алгоритмов. В отличии от систем линейных уравнений прямые методы для нелинейных систем неприменимы. Пусть найдено приближение к решению системы 6. Возникает вопрос: «Каким должно быть следующее приближениекоторое расположено к решению ближе, чем? Попробуем ответить на этот вопрос. Разложим левые части системы 6 в ряд Тейлора в точкеограничившись линейными членами разложения: 8 Поскольку левые части получившегося разложения должны равняться нулю, приходим к системе линейных уравнений метод наименьших квадратов алгоритм 3-мя неизвестными: 9 решая которую относительно неизвестныхнайдем приращение, которое употребим для вычисления следующего приближения. Матрица коэффициентов системы 9 10 называется матрицей Якоби или якобианом. Определим значения коэффициентов в матрице Якоби: 11 где 12 Тогда, с учетом 12значения коэффициентов в матрице Якоби можно записать как: 13 Таким образом, в методе Ньютона на каждом шаге нелинейная задача 6 заменяется линейной задачей метод наименьших квадратов алгоритмв результате решения которой определяется очередное приближение. Метод имеет квадратичную сходимость, что позволяет использовать простой критерий прекращения счета. Из описания метода следует, что он применим, если функции системы 6 непрерывно дифференцируемы и на каждом его шаге определитель матрицы 10 отличен от нуля т. Больше того, для получения метод наименьших квадратов алгоритм решения матрица 10 должна быть хорошо обусловленной. Из приведенного материала видно, что использование метода Ньютона для систем нелинейных уравнений сопряжено с определенными трудностями: 1 на каждой итерации необходимо вычислять ; 2 на каждой итерации приходится решать систему линейных уравнений, которая может быть плохо обусловленной; 3 метод для многих задач не обладает глобальной сходимостью в том смысле, что решение системы 6 может быть получено лишь от удачно выбранных начальных приближений, найти которые в многомерном случае гораздо сложнее, чем в одномерном. Существующие модификации метода квазиньютоновские алгоритмы во многом устраняют перечисленные недостатки. В них есть возможность применения как рассмотренной выше ньютоновской стратегии, так и некоторой глобальной стратегии, позволяющей, во-первых, работать с плохо обусловленными матрицами Якоби и, во-вторых, решать проблему глобальной сходимости, т. С различными вариантами квазиньютоновских стратегий можно познакомиться, обратившись к книге: Дэннис Дж. Численные методы безусловной оптимизации и решения нелинейных уравнений. Программная реализация квазиньютоновских алгоритмов решения систем нелинейных уравнений осуществлена в математических пакетах MathCAD, MathLab. Неплохо представлены указанные алгоритмы в математической библиотеке IMSL фирмы Visual Numerics, Inc. Бартеньев Фортран для профессионалов.

Смотрите также:



Коментарии:

  • Результат сохраняем в форме двумерного массива, состоящего из 2 столбцов. Затем с использованием найденных оценок дисперсий возмущений строится оценка ковариационной матрицы.