Сравнительный анализ методов оптимизации (работа 2)

Министерство образования и науки Республики Казахстан

Карагандинский Государственный Технический Университет

Кафедра САПР

ПОЯСНИТЕЛЬНАЯ ЗАПИСКА

к курсовой работе

по дисциплине "Теория принятия решений"

Тема: "Сравнительный анализ методов оптимизации"

Руководитель:

(подпись) (дата)

Студент:

(группа)

_____________________

(подпись) (дата)

Караганда 2009

С одержание

Введение

1. Формулировка математической задачи оптимизации. Основные понятия

1.1 Формулировка математической задачи оптимизации

1.2 Минимум функции одной переменной

1.3 Минимум функции многих переменных

1.4 Унимодальные функции

1.5 Выпуклые функции

2. Прямые методы безусловной оптимизации

2.1 Прямые методы одномерной безусловной оптимизации

2.1.1 Метод деления отрезка пополам (дихотомии)

2.1.2 Метод золотого сечения

2.1.3 Практическое применение прямых методов одномерной безусловной оптимизации

2.2 Методы безусловной минимизации функций многих переменных

2.2.1 Метод циклического покоординатного спуска

2.2.2 Алгоритм Хука-Дживса

2.2.3 Практическое применение прямых методов безусловной многомерной оптимизации

2.2.4 Минимизация по правильному симплексу

2.2.5 Поиск точки минимума по деформируемому симплексу

2.2.6 Практическая реализация симплексных методов

3. Условная оптимизация

4. Линейное программирование

Заключение

Список использованной литературы

Введение

Задача оптимизации всегда была весьма актуальной, а в последнее время, с ускоренным развитием различных областей науки и техники, она приобрела еще более весомое значение.

Так как поведение любого физического объекта можно описать уравнением или системой уравнений (т.е. создать математическую модель реального объекта), то задачей инженера является подбор функции с заданной точностью при данных граничных условиях, которая бы могла "показать" оптимальное решение.

В данном курсовом проекте рассмотрены базовые методы оптимизации, которые дают основное представление о теории принятия решений и широко применяются в самых различных сферах.

1. Формулировка математической задачи оптимизации. Основные понятия

1.1 Формулировка математической задачи оптимизации

В достаточно общем виде математическую задачу оптимизации можно сформулировать следующим образом; минимизировать (максимизировать) целевую функцию с учетом ограничений на управляемые переменные.

Под минимизацией (максимизацией) функции n переменных f (x) = (x_>1>,.., x_>n>) на заданном множестве U n-мерного векторного пространства Е_>n> понимается определение хотя бы одной из точек минимума (максимума) этой функции на множестве U, а также, если это необходимо, и минимального (максимального) на множестве U значения f (x). При записи математических задач оптимизации в общем виде обычно используется следующая символика:

f (x) min (max),

х U

где f (x) - целевая функция, а U - допустимое множество, заданное ограничениями на управляемые переменные.

Если функция f (x) - скалярная, то задача ее оптимизации носит название задачи математического программирования. В этом случае критерий оптимизации один, и, следовательно, речь идет об однокритериальной (одномерной) оптимизации. Если же критериев несколько, то такая задача называется многокритериальной (задачей векторного программирования).

Если область допустимых значений исходной функции задана, то оптимизация называется условной, т.е. имеются ограничения.

Если же ограничений нет, т.е. областью определения является область существования функции f (x), то такая оптимизация называется безусловной.

1.2 Минимум функции одной переменной

Пусть функция f (x) определена на множестве U вещественной оси R.

1. Число х*  U называется точкой глобального (абсолютного) минимума или просто точкой минимума функции f (x) на множестве U, если f (x*)  f (x) для всех х U.

Значение f * = f (x*) = называют глобальным (абсолютным) минимумом или просто минимумом функции f (x) на множестве U.

Множество всех точек минимума f (x) на U в дальнейшем будет обозначено через U*.

2. Число U называется точкой локального минимума функции f (x), если для всех xU, достаточно близких к , т.е. если существует  > 0 такое, что это неравенство выполняется для любого.

Глобальный минимум f (x) является и локальным минимумом, а обратное неверно.

1.3 Минимум функции многих переменных

Будем рассматривать функции многих переменных f =f (x_>1>, …, x_>n>) как функции, заданные в точках х n-мерного евклидова пространства Е_>n>: f =f (х).

1. Точка х^*Е_>n>, называется точкой глобального минимума функции f (х), если для всех х^*Е_>n> выполняется неравенство f (x^*)  f (х). Значение f (x^*) = = называется минимумом функции. Множество всех точек глобального минимума функции f (х) будем обозначать через U^*.

2. Точка называется точкой локального минимума функции f (х), если существует -окрестность точки : U_>n> () ={x |  (x, ) < } такая, что для всех х^*U_>n> () выполняется неравенство f ()  f (х).

3. Если допустимое множество U в задаче минимизации (максимизации) функции n переменных совпадает со всем пространством E_>n>, то говорят о задаче безусловной оптимизации

, x  E_>n>.

1.4 Унимодальные функции

Если функция f (x) на множестве U имеет, кроме глобального, локальные минимумы, отличные от него, то минимизация f (x), как правило, сильно затрудняется. В частности, многие методы поиска точки минимума f (x) приспособлены только для функций, у которых каждый локальный минимум является одновременно и глобальным. Этим свойством обладают унимодальные функции.

Функция f (x) называется унимодальной на отрезке [а; b], если она непрерывна на [а; b] и существуют числа  и , , такие, что:

1) если а < , то на отрезке [a; ] функция f (x) монотонно убывает;

2) если  < b, то на отрезке [; b] функция f (x) монотонно возрастает;

3) при х  [; ] f (x) =f ^* = .

Множество унимодальных на отрезке [а; b] функций мы будем обозначать через Q [а; b]. Отметим, что возможно вырождение в точку одного или двух отрезков из [a; ], [; ] и [; b]. Некоторые варианты расположения и вырождения в точку отрезков монотонности и постоянства унимодальной функции показаны на рисунке 1.

Рисунок 1 - Некоторые варианты расположения и вырождения в точку отрезков монотонности и постоянства унимодальной функции

Основные свойства унимодальных функций:

1. Любая из точек локального минимума унимодальной функции является и точкой ее глобального минимума на отрезке [а; b].

2. Функция, унимодальная на отрезке [а; b], является унимодальной и на любом меньшем отрезке [с; d] [а; b].

3. Пусть f (x) Q [а; b] и . Тогда:

если , то x^* [a; x_>2>] ;

если , то x^* [x_>1>; b],

где х* - одна из точек минимума f (x) на отрезке [a; b].

1.5 Выпуклые функции

Функция f (x), заданная на отрезке [a; b], называется выпуклой на этом отрезке, если для всех х', х" [а; b] и произвольного числа [0; 1] выполняется неравенство

f [x'+ (1- ) x"]  f (x') + (l - ) f (x"). (1)

Перечислим основные свойства выпуклых функций.

Если функция f (x) выпукла на [a; b], то на любом отрезке [х'; х"]  [a; b] ее график расположен не выше хорды, проведенной через точки графика с абсциссами х' и х" (рисунок 2).

Рисунок 2 - Взаимное расположение

Пусть х' и х" - произвольные точки отрезка [a; b], причем х' < х". Легко проверить, что при любом   [0; 1] точка x_>> = x^’ + (1-) x" лежит на отрезке [x’; х"] и при непрерывном изменении  от 0 до 1 пробегает этот отрезок от точки х" (при  = 0) до точки x' (при  = 1).

Рассмотрим хорду графика f (x), проходящую через точки (х',f (х')) и (х",f (х")). Ордината y_>> точки этой хорды, соответствующая абсциссе c, равна. Поэтому неравенство (1) графика выпуклой функции и хорды означает, что f (x_>>)  y_>>, т.е. при любом расположении x_>>_>, >на отрезке [х'; х"] точка графика функции f (x) лежит не выше соответствующей точки хорды.

2. Из курса математического анализа известны следующие условия выпуклости функции:

а) для того чтобы дифференцируемая на отрезке [а; b] функция f (x) была выпуклой на этом отрезке, необходимо и достаточно, чтобы производная f ' (x) не убывала на [а; b] ;

б) для того чтобы дважды дифференцируемая на отрезке [а; b] функция f (x) была выпуклой на этом отрезке, необходимо и достаточно, чтобы при всех х [а; b] выполнялось неравенство f " (x)  0.

3 Условие выпуклости для дифференцируемой на отрезке [а; b] функции f (x) означает, что на этом отрезке любая касательная к графику f (x) лежит не выше этого графика (рисунок 3).

Рисунок 3 - условие выпуклости

Уравнение касательной к графику f (х) в точке (x_>0,> f (x_>0>)), x_>0>  [а; b] имеет вид: у (х) =f (x_>0>) +f ’ (x_>0>) (x-x_>0>). По формуле конечных приращений для любого х [а; b] имеем: f (х) =f (x_>0>) +f ’ () (x-x_>0>), где точка  лежит между x и x_>0>. Поэтому

f (х) - у (х) = [f ’ () - f ’ (x_>0>)] (x-x_>0>), х [а; b],

откуда с учетом того, что производная f ’ (x) выпуклой функции не убывает, получаем:

f (x) -y (x)  0 (2)

для всех х [а; b].

4. Если f (x) - выпуклая дифференцируемая на отрезке [а; b] функция и в точке х*  [а; b] выполняется равенство

f ’ (x^*) = 0 (3)

то х* является точкой глобального минимума f (х) на [а; b].

С учетом (3) уравнение касательной у (х) =f (х_>0>) +f ’ (х_>0>) (х-х_>0>) к графику f (x) для точки x_>0> =х* принимает вид у (х) =f (x*). Поэтому из (2) следует, что f (x) f (x*) для всех х [а; b], т.е. х* - точка глобального минимума f (x).

Благодаря свойству 3 выпуклых функций данное свойство приобретает простой геометрический смысл: поскольку касательная к графику f (x) в точке с абсциссой х* горизонтальна, а этот график расположен не ниже касательной, то х* есть точка минимума f (x) (рисунок 3).

Таким образом, равенство (3) для выпуклой дифференцируемой функции является не только необходимым условием глобального минимума (как для всякой дифференцируемой функции), но и его достаточным условием.

5. Можно показать, что всякая выпуклая непрерывная на отрезке [а; b] функция является и унимодальной на этом отрезке. Обратное, вообще говоря, неверно (рисунок 4).

Рисунок 4 - график унимодальной, но не выпуклой функции

Таким образом, кроме перечисленных свойств, выпуклые функции обладают также и всеми свойствами унимодальных функций.

2. Прямые методы безусловной оптимизации

Для решения задачи минимизации функции f (х) на отрезке [а; b] на практике, как правило, применяют приближенные методы. Они позволяют найти решение этой задачи с необходимой точностью в результате определения конечного числа значений функции f (х) и ее производных в некоторых точках отрезка [а; b]. Методы, использующие только значения функции и не требующие вычисления ее производных, называются прямыми методами минимизации.

Большим достоинством прямых методов является то, что от целевой функции не требуется дифференцируемости и, более того, она может быть не задана в аналитическом виде. Единственное, на чем основаны алгоритмы прямых методов минимизации, это возможность определения значений f (х) в заданных точках.

Рассмотрим наиболее распространенные на практике прямые методы поиска точки минимума. Самым слабым требованием на функцию f (х), позволяющим использовать эти методы, является ее унимодальность. Поэтому далее будем считать функцию f (х) унимодальной на отрезке [а; b].

Рассмотрим конкретные вычислительные алгоритмы решения задачи безусловной минимизации f (х)  min, x E_>n>, которые опираются только на вычисление значений функции f (х), т.е. прямые методы минимизации. Важно отметить, что для их применения не требуется дифференцируемость целевой функции и даже ее аналитическое задание. Нужно лишь иметь возможность вычислять или измерять значения f (х) в произвольных точках. Такие ситуации часто встречаются в практически важных задачах оптимизации.

2.1 Прямые методы одномерной безусловной оптимизации

Методы исключения отрезков

Пусть а < x_>1><х_>2><b. Сравнив значения f (x) в точках x_>1 >и х_>2> (пробных точках), можно сократить отрезок поиска точки х *, перейдя к отрезку [а; х_>2>], если или к отрезку m [x_>1; >b] если (рисунок 5). Описанную процедуру можно повторить необходимое число раз, последовательно уменьшая отрезок, содержащий точку минимума. Когда длина последнего из найденных отрезков станет достаточно малой, следует положить , где - одна из точек этого отрезка, например, его середина. Методы минимизации, основанные на этом принципе, называются методами исключения отрезков.

Чтобы относительное уменьшение отрезка на каждой итерации не зависело от того, какая из его частей исключается из дальнейшего рассмотрения, пробные точки следует располагать симметрично относительно середины исходного отрезка. В зависимости от способа выбора пробных точек получаются различные методы исключения отрезков. Далее проводится рассмотрение двух наиболее часто встречаемых.

Рисунок 5 - Уменьшение отрезка поиска точки минимума методами исключения отрезков

2.1.1 Метод деления отрезка пополам (дихотомии)

Суть метода заключается в том, что заданный отрезок [а; b] делится пополам:

.

Затем в каждой из половин отрезка [а; с] и [с; b] выбираются по одной точке x_>1 >и х_>2, >в них вычисляются значения функций, производится сравнение полученных значений, и в результате сравнения устанавливается отрезок, в котором минимума быть не может. Откинув его, продолжаем ту же процедуру с полученным отрезком до тех пор, пока вновь полученный отрезок не станет меньше по длине некоторой наперед заданной величины:

.

Скорость достижения очевидно зависит от величины откидываемого отрезка. Поэтому x_>1 >и х_>2> выбираются симметрично на расстоянии :

(4)

где  > 0 - малое число.

В конце вычислений по методу дихотомии в качестве приближенного значения х* берут середину последнего из найденных отрезков [а; b], убедившись предварительно, что достигнуто неравенство .

Опишем алгоритм метода деления отрезка пополам.

Шаг 1. Определить середину отрезка и значения x_>1 >и х_>2> по формулам (4). Вычислить f (x_>1>) и f (x_>2>).

Шаг 2. Сравнить f (x_>1>) и f (x_>2>). Если , то перейти к отрезку [а; x_>2>], положив b = x_>2,> иначе - к отрезку [x_>1>; b], положив а = x_>1.>

Шаг 3. Найти достигнутую точность . Если то перейти к следующей итерации, вернувшись к шагу 1. Если , то завершить поиск х*, перейдя к шагу 4.

Шаг 4. Положить

.

Замечания:

1. Число  из (4) выбирают на интервале (0; 2) с учетом следующих соображений:

а) чем меньше , тем больше относительное уменьшение длины отрезка на каждой итерации, т.е. при уменьшении  достигается более высокая скорость сходимости метода дихотомии;

б) при чрезмерно малом  сравнение значений f (x) в точках x_>1 >и х_>2,> отличающихся на величину , становится затруднительным. Поэтому выбор  должен быть согласован с точностью определения f (x) и с количеством верных десятичных знаков при задании аргумента х.

Пусть - погрешность счета. Тогда следует учитывать следующее условие:

.

2.1.2 Метод золотого сечения

Рассмотрим такое симметричное расположение точек x_>1 >и х_>2 >на отрезке [а; b], при котором одна из них становится пробной точкой и на новом отрезке, полученном после исключения части исходного отрезка. Использование таких точек позволяет на каждой итерации метода исключения отрезков, кроме первой, ограничиться определением только одного значения f (x), так как другое значение уже найдено на одной из предыдущих итераций.

Найдем точки x_>1 >и х_>2,> обладающие указанным свойством.

Рассмотрим сначала отрезок [0; 1] и для определенности предположим, что при его уменьшении исключается правая часть этого отрезка. Пусть х_>2 >= , тогда симметрично расположенная точка х_>1 >= 1- (рисунок 6).

Рисунок 6 - Определение пробных точек в методе золотого сечения

Пробная точка х_>1 >отрезка [0; 1] перейдет в пробную точку х_>2> = 1- нового отрезка [0; ]. Чтобы точки х_>2 >= , и х_>2> = 1- делили отрезки [0; 1] и [0; ] в одном и том же отношении, должно выполняться равенство или , откуда находим положительное значение

…

Таким образом,

х_>1 >= 1- = , .

Для произвольного отрезка [а; b] выражения для пробных точек примут вид

; . (5)

Замечания:

1. Точки x_>1 >и х_>2 >из (5) обладают следующим свойством: каждая из них делит отрезок [а; b] на две неравные части так, что отношение длины всего отрезка к длине его большей части равно отношению длин большей и меньшей частей отрезка. Точки с таким свойством называются точками золотого сечения отрезка [а; b]. Это и объясняет название рассматриваемого метода.

2. На каждой итерации исключения отрезков с пробными точками (5) одна из них переходит на следующий отрезок и значение f (x) в этой точке вычислять не следует. Если новым отрезком становится [а; х_>2>], то на него переходит пробная точка исходного отрезка, становясь его второй пробной точкой (х_>2>^’= х_>1>) (рисунок 6). В случае перехода к отрезку [х_>1>; b] пробная точка исходного отрезка становится первой пробной точкой отрезка [х_>1>; b].

3. Легко проверить, что х_>1>=а+b-х_>2,> и x_>2>=а+b-х_>1>. Поэтому на каждой итерации метода золотого сечения недостающую пробную точку нового отрезка можно найти по перешедшей на него пробной точке с помощью сложения и вычитания, не используя формул (5).

4. В конце вычислений по методу золотого сечения в качестве приближенного значения х* можно взять середину последнего из полученных отрезков

.

Опишем алгоритм метода золотого сечения.

Шаг 1. Найти х_>1> и х_>2> по формулам (5). Вычислить f (x_>1>) и f (x_>2>).

Шаг 2. Определить . Проверка на окончание поиска: если _>n> > , то перейти к шагу 3, иначе - к шагу 4.

Шаг 3. Переход к новому отрезку и новым пробным точкам. Если f (x_>1>)  f (x_>2>) то положить b=x_>2,> x_>2>=x_>1>, f (x_>2>)  f (x_>1>), x_>1>=b- (b-a) и вычислить f (x_>1>), иначе - положить a=x_>1>, x_>1>= x_>2>, f (x_>1>) = f (x_>2>), x_>2>=b+ (b-a) и вычислить f (x_>2>). Перейти к шагу 2.

Шаг 4. Окончание поиска: положить

, .

Сравнение методов исключения отрезков. При сравнении прямых методов минимизации обычно учитывают количество N значений f (x), гарантирующее заданную точность определения точки х* тем или иным методом. Чем меньше N, тем эффективнее считается метод. При этом вспомогательные операции такие, как выбор пробных точек, сравнение значений f (x) и т.п., не учитываются. Во многих практических случаях определение значений целевой функции требует больших затрат (например, времени ЭВМ или средств для проведения экспериментов) и вспомогательными вычислениями можно пренебречь. А эффективность метода минимизации особенно важна именно в таких случаях, поскольку позволяет сократить указанные затраты.

Эффективность методов минимизации можно также сравнивать, на основании гарантированной точности  (N) нахождения точки х*, которую они обеспечивают в результате определения N значений f (x). Метод золотого сечения считают более точным, чем метод дихотомии, однако разница в точности в данном случае незначительна.

2.1.3 Практическое применение прямых методов одномерной безусловной оптимизации

Пусть заданы следующие параметры:

Примем и . Тогда (рисунок 7).

Рисунок 7 - Поведение исходной функции на заданном отрезке

Проведем несколько итерации методом дихотомии:

Поскольку f (x_>1>) < f (x_>2>), то b: =x_>2>, a оставляем прежним. Тогда для следующей итерации:

Так как f (x_>1>) > f (x_>2>), то a: =x_>1>, b оставляем прежним. Тогда на третьем шаге:

Результаты полного решения данной задачи представлены на рисунке 8. Листинг программы представлен в приложении А.

Рисунок 8 - Получение решения методом дихотомии

Для метода золотого сечения:

Так как f (x_>1>) < f (x_>2>), то b: =x_>2>, a оставляем прежним. Тогда для следующей итерации:

Поскольку f (x_>1>) < f (x_>2>), то b: =x_>2>, a оставляем прежним. Тогда на третьем шаге:

И так далее до тех пор, пока не достигнем указанной точности. Полный расчет представлен на рисунке 9. Листинг программы представлен в приложении А.

Рисунок 9 - Получение решения методом золотого сечения

2.2 Методы безусловной минимизации функций многих переменных

Теперь рассмотрим задачи оптимизации, сводящиеся к поиску точек минимума функции многих переменных на всем пространстве. В большинстве случаев такая задача бывает сложнее задачи минимизации функции одной переменной, так как с ростом размерности пространства переменных, как правило, возрастают объем вычислений и сложность алгоритмов, а также затрудняется анализ поведения целевой функции.

2.2.1 Метод циклического покоординатного спуска

Этот метод заключается в последовательной минимизации целевой функции f (x) по направлениям x1 и x2.

Рисунок 10 - Циклический покоординатный спуск.

Опишем этот алгоритм.

Шаг 0. Выбрать х  E_>n>, критерий достижения точности  и шаг . Найти f (x1 ^(0),x2 ⁽⁰⁾⁾.

Шаг 1. Принять x1 ⁽¹⁾ = x1 ⁽⁰⁾ +. Определить f (x1 ^(1),x2 ⁽⁰⁾⁾. Сравнить полученное значение с значением начальной функции. Если f (x1 ^(1),x2 ⁽⁰⁾⁾ < f (x1 ^(0),x2 ⁽⁰⁾⁾, то перейти к шагу 5, если же f (x1 ^(1),x2 ⁽⁰⁾⁾ > f (x1 ^(0),x2 ⁽⁰⁾⁾, то перейти к шагу 2.

Шаг 2. Принять x1 ⁽¹⁾ = x1 ^{(0) -} . Определить f (x1 ^(1),x2 ⁽⁰⁾⁾. Сравнить полученное значение с значением начальной функции. Если f (x1 ^(1),x2 ⁽⁰⁾⁾ < f (x1 ^(0),x2 ⁽⁰⁾⁾, то перейти к шагу 5, если же f (x1 ^(1),x2 ⁽⁰⁾⁾ > f (x1 ^(0),x2 ⁽⁰⁾⁾, то перейти к шагу 3.

Шаг 3. Принять x2 ⁽¹⁾ = x2 ⁽⁰⁾ +. Определить f (x1 ^(0),x2 ⁽¹⁾⁾. Сравнить полученное значение с значением начальной функции. Если f (x1 ^(0),x2 ⁽¹⁾⁾ < f (x1 ^(0),x2 ⁽⁰⁾⁾, то перейти к шагу 5, если же f (x1 ^(0),x2 ⁽¹⁾⁾ > f (x1 ^(0),x2 ⁽⁰⁾⁾, то перейти к шагу 4.

Шаг 4. Принять x2 ⁽¹⁾ = x2 ^{(0) -} . Определить f (x1 ^(0),x2 ⁽¹⁾⁾. Сравнить полученное значение с значением начальной функции. Если f (x1 ^(0),x2 ⁽¹⁾⁾ < f (x1 ^(0),x2 ⁽⁰⁾⁾, то перейти к шагу 4, если же f (x1 ^(0),x2 ⁽¹⁾⁾ > f (x1 ^(0),x2 ⁽⁰⁾⁾, то принять исходную точку за минимум.

Шаг 5. Проверить условие достижения точности .

Если в процессе решения с шагом не получено решения, то принять

2.2.2 Алгоритм Хука-Дживса

Этот алгоритм содержит две основные процедуры:

а) исследующий покоординатный поиск в окрестности данной точки, предназначенный для определения направления убывания f (х);

б) перемещение в направлении убывания.

Рисунок 11 - Метод Хука-Дживса

Трактовать данный метод можно по-разному. Рассмотрим один из многочисленных вариантов.

Опишем один из алгоритмов данного метода.

Шаг 1. Выбираем начальную точку и находим в ней значение функции.

Шаг 2. Обозначим координаты начального вектора: .

Тогда, соответственно, угол направления движения

.

Рассчитываем координаты 4-х точек в окрестности начальной по следующим формулам:

Находим в указанных точках значения функции. Если какое-нибудь из них оказалось меньше значения функции в точке x0, то принимаем его за исходное.

Шаг 3. Сравниваем полученные значения с f (x1 ^(0),x2 ⁽⁰⁾⁾. Если какое-нибудь из них оказалось меньше значения функции в 0-й точке точке, то принимаем его за исходное и переходим к шагу 5.

Шаг 4. Если же все полученные значения функции оказались больше исходного, то уменьшаем шаг и переходим к шагу5.

Шаг 5. Проверить условие достижения точности

.

Если данное условие не выполнено, возвращаемся к шагу 2.

2.2.3 Практическое применение прямых методов безусловной многомерной оптимизации

Пусть заданы следующие условия:

Тогда по методу циклического покоординатного спуска будет выполнен счет следующего вида:

Т. к. , будем двигаться в противоположную сторону по оси абсцисс с тем же шагом:

,

поэтому продолжаем двигаться дальше с тем же шагом в данном направлении до достижения указанной точности, в противном случае уменьшаем шаг ():

Результаты работы данного алгоритма представлены на рисунке 12. Листинг программы приведен в приложении Б.

Рисунок 12 - Решение поставленной задачи методом спуска

Перейдем к методу Хука-Дживса. Обозначим координаты начального вектора: .

Тогда, соответственно, угол направления движения

.

Найдем значения функции 4-х точек в окрестности начальной:

Минимальное значение функция принимает в точке2, поэтому движемся в заданном направлении 2 пока идет уменьшение функции до достижения указанной точности, в противном случае уменьшаем шаг

():

Конечный результат получен на ЭВМ за 36 итераций. Результат представлен на рисунке 13. Листинг программы приведен в приложении Б.

Рисунок 12 - Решение поставленной задачи методом спуска

2.2.4 Минимизация по правильному симплексу

Правильным симплексом в пространстве E_>n> называется множество из n + 1 равноудаленных друг от друга точек (вершин симплекса). Отрезок, соединяющий две вершины, называется ребром симплекса.

В пространстве E_>2> правильным симплексом является совокупность вершин равностороннего треугольника, в E_>3> - правильного тетраэдра.

Если х⁰ - одна из вершин правильного симплекса в E_>n> то координаты остальных п вершин х¹,. ., хⁿ можно найти, например, по формулам:

(6), где

d_>1> , d_>2> ,

a- длина ребра. Вершину х⁰ симплекса, построенного по формулам (6), будем называть бaзовой. В алгоритме симплексного метода используется следующее важное свойство правильного симплекса. По известному симплексу можно построить новый симплекс отрaжением какой-либо вершины, например, х^k симметрично относительно центра тяжести х^c остальных вершин симплекса. Новая и старая вершины и х^k связаны соотношением:

, где x^c.

В результате получается новый правильный симплекс с тем же ребром и вершинами =2x^c - х^k, хⁱ, i= 0,. ., n, i k. Таким образом, происходит перемещение симплекса в пространстве Е_>n>. На рисунке 13 представлена иллюстрация этого свойства симплекса в пространстве Е_>2>.

Рисунок 13 - Построение нового симплексa в E_>2> отрaжением точки х: a - нaчaльный симплекс х⁰, х¹, ; б - новый симплекс х⁰, х¹, ; центр отрaжения - точкa x^c = (х⁰+ х¹) /2

Поиск точки минимума функции f (x) с помощью правильных симплексов производят следующим образом. На каждой итерации сравниваются значения f (х) в вершинах симплекса. Затем проводят описанную выше процедуру отражения для той вершины, в которой f (х) принимает наибольшее значение. Если в отраженной вершине получается меньшее значение функции, то переходят к новому симплексу. В противном случае выполняют еще одну попытку отражения для вершины со следующим по величине значением f (х). Если и она не приводит к уменьшению функции, то сокращают длину ребра симплекса, например, вдвое и строят новый симплекс с этим ребром. В качестве базовой выбирают ту вершину х⁰ старого симплекса, в которой функция принимает минимальное значение. Поиск точки минимума f (x) заканчивают, когда либо ребро симплекса, либо разность между значении функции в вершинах симплекса становятся достаточно малыми. Опишем один из вариантов алгоритма этого метода.

Шаг 0. Выбрать параметр точности , базовую точку х⁰, ребро и построить начальный симплекс по формулам:

Вычислить f (х1 ^(0),x2 ⁽⁰⁾⁾.

Шаг 1. Вычислить значения f (х) в вершинах симплекса х¹,. ., xⁿ.

Шаг 2. Упорядочить вершины симплекса х⁰,. ., хⁿ так, что бы f (х1 ^(0),x2

⁽⁰⁾⁾  … f (х¹)  f (х^n-1)  f (хⁿ).

Шаг 3. Найти среднее значение функции:

.

Проверить условие из учета того, что:

(3.38)

Если оно выполнено, то вычисления прекратить, полагая х^*  х⁰, f ^*  f (x⁰). В противном случае перейти к шагу 4.

Шаг 4. Найти

и выполнить отражение вершины хⁿ. К примеру, для отражения вершины А следует найти точку

.

Тогда отраженная вершина будет иметь вид:

.

Если f (Е) <f (xⁿ), то перейти к построению нового симплекса, иначе - перейти к шагу 5.

Шаг 5. Перейти к новому правильному симплексу с вдвое меньшим ребром (редуцирование), считая базовой вершиной х⁰. Остальные n вершин симплекса найти по формуле хⁱ = (хⁱ + х⁰) /2, i=1,. ., n. Перейти к шагу 1.

Геометрическая иллюстрация работы алгоритма в пространстве показана на рисунке 14, где точки х⁰, х¹, х² - вершины начального симплекса, а пунктиром указаны процедуры отражения.

Рисунок 14 - Поиск точки минимума функции с помощью правильных симплексов в пространстве

Замечания:

1. Следует иметь в виду, что если функция f (х) многомодальна, то описанным методом может быть найдена точка локального, а не глобального минимума f (х).

2. Если ограниченность снизу целевой функции не очевидна, то в алгоритм метода следует включить дополнительную процедуру останова.

2.2.5 Поиск точки минимума по деформируемому симплексу

Алгоритм, описанный в разд.2.2.4, можно модифицировать, добавив к процедуре отражения при построении нового симплекса процедуры сжатия и растяжения. А именно, положение новой вершины вместо вершины хⁿ, соответствующей наибольшему значению функции, находится сравнением и выбором наименьшего среди значений целевой функции в точках;

(7)

Геометрическая иллюстрация этих процедур для пространства E_>2 >приведена на рисунках 15 и 16.

Рисунок 15 - Пробные точки z¹,z²,z³,z⁴ для перехода к новому симплексу

Рисунок 16 - Новые симлексы, полученные в результате процедур сжатия (а, б); отражения (в); растяжения (г).

Так как величина   (0;

1), то выбор точек z¹ и z² соответствует сжатию симплекса;   1, поэтому выбор точки z³ соответствует отражению, а  > 1 и выбор точки z⁴ приводит к растяжению симплекса. Численные эксперименты показывают, что этот алгоритм хорошо работает в пространстве E_>n> для n  6. Отметим, что при деформациях утрачивается свойство правильности исходного симплекса. Поэтому, не стремясь к правильности начального симплекса, его строят из произвольной базовой точки х⁰  E_>n>, по формулам

, (8)

где e ⁱ - i-й базисный вектор; - параметр симплекса. На практике хорошо зарекомендовал себя следующий набор параметров ,  и  для выбора пробных точек zⁱ в формулах (9):  = 1/2,  = 1 и  =2.

Опишем алгоритм метода поиска точки минимума функции по деформируемому симплексу.

Шаг 0. Выбрать параметр точности , параметры ,  и , базовую точку х⁰, параметр  и построить начальный симплекс. Вычислить f (х⁰).

Шаг 1. Вычислить значения функции в вершинах симплекса х¹,..., xⁿ.

Шаг 2. Упорядочить вершины х⁰,..., xⁿ так, чтобы f (х⁰)  …  f (хⁿ).

Шаг 3. Проверить достижение заданной точности. Если оно выполняется, то вычисления завершить, полагая х *  х⁰, f *  f (х⁰). Иначе - перейти к шагу 4.

Шаг 4. Найти и пробные точки z^k, k=1, …, 4 пo формулам (9). Найти f (z^*) = min f (z^k). Если f (z*) < f (zⁿ). то положить xⁿ=z^* и перейти к шагу 2. Иначе - перейти к шагу 5.

Шаг 5. Уменьшить симплекс, полагая хⁱ = (хⁱ + х⁰) /2, i = 1,. ., n и перейти к шагу 1.

Замечание. Для того чтобы избежать сильной деформации симплекса, алгоритм иногда дополняют процедурой обновления. Например, после N шагов алгоритма из точки х⁰ снова строят симплекс, полагая а = ||x⁰-xⁿ||.

С теоретической точки зрения описанные методы минимизации слабо исследованы, однако практика показывает их работоспособность.

2.2.6 Практическая реализация симплексных методов

Пусть заданы следующие условия:

Для первой вершины:

Для второй вершины:

Для третьей вершины:

Наибольшее значение функция принимает в точке2, ее и будем отражать. Для этого найдем точку С, лежащую между 1-й и 3-й точками:

Рассмотрим метод симплекса.

Находим координаты отраженной вершины Е и значение в ней функции:

Т. к. , то строим новый симплекс на вершинах Е,1 и 3 и повторяем эту операцию до тех пор, пока среднеквадратичное отклонение не примет указанной величины, в противном случае приступаем к редуцированию - уменьшению размеров симплекса.

Результат рабочей программы представлен на рисунке 17. Листинг приведен в приложении В.

Рисунок 17 - Практическая реализация симплекс-метода

Перейдем к методу деформируемого симплекса.

Введем коэффициенты уменьшения и увеличения: .

Найдем значения функции 4-х точек в окрестности начальной:

Минимальное значение функция принимает в точке1, поэтому строим новый симплекс на вершинах Е,1 и 3 и повторяем выше указанную операцию до тех пор, пока среднеквадратичное отклонение не примет указанной величины, в противном случае приступаем к редуцированию - уменьшению размеров симплекса. Результат рабочей программы представлен на рисунке 18. Листинг приведен в приложении В.

Рисунок 18 - Практическая реализация метода деформируемого симплекса

3. Условная оптимизация

До сих пор рассматривались методы безусловной оптимизации, т.е. на параметры оптимизации не накладывались никакие ограничения, поэтому допустимая область определения определялась только лишь условием существования целевой функции.

Но в реальных задачах обязательно присутствуют ограничения типа равенств или неравенств и ограничения по пределам изменения:

Наличие ограничений приводит к изменению точки минимума, тогда как в задаче без ограничений данная точка может оказаться вне допустимой области.

Рассмотрим 2 метода решения задачи условной оптимизации:

Если наложены ограничения типа равенства, то из этого ограничения выразим одну переменную через другую (двумерный случай). Подставив полученную зависимость в целевую функцию, получим преобразованную целевую функцию без ограничений.

Целевая функция преобразуется так, чтобы эта преобразованная функция в допустимой области была бы близка к исходной, а в недопустимых областях имела бы значения, существенно большие, чем допустимые. Такие функции носят название штрафных, так как к исходной функции добавляются штрафы при приближении к недопустимым областям.

Например:

где R - параметр штрафа (некое число).

Существуют многочисленные штрафные функции для неравенств, а для равенств на практике применяется один вид, т.е. если имеем задачу , тогда формируем штрафную функцию

В данном курсовом проекте необходимо было максимизировать объемное тело, представленное на рисунке 19.

Рисунок 19 - Объем, который необходимо максимизировать

Указанное тело состоит из цилиндра и стоящего на нем сегмента сферы. Определим изменяемые параметры для данного случая (рисунок 20): r - радиус цилиндра (равен радиусу сферы), h - высота сегмента сферы и h2 - высота цилиндра.

Рисунок 20 - Изменяемые параметры

Для цилиндра: .

Для сегмента:

Тогда для всей фигуры:

Пусть площадь всего объема равна 200:

Выразим из формулы общей площади параметр h2:

.

Подставим полученное выражение в формулу объема, получим:

Обозначим r=3 и h=1. Затем следует провести двумерную оптимизацию. Ниже на рисунке 21 приведена рабочая форма программы, реализующая двумерную оптимизацию для первого случая и трехмерную - для штрафных функций по методу координатного спуска.

Для указанного случая V=260.799603505204 при r*=4.06250000000002 и h*=0.975.

Случай со штрафными функциями в общем виде можно записать как:

где с -площадь.

Таким образом, следует провести трехмерную оптимизацию для следующей функции:

Изменяемыми параметрами в данном случае являлись r - радиус цилиндра и сферы, h - высота сегмента и h2 - высота цилиндра.

Для второго случая V=260.778443852174 при r*=4.44999999999999, h*=1.025 и h2*=4.05.

Таким образом, к предложенному объему были применены оба метода решения задачи условной оптимизации. Результат рабочей программы представлен на рисунке 21, а листинг - в приложении Г.

Рисунок 21 - Условная оптимизация

4. Линейное программирование

Если целевая функция и все ограничения в задаче оптимизации являются линейными функциями, то такая задача носит название линейного программирования. В общем случае она имеет вид:

Если в общей модели присутствуют ограничения 3-х видов, то задачи, в которых есть только ограничения первого вида, не считая ограничений на знаки переменных, называются задачами распределительного типа.

Они широко распространены, поэтому будут подробно рассматриваться в рамках данного курсового проекта.

Понятно, что ограничения определяют область допустимых значений переменных, поэтому любое x из этой области являются допустимым решением, а x* - оптимальное решение, если:

Те ограничения, которые принимают вид равенства, называются активными ограничениями; соответствующий этому ограничению ресурс называется дефицитным.

Стандартная форма записи задачи линейного программирования имеет вид:

Система уравнений является базисной, то есть ранг матрицы равняется L-числу строк. Понятно, что L <N, где N - число переменных. Если же L =N, то при условии базисности допустимая область превращается в точку.

Исходная задача линейного программирования млжет быть сформулирована так, что ограничения имеют вид равенств. Можно показать, что от формы записи в виде равенств можно перейти к форме записи в виде неравенств.

Рассмотрим ограничения:

.

В базисной системе число неизвестных больше, чем число переменных. Следовательно, любые L переменных могут быть выражены через оставшиеся N - L свободные переменные. При этом такая система имеет единственное решение из-за базисности системы. Выбор свободных и базисных переменных произволен.

Запишем базисную систему в виде:

Поскольку Rang (A_>Б>) = L, то можно сказать, что матрица существует.

Тогда

, а

является решением матричного уравнения при любых .

Если , где - N-мерный ноль, то полученное решение называется допустимым. Если при этом , т.е. , то решение называется базисным. Если, к тому же, , то решение называется допустимым базисным.

Если множество не пусто, то область допустимых значений выпукла, и базисные решения существуют.

Также можно показать, что допустимое базисное решение является крайней точкой .

Если замкнута, то число крайних точек ограничено.

Оно не превышает

.

Целевая функция достигает своего максимума в крайней точке.

Если же max достигается в нескольких крайних точках, то значение функции в этих точках одинаково. Такое же значение функция принимает во всех точках выпуклой и линейной комбинации этих крайних точек.

То, что целевая функция достигает max в крайней точке, а число таковых ограничено, в принципе, позволяет решить задачу оптимизации простым перебором значений функции в крайних точках.

Однако, число крайних точек растет как N!. Поэтому разработан симплекс-метод, заключающийся в том, что, начиная с базисного решения, осуществляется переход к другим базисам при условии роста значений целевой функции. Симплекс-метод при известном допустимом базисном решении. Для задач распределительного типа, в которых присутствуют ограничения типа несложно убедиться в том, что после записи задачи в стандартной форме легко можно найти допустимые базисные решения, которые можно использовать в качестве начального базиса.

Если в задаче N переменных и L ограничений (), то целевая функция имеет вид:

Разделим Г на 2 части: Г (Г_>Б>Г_>S>). Тогда целевая функция будет выглядеть как:

В начальной допустимой базисной точке, как известно, Y_>S>=0. Следовательно,

Идея симплекс-метода заключается в том, что при переходе к новому допустимому базисному решению второе слагаемое должно быть положительным. Среди положительных выбирается наибольшее. В скалярном виде:

.

Метод выбора столбца, вводимого в базис и выбора строки переменной, выводимой из базиса, сведем в так называемую симплекс-таблицу.

Рассмотрим следующую задачу:

Параметр k в этом случае - подбираемый коэффициент, величина которого оказалась: k=7.

Рассмотрим геометрический способ решения задачи линейного программирования. Запишем для данного случая:

Тогда на рисунке можно увидеть, что область допустимых значений, ограниченная указанными прямыми, принимает вид пятиугольника:

Оптимальное решение соответствует прямой, параллельной f_>нач. >и проходящей через самую дальнюю от f_>нач. >точку допустимого множества. Из графика видно, что оптимальная точка x* (1.8, 1.14375) находится на пересечении g1 (x1) и g2 (x2). Значение функции в этой точке: f (x*) =15.375.

Для решения данной задачи с помощью симплекс-таблиц перепишем исходную систему в следующем виде:

Тогда симплекс-таблица на 0-й итерации примет вид:

	Значение	y1	y2	y3	y4	y5
y3	8	1	4	1	0	0
y4	12	6	1	0	1	0
y5	7	2	3	0	0	1
-f	0	6	4	0	0	0

Суть симплекс-метода в том, что происходит замена одной переменной в базисе так, чтобы значение целевой функции возрастало. Поэтому в качестве переменной для ввода в базис выбирается та из y_>S>, которой соответствует наибольшее положительное значение симплекс-разности.

Под симплекс-разностью понимаются элементы, стоящие в строке -f на пересечении с соответствующей переменной y_>i>. В данном случае наибольшую положительную симплекс-разность, равную 6, имеет переменная y1.

Далее выбираем ту переменную, которая выводится из базиса. Выбирается та переменная из базиса, у которой элемент на пересечении строки базисной переменной или столбца вводимой в базис переменной (y1) положителен.

Для данного случая это переменные y3,y4,y5.

Проведем сравнение отношений элемента столбца y1 к соответствующему элементу столбца значений: - наибольшее отношение.

Следовательно, из базиса выводится переменная y4.

Перейдем к первой итерации. Элемент, стоящий на пересечении выводимой строки и столбца вводимой переменной, называется ведущим элементом.

На месте ведущего элемента на текущей итерации запишем 1, а все остальные элементы равны 0:

	Значение	y1	y2	y3	y4	y5
y3		0.0000
y1		1.0000
y5		0.0000
-f		0.0000

Заполним строку y1. Для этого строку y4 0-й итерации разделим на 6:

	Значение	y1	y2	y3	y4	y5
y3		0.0000
y1	2.0000	1.0000	0.1667	0.0000	0.1667	0.0000
y5		0.0000
-f		0.0000

Для того, чтобы заполнить строки итерации 1, используем строку y1 итерации 1 и соответствующие строки итерации 0.

Таким образом, симплекс-таблица на первой итерации будет иметь вид:

	Значение	y1	y2	y3	y4	y5
y3	6.0000	0.0000	3.8333	1.0000	-0.1667	0.0000
y1	2.0000	1.0000	0.1667	0.0000	0.1667	0.0000
y5	3.0000	0.0000	2.6667	0.0000	-0.3333	1.0000
-f	-12.0000	0.0000	3.0000	0.0000	-1.0000	0.0000

Аналогичные операции проделаем и с полученной таблицей. Тогда для второй итерации:

	Значение	y1	y2	y3	y4	y5
y3	1.6875	0.0000	0.0000	1.0000	0.3125	-1.4375
y1	1.8125	1.0000	0.0000	0.0000	0.1875	-0.0625
y2	1.1250	0.0000	1.0000	0.0000	-0.1250	0.3750
-f	-15.3750	0.0000	0.0000	0.0000	-0.6250	-1.1250

Так как во второй итерации среди симплекс-разностей нет положительных элементов, то дальнейшего улучшения невозможно. Полученный результат является оптимальным:

Заключение

В ходе выполнения данного курсового проекта были исследованы различные численные методы, применяемые при решении различного рода уравнений и их систем. В частности, были исследованы метод хорд, касательных, метод простых итераций для решения нелинейных уравнений, методы простых итераций и Зейделя для решения систем линейных алгебраических уравнений, метод интерполирования, численного интегрирования и дифференцирования.

На основе данных нашего исследования были разработаны программы для применения соответствующих методов.

В данном курсовом проекте был также проведен сравнительный анализ всех методов, в результате чего все поставленные задачи были выполнены, цели достигнуты. Мы приобрели навыки в применении различных численных методов на практике. Теперь перед нами стоит задача в применении приобретенных знаний в своей будущей профессиональной деятельности.

Список использованной литературы

1. Турчак Л.И. Основы численных методов: Учеб. пособие. - М.: Наука, Гл. ред. физ. - мат. лит., 1978. - 320 с.

2. Щетинин Е.Ю. Математические методы оптимизации. Конспект лекций

3. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация. Пер. с англ. - М.: Мир, 1985 -509с.

4. Дегтярев Ю.И., "Исследование операций", Москва 1986.