Лекция 6.
Градиентные методы решения задач нелинейного программирования.
Вопросы: 1. Общая характеристика методов.
2. Метод градиента.
3. Метод наискорейшего спуска.
4. Метод Франка-Фулфа.
5. Метод штрафных функций.
1. Общая характеристика методов.
Градиентные методы представляют собой приближенные (итерационные) методы решения задачи нелинейного программирования и позволяют решить практически любую задачу. Однако при этом определяется локальный экстремум. Поэтому целесообразно применять эти методы для решения задач выпуклого программирования, в которых каждый локальный экстремум является и глобальным. Процесс решения задачи состоит в том, что, начиная с некоторой точки х (начальной), осуществляется последовательный переход в направлении gradF(x), если определяется точка максимума, и –gradF(x) (антиградиента), если определяется точка минимума, до точки, являющейся решением задачи. При этом эта точка может оказаться как внутри области допустимых значений, так и на ее границе.
Градиентные методы можно разделить на два класса (группы). К первой группе относятся методы, в которых все исследуемые точки принадлежат допустимой области. К таким методам относятся: метод градиента, наискорейшего спуска, Франка-Вулфа и др. Ко второй группе относятся методы, в которых исследуемые точки могут и не принадлежать допустимой области. Общим из таких методов является метод штрафных функций. Все методы штрафных функций отличаются друг от друга способом определения «штрафа».
Основным понятием, используемым во всех градиентных методах, является понятие градиента функции, как направления наискорейшего возрастания функции.
При определении решения градиентными методами итерационный процесс продолжается до тех пор, пока:
Либо grad F(x*) = 0, (точное решение);
где
- две последовательные точки,
-
малое число, характеризующее точность
решения.
2. Метод градиента.
Представим человека, стоящего на склоне оврага, которому необходимо спуститься вниз (на дно). Наиболее естественным, кажется, направление в сторону наибольшей крутизны спуска, т.е. направление (-grad F(x)). Получаемая при этом стратегия, называемая градиентным методом , представляет собой последовательность шагов, каждый из которых содержит две операции:
а) определение направления наибольшей крутизны спуска (подъема);
б) перемещение в выбранном направлении на некоторый шаг.
Правильный выбор шага имеет существенное значение. Чем шаг меньше, тем точнее результат, но больше вычислений. Различные модификации градиентного метода и состоят в использовании различных способов определения шага. Если на каком-либо шаге значение F(x) не уменьшилось, это означает, что точку минимума «проскочили», в этом случае необходимо вернуться к предыдущей точке и уменьшить шаг, например, вдвое.
Схема решения.
принадлежащей допустимой области
3. Выбор шага h.
x (k+1)
= x (k)
«-» - если min.
5. Определение F(x (k +1)) и:
Если
,
решение найдено;
Замечание. Если grad F(x (k)) = 0, то решение будет точным.
Пример.
F(x) = -6x 1
+ 2x 1 2
– 2x 1 x 2
+ 2x 2 2
min,
x 1 +x 2
2,x 1
0, x 2
0,
= 0,1.
3. Метод наискорейшего спуска.
В отличие от метода градиента, в котором градиент определяют на каждом шаге, в методе наискорейшего спуска градиент находят в начальной точке и движение в найденном направлении продолжают одинаковыми шагами до тех пор, пока значение функции уменьшается (увеличивается). Если на каком-либо шаге F(x) возросло (уменьшилось), то движение в данном направлении прекращается, последний шаг снимается полностью или наполовину и вычисляется новое значение градиента и новое направление.
Схема решения.
1. Определение х 0 = (х 1 ,x 2 ,…,x n),
принадлежащей допустимой области,
и F(x 0), k = 0.
2. Определение grad F(x 0) или –gradF(x 0).
3. Выбор шага h.
4. Определение следующей точки по формуле
x (k+1)
= x (k)
h grad F(x (k)),
«+» - если max,
«-» - если min.
5. Определение F(x (k +1)) и:
Если
,
решение найдено;
Если нет:
а) при поиске min: - если F(x (k +1))
Если F(x (k +1))
>F(x (k))
– переход к п. 2; б) при поиске max: -
еслиF(x (k +1))
>F(x (k))
– переход к п. 4; Если F(x (k +1))
Замечания:
1. Если grad F(x (k))
= 0, то решение будет точным. 2. Преимуществом метода
наискорейшего спуска является его
простота и сокращение расчетов, так
как grad F(x) вычисляется не во всех точках,
что важно для задач большой
размерности. 3. Недостатком является то,
что шаги должны быть малыми, чтобы не пропустить точку оптимума. Пример.
F(x) = 3x 1
– 0,2x 1 2
+ x 2 -
0,2x 2 2
x 1
+ x 2
x 1
+ 2x 2
4. Метод Франка-Вулфа.
Метод используется для оптимизации
нелинейной целевой функции при линейных
ограничениях. В окрестности исследуемой
точки нелинейная целевая функция
заменяется линейной функцией и задача
сводится к последовательному решению
задач линейного программирования. Схема решения.
1. Определение х 0 = (х 1 ,x 2 ,…,x n),
принадлежащей допустимой области, и
F(x 0), k = 0. 2. Определение grad F(x (k)). 3. Строят функцию 4. Определение max(min)f(x) при
исходных ограничениях. Пусть это будет
точка z (k) . 5. Определение шага вычислений x (k +1) =x (k) +
6. Определение F(x (k +1))
и проверяют необходимость дальнейших
вычислений: Если
Если нет, то переход к п. 2. Пример.
F(x) = 4x 1
+ 10x 2
–x 1 2
–x 2 2
x 1
+x 2 x 2
5. Метод штрафных функций.
Пусть необходимо найти F(x 1 ,x 2 ,…,x n)
g i
(x 1 ,
x 2 ,…,x n)
Функции F и g i –
выпуклые или вогнутые. Идея метода штрафных функций
заключается в поиске оптимального
значения новой целевой функции Q(x) = F(x)
+ H(x), которая является суммой исходной
целевой функции и некоторой функции
H(x), определяемой системой ограничений
и называемой штрафной функцией. Штрафные
функции строят таким образом, чтобы
обеспечить либо быстрое возвращение в
допустимую область, либо невозможность
выходы из нее. Метод штрафных функций
сводит задачу на условный экстремум к
решению последовательности задач на
безусловный экстремум, что проще.
Существует множество способов построения
штрафной функции. Наиболее часто она
имеет вид: H(x) =
где
Примечание
: Чем меньше
Начинают решение с малых
Используя штрафную функцию,
последовательно переходят от одной
точки к другой до тех пор, пока не получат
приемлемое решение. Схема решения.
1. Определение начальную точку х 0 = (х 1 ,x 2 ,…,x n),
F(x 0) и k = 0. 2. Выбирают шаг вычислений h. 3. Определяют частные производные
4. Определяют координаты следующей точки
по формуле: x j (k +1) 5. Если x (k +1) а) если
б) если grad F(x (k +1))
= 0, то найдено точное решение. Если x (k +1) Пример.
F(x) = – x 1 2
– x 2 2
(x 1
-5) 2 +(x 2
-5) 2 Вкину немного своего экспириенса:) Метод покоординатного спуска
Идея данного метода в том, что поиск происходит в направлении покоординатного спуска во время новой итерации. Спуск осуществляется постепенно по каждой координате. Количество координат напрямую зависит от количества переменных. После нахождения значения переменной, необходимо повторить итерацию с фиксацией всех аргументов кроме x2 и начать производить спуск по новой координате до следующей новой точке M2(x11,x21,x30…,xn0). Теперь значение новой точки будет происходить по выражению: И снова итерация с фиксацией будет повторяться до тех пор, пока все аргументы от xi до xn не закончатся. При последней итерации, мы последовательно пройдем по всем возможным координатам, в которых уже найдем локальные минимумы, поэтому целевая функция на последний координате дойдет до глобального минимума. Одним из преимуществ данного метода в том, что в любой момент времени есть возможность прервать спуск и последняя найденная точка будет являться точкой минимума. Это бывает полезно, когда метод уходит в бесконечный цикл и результатом этого поиска можно считать последнюю найденную координату. Однако, целевая установка поиска глобального минимума в области может быть так и не достигнута из-за того, что мы прервали поиск минимума (см. Рисунок 1). Исследование данного метода показали, что каждая найденная вычисляемая точка в пространстве является точкой глобального минимума заданной функции, а функция z = f(x1, x2,…, xn) является выпуклой и дифференцируемой. Можно сделать вывод о том, что данный алгоритм отлично справляется с простыми задачами многомерной оптимизации, путём последовательно решения n количества задач одномерной оптимизации, например, методом золотого сечения. Ход выполнения метода покоординатного спуска происходит по алгоритму описанного в блок схеме (см. Рисунок 3). Итерации выполнения данного метода: Итого, у нас имеется отличный и многофункциональный алгоритм многомерной оптимизации, который способен разбивать сложную задачу, на несколько последовательно итерационных одномерных. Да, данный метод достаточно прост в реализации и имеет легкое определение точек в пространстве, потому что данной метод гарантирует сходимость к локальной точке минимума. Но даже при таких весомых достоинствах, метод способен уходить в бесконечные циклы из-за того, что может попасть в своего рода овраг. Метод Нелдера - Мида
Стоит отметить известность данного алгоритма среди исследователей методов многомерной оптимизации. Метод Нелдера – Мида один из немногих методов, который основанный на концепции последовательной трансформации деформируемого симплекса вокруг точки экстремума и не используют алгоритм движения в сторону глобального минимума. Самым замечательным в этом методе то, что у симплекса существуют возможности самостоятельно выполнять определенные функции: Где xc - центр тяжести (см. Рисунок 1). Следующим шагом необходимо провести расчет аргументов целевой функции во всех вершинах отраженного симплекса. После этого, мы получим полную информацию о том, как симплекс будет вести себя в пространстве, а значит и информацию о поведении функции. Алгоритм Нелдера – Мида так же использует эти функции работы с симплексом по следующим формулам: Функция отражения через центр тяжести симплекса высчитывается по следующему выражению: Данное отражение выполняется строго в сторону точки экстремума и только через центр тяжести (см. Рисунок 2). Функция сжатия вовнутрь симплекса высчитывается по следующему выражению: Для того, чтобы провести сжатие, необходимо определить точку с наименьшим значением (см. Рисунок 3). Функция отражения со сжатием симплекса высчитывается по следующему выражению: Для того, чтобы провести отражение со сжатием (см. Рисунок 4), необходимо помнить работу двух отдельных функций – это отражение через центр тяжести и сжатие симплекса к наименьшему значению. Функция отражения с растяжением симплекса (см. Рисунок 5) происходит с использованием двух функций – это отражение через центр тяжести и растяжение через наибольшее значение. Чтобы продемонстрировать работу метода Нелдера – Мида, необходимо обратиться к блок схеме алгоритма (см. Рисунок 6). Рисунок 6 - Первая часть метода Нелдера - Мида.
После построения симплекса необходимо произвести расчет всех значений целевой функции. Как и было описано выше про поиск экстремума с помощью симплекса, необходимо рассчитать функцию симплекса f(x) во всех его точках. Далее производим сортировку, где базовая точка будет находиться: Теперь, когда базовая точка рассчитана, а также и все остальные отсортированы в списке, мы производим проверку условия достижимости по ранее заданной нами точности: Как только данное условие станет истинным, тогда точка x(0) симплекса будет считаться искомой точкой экстремума. В другом случае, мы переходим на следующий шаг, где нужно определить новое значение центра тяжести по формуле: Если данное условие выполняется, тогда точка x(0) будет являться точкой минимума, в противном случае, необходимо перейти на следующий шаг в котором необходимо произвести поиск наименьшего аргумента функции: Из функции необходимо достать самую минимальное значение аргумента для того, что перейти к следующему шагу выполнения алгоритма. Иногда случается проблема того, что несколько аргументов сразу имеют одинаковое значение, вычисляемое из функции. Решением такой проблемы может стать повторное определение значения аргумента вплоть до десятитысячных. Вычисленное из предыдущей функции значение необходимо подставить в условие fmin < f(xN). При истинном выполнении данного условия, точка x(N) будет являться минимальной из группы тех, которые хранятся в отсортированном списке и нужно вернуться к шагу, где мы рассчитывали центр тяжести, в противном случае, производим сжатие симплекса в 2 раза и возвращаемся к самому началу с новым набором точек. Статистика показала, что в работе данного алгоритма существует одна из наиболее распространенных проблем – это вырождение деформируемого симплекса. Это происходит, когда каждый раз, когда несколько вершин симплекса попадают в одно пространство, размерность которого не удовлетворяет поставленной задачи. P.S. Текст полностью мой. Надеюсь кому-нибудь данная информация будет полезной. Градиентный метод и его разновидности относятся к самым распространенным методам поиска экстремума функций нескольких переменных. Идея градиентного метода заключается в том, чтобы в процессе поиска экстремума (для определенности максимума) двигаться каждый раз в направлении наибольшего возрастания целевой функции. Градиентный метод предполагает вычисление первых производных целевой функции по ее аргументам. Он, как и предыдущие, относится к приближенным методам и позволяет, как правило, не достигнуть точки оптимума, а только приблизиться к ней за конечное число шагов. Рис. 4.11.
Рис. 4.12.
(двумерный случай) Вначале выбирают начальную точку Если в одномерном случае (см. подпараграф 4.2.6) из нее можно было сдвинуться только влево или вправо (см. рис. 4.9), то в многомерном случае число возможных направлений перемещения бесконечно велико. На рис. 4.11, иллюстрирующем случай двух переменных, стрелками, выходящими из начальной точки А,
показаны различные возможные направления. При этом движение по некоторым из них дает увеличение значения целевой функции по отношению к точке А
(например, направления 1-3),
а по другим направлениям приводит к его уменьшению (направления 5-8).
Учитывая, что положение точки оптимума неизвестно, считается наилучшим то направление, в котором целевая функция возрастает быстрее всего. Это направление называется градиентом
функции. Отметим, что в каждой точке координатной плоскости направление градиента перпендикулярно касательной к линии уровня, проведенной через ту же точку. В математическом анализе доказано, что составляющие вектора градиента функции у
=/(*, х 2 ,
..., х п)
являются ее частными производными по аргументам, т.е. &ад/(х 1 ,х
2 ,.= {ду/дху,ду/дх 2 , ...,ду/дх п }.
(4.20) Таким образом, при поиске максимума по методу градиента на первой итерации вычисляют составляющие градиента по формулам (4.20) для начальной точки и делают рабочий шаг в найденном направлении, т.е. осуществляется переход в новую точку -0) У" с координатами: 1§гас1/(х (0)), или в векторной форме где X -
постоянный или переменный параметр, определяющий длину рабочего шага, ?і>0. На второй итерации снова вычисляют вектор градиента уже для новой точки.У, после чего по анало- гичной формуле переходят в точку х^ >
и т.д. (рис. 4.12). Для произвольной к-
й итерации имеем Если отыскивается не максимум, а минимум целевой функции, то на каждой итерации делается шаг в направлении, противоположном направлению градиента. Оно называется направлением антиградиента. Вместо формулы (4.22) в этом случае будет Существует много разновидностей метода градиента, различающихся выбором рабочего шага. Можно, например, переходить в каждую последующую точку при постоянной величине X,
и тогда длина рабочего шага - расстояние между соседними точками х^ их 1 " - окажется пропорциональном модулю вектора градиента. Можно, наоборот, на каждой итерации выбирать X
таким, чтобы длина рабочего шага оставалась постоянной. Пример.
Требуется найти максимум функции у = 110-2(лг, -4) 2 -3(* 2 -5) 2 . Разумеется, воспользовавшись необходимым условием экстремума, сразу получим искомое решение: х ] -
4; х 2
= 5. Однако на этом простом примере удобно продемонстрировать алгоритм градиентного метода. Вычислим градиент целевой функции: grad у = {ду/дх-,ду/дх 2 } =
{4(4 - *,); 6(5 - х 2)} и выбираем начальную точку Л*» = {х}°> = 0; 4°> = О}. Значение целевой функции для этой точки, как легко подсчитать, равно у[х^
j = 3. Положим, X
= const = 0,1. Величина градиента в точке Зс (0) равна grad y|x^j = {16; 30}. Тогда на первой итерации получим согласно формулам (4.21) координаты точки х 1)
= 0 + 0,1 16 = 1,6; х^ = 0 + 0,1 30 = 3. у(х (1)) = 110 - 2(1,6 - 4) 2 - 3(3 - 5) 2 = 86,48. Как видно, оно существенно больше предыдущего значения. На второй итерации имеем по формулам (4.22): 1. Какие высказывания неверны? Метод Данцига Ответ: можно отнести к
группе градиентных 2. Какие из нижеперечисленных высказываний истинны: Ответ: Задача ЛП с несовместной системой
ограничений называется открытой 3. Какие из перечисленных методов не являются активными Ответ: золотого
сечения 4. Какие из приведенных высказываний верны: Ответ: задача транспортного типа – частный
случай задачи линейного программирования 5. Какие из приведенных утверждений истинны: Метод наименьших квадратов Ответ: сводится в
итоге к решению системы n линейных уравнений при
аппроксимации результатов многочленами n-го порядка 6. Какие из указанных методов не являются градиентными Ответ: симплексный метод (метод
Нелдера-Мида) 7. Какие из указанных методов позволяют найти глобальный экстремум
полимодальной функции Ответ: сканирования 8. Какие методы среди перечисленных являются методами покоординатного
поиска Ответ: касательный 9. Отметьте верные утверждения Ответ: метод простого перебора нельзя
использовать при отыскании экстремума согласно процедуре Гаусса-Зайделя 10. Укажите
истинное высказывание Ответ: планом
называется любое допустимое решение задачи 11. Укажите
неправильное высказывание Ответ: плоскость, содержащая хотя бы одну
угловую точку выпуклого многогранника называется опорной плоскостью этого
многогранника 12. Укажите
номера правильных утверждений Ответ: задачи транспортного типа нельзя
решать методом Данцига, так как они относятся к задачам дискретного
программирования(1). Первоначальный план в симплексном методе получаем
приравниваем нулю всех базисных переменных(3) 13. Укажите
правильное утверждение? Ответ: базисное решение задачи ЛП
вырожденное, если хотя бы одна из свободных переменных равна нулю 14. Что из
нижеследующего неверно: Ответ: любая точка на прямой является
выпуклой линейной комбинацией двух точек, через которые проведена эта прямая 15. Что истинно
из высказываний ниже? Ответ: задача о коммивояжере относится к
области дискретного программирования 16. Что истинно
из следующего: Ответ: одна из
основных проблем оптимизации – «проблема размерности» 17. Что неверно в
приведенных высказываниях? Ответ: если функция цели задачи ЛП достигает
экстремума в нескольких точках, то она достигает того же значения в любой
точке, являющейся выпуклой линейной комбинацией этих точек. 18. Что из
приведенных высказываний неверно? Ответ: задачу ЛП можно решить процедурой
упорядоченного перехода от одного плана к другому. 19. Что из предлагаемого
истинно Ответ: внутри области допустимых решений
задачи ЛП не может быть экстремум 20. Что ложно из
нижеприведенного? Ответ: Для отыскания
экстремума линейной целевой функции симплексным методом необходимо выполнить n-m итераций, n- количество
неизвестных задачи, m- число ограничений общего вида В
основе метода лежит следующая итерационная
модификация формулы x k +1
= x k
+ a
k
s(x k), x k+1
= x k
- a
k
Ñ
f(x k),
где a
- заданный положительный коэффициент; Ñ
f(x k)
- градиент целевой функции первого
порядка. Недостатки: необходимость
выбора подходящего значения ; медленная
сходимость к точке минимума ввиду
малости f(x k)
в окрестности этой точки. Свободен
от первого недостатка простейшего
градиентного метода, т.к. a k
вычисляется
путем решения задачи минимизации Ñ
f(x k)
вдоль направления Ñ
f(x k)
с помощью одного из методов одномерной
оптимизации x k+1
= x k
- a
k
Ñ
f(x k). Данный
метод иногда называют методом Коши. Алгоритм
характеризуется низкой скоростью
сходимости при решении практических
задач. Это объясняется тем, что изменения
переменных непосредственно зависит от
величины градиента, которая стремится
к нулю в окрестности точки минимума и
отсутствует механизм ускорения на
последних итерациях. Поэтому, учитывая
устойчивость алгоритма, метод наискорейшего
спуска часто используется как начальная
процедура поиска решения (из точек,
расположенных на значительных расстояниях
от точки минимума). Общая
задача нелинейного программирования
без ограничений сводится к следующему:
минимизировать f(x),
x
E n ,
где f(x)
является
целевой функцией. При решении этой
задачи мы используем методы минимизации,
которые приводят к стационарной точке
f(x),
определяемой
уравнением f(x *)=0.
Метод сопряженных направлений относится
к методам минимизации без ограничений,
использующим производные. Задача:
минимизировать f(x),
x
E n ,
где f(x)
является
целевой функцией n
независимых
переменных. Важной особенностью является
быстрая сходимость за счет того, что
при выборе направления используется
матрица Гессе, которая описывает область
топологии поверхности отклика. В
частности, если целевая функция
квадратичная, то можно получить точку
минимума не более чем за количество
шагов, равное размерности задачи. Для
применения метода на практике его
необходимо дополнить процедурами
проверки сходимости и линейной
независимости системы направлений.
Методы
второго порядка Последовательное
применение схемы квадратичной
аппроксимации приводит к реализации
оптимизационного метода Ньютона по
формуле x k +1
= x k
- Ñ 2
f(x k -1)
Ñ
f(x k). Недостатком
метода Ньютона является его недостаточная
надежность при оптимизации не квадратичных
целевых функций. Поэтому его часто
модифицируют: x k +1
= x k
- a k
Ñ 2
f(x k -1)
Ñ
f(x k),
где a k
- параметр, выбираемый таким образом,
чтобы f(x k+1)
min. Дана
некоторая функция f(х)
на открытом интервале (а, в) изменения
аргумента х. Предполагаем, что exst
внутри этого интервала существует
(нужно сказать, что в общем случае
математически заранее это утверждать
не могут; однако в технических приложениях
очень часто наличие exst
внутри некоторого интервала изменения
интервала изменения аргумента может
быть предсказано из физических
соображений). Определение
exst.
Функция f(x)
заданная на интервале (а, в) имеет в точке
x *
max(min),
если эту точку можно окружить таким
интервалом (x * -ε,
x * +ε),
содержащимся
в интервале (а, в), что для всех ее точек
х, принадлежащих интервалу (x * -ε,
x * +ε),
выполняется
неравенство: f(x)
≤ f(x *)
→ для max f(x)
≥ f(x *)
→ для min Это
определение не накладывает никаких
ограничений на класс функций f(x),
что, конечно, очень ценно. Если
ограничится для функций f(x),
достаточно распространенным, но все же
более узким классом гладких функций
(под гладкими функциями мы будем понимать
такие функции, которые непрерывны вместе
со своими производными на интервале
изменения аргумента), то можно
воспользоваться теоремой Ферма, которая
дает необходимые условия существования
exst. Теорема
Ферма. Пусть функция f(x)
определена в некотором интервале (а, в)
и в точке "с" этого интервала
принимает наибольшее (наименьшее)
значение. Если существует в этой точке
двухсторонняя конечная производная
,
то существования необходимоexst
. Примечание.
Двухсторонняя производная характеризуется
свойством
иными словами, речь идет о том, что в
точке "с" производная в пределе
одна и та же при подходе к точке "с"
слева и справа, т.е.f(x)
– гладкая функция. * В
случае
имеет местоmin,
а при
→max.
Наконец, если при х=х 0
,
то использование 2-ой производной не
помогает и нужно воспользоваться,
например, определением exst. При
решении задачи I
необходимые условия exst
(т.е. теорема Ферма) используется очень
часто. Если
уравнение exst
имеет вещественные корни, то точки,
соответствующие этим корням, являются
подозрительными наexst
(но не обязательно самыми экстремумами,
ибо имеем дело с необходимыми, а не с
необходимыми и достаточными условиями).
Так, например, в точке перегиба Х п
имеет
место
,
однако, как известно, это не экстремум. Заметим
ещё, что: из
необходимых условий нельзя сказать,
какой вид экстремума найден max
или min:
для определения этого нужны дополнительные
исследования; из
необходимых условий нельзя определить,
глобальный это экстремум или локальный. Поэтому,
когда находят точки подозрительные на
exst,
их дополнительно исследуют, например,
на основе определения exst
или 2-ой производной.
max,
7, x 1
0,
10, x 2
0.
(min – «-»;max– «+»).
(k) (z (k) –x (k)),
где
(k) – шаг, коэффициент, 0 
1.
(k) выбирается так, чтобы значение функции
F(x) было max (min) в точке х (k +1) .
Для этого решают уравнение
и
выбирают наименьший (наибольший) из
корней, но 0 
1.
или grad F(x (k +1))
= 0, то решение найдено;
max,
4, x 1
0,
2, x 2
0.
max(min),
b i , i
=
, x j
0, j =
.
,
-
некоторые положительные Const.
,
тем быстрее находится решение, однако,
точность снижается;
и увеличивают их на последующих шагах.
и
.
.
Допустимой
области, проверяют:
-
решение найдено, если нет – переход к
п. 2.
Допустимой области, задают новое значение
и
переходят к п. 4.
max,
8, x 1
0, x 2
0.
Для демонстрации хода работы данного метода, для начала необходимо взять функцию z = f(x1, x2,…, xn) и выбрать любую точку M0(x10, x20,…, xn0) в n пространстве, которая зависит от числа характеристик функции. Следующим шагом идет фиксация всех точек функции в константу, кроме самой первой. Это делается для того, чтобы поиск многомерной оптимизации свести к решению поиска на определенном отрезке задачу одномерной оптимизации, то есть поиска аргумента x1.
Для нахождения значения данной переменной, необходимо производить спуск по этой координате до новой точки M1(x11, x21,…, xn1). Далее функция дифференцируется и тогда мы можем найти значение новой следующий точки с помощью данного выражения:
Рисунок 1 – Отмена выполнения покоординатного спуска
Отсюда можно сделать вывод, что функция z = f(x1, x2,…, xn) выпукла и дифференцируема в пространстве, а каждая найденная предельная точка в последовательности M0(x10, x20,…, xn0) будет являться точкой глобального минимума (см. Рисунок 2) данной функции по методу покоординатного спуска. 
Рисунок 2 – Локальные точки минимума на оси координат
Изначально необходимо ввести несколько параметров: точность Эпсилон, которая должна быть строго положительной, стартовая точка x1 с которой мы начнем выполнение нашего алгоритма и установить Лямбда j;
Следующим шагом будет взять первую стартовую точку x1, после чего происходит решение обычного одномерного уравнения с одной переменной и формула для нахождения минимума будет, где k = 1, j=1:
Теперь после вычисления точки экстремума, необходимо проверить количество аргументов в функции и если j будет меньше n, тогда необходимо повторить предыдущий шаг и переопределить аргумент j = j + 1. При всех иных случаях, переходим к следующему шагу.
Теперь необходимо переопределить переменную x по формуле x (k + 1) = y (n + 1) и попытаться выполнить сходимость функции в заданной точности по выражению:
Теперь от данного выражения зависит нахождение точки экстремума. Если данное выражение истинно, тогда вычисление точки экстремума сводится к x*= xk + 1. Но часто необходимо выполнить дополнительные итерации, зависящие от точности, поэтому значения аргументов будет переопределено y(1) = x(k + 1), а значения индексов j =1, k = k + 1.
Рисунок 3 – Блок схема метода покоординатного спуска
Существуют овражные функции, в которых существуют впадины. Алгоритм, попав в одну из таких впадин, уже не может выбраться и точку минимума он обнаружит уже там. Так же большое число последовательных использований одного и того же метода одномерной оптимизации, может сильно отразиться на слабых вычислительных машинах. Мало того, что сходимость в данной функции очень медленная, поскольку необходимо вычислить все переменные и зачастую высокая заданная точность увеличивает в разы время решения задачи, так и главным недостатком данного алгоритма – ограниченная применимость.
Проводя исследование различных алгоритмов решения задач оптимизации, нельзя не отметить, что огромную роль играет качество данных алгоритмов. Так же не стоит забывать таких важных характеристик, как время и стабильность выполнения, способность находить наилучшие значения, минимизирующие или максимизирующие целевую функцию, простота реализации решения практических задач. Метод покоординатного спуска прост в использовании, но в задачах многомерной оптимизации, чаще всего, необходимо выполнять комплексные вычисления, а не разбиение целой задачи на подзадачи.
Данный симплекс является регулярным, а представляется как многогранник с равностоящими вершинами симплекса в N-мерном пространстве. В различных пространствах, симплекс отображается в R2-равносторонний треугольник, а в R3 - правильный тетраэдр.
Как упоминалось выше, алгоритм является развитием метода симплексов Спендли, Хекста и Химсворта, но, в отличие от последнего, допускает использование неправильных симплексов. Чаще всего, под симплексом подразумевается выпуклый многогранник с числом вершин N+1, где N – количество параметров модели в n -мерном пространстве.
Для того, чтобы начать пользоваться данным методом, необходимо определиться с базовой вершиной всех имеющихся множества координат с помощью выражения:
Отражение через центр тяжести, отражение со сжатием или растяжением;
Растяжение;
Сжатие.
Преимуществу среди этих свойств отдают отражению, поскольку данный параметр является наиболее опционально – функциональным. От любой выбранной вершины возможно сделать отражение относительно центра тяжести симплекса по выражению:.
Рисунок 1 – Отражение через центр тяжести
Для того чтобы совершить поиск точки минимума или максимума целевой функции с помощью методов использующих симплексы, необходимо придерживаться следующей последовательности:
На каждом шаге строиться симплекс, в каждой точке которого, необходимо произвести расчет всех его вершин, после чего отсортировать полученные результаты по возрастанию;
Следующий шаг – это отражение. Необходимо провести попытку получить значения нового симплекса, а путём отражения, у нас получиться избавиться от нежелательных значений, которые стараются двигать симплекс не в сторону глобального минимума;
Чтобы получить значения нового симплекса, из полученных отсортированных результатов, мы берем две вершины с наихудшими значениями. Возможны такие случаи, что сразу подобрать подходящие значения не удастся, тогда придется вернуться к первому шагу и произвести сжатие симплекса к точке с самым наименьшим значением;
Окончанием поиска точки экстремума является центр тяжести, при условии, что значение разности между функциями имеет наименьшие значения в точках симплекса.
Рисунок 2 – Отражение симплекса происходит через центр тяжести
Рисунок 3 – Сжатие симплекса происходит к наименьшему аргументу.
Рисунок 4 - Отражение со сжатие
Рисунок 5 - Отражение с растяжением.
Первостепенно, как и в предыдущих примерах, нужно задать параметр искаженности ε, которая должна быть строго больше нуля, а также задать необходмые параметры для вычисления α, β и a. Это нужно будет для вычисления функции f(x0), а также для построения самого симплекса. 
После повторного вычисления минимального аргумента, необходимо заново сохранить новые полученные значения на n позициях аргументов.
Рисунок 7 - Вторая часть метода Нелдера - Мида.
Исследования данного алгоритма показывают, что методы с нерегулярными симплексами (см. Рисунок 8) еще достаточно слабо изучены, но это не мешает им отлично справляться с поставленными задачами.
Более глубокие тесты показывают, что экспериментальным образом можно подобрать наиболее подходящие для задачи параметры функций растяжения, сжатия и отражения, но можно пользоваться общепринятыми параметрами этих функций α = 1/2, β = 2, γ = 2 или α = 1/4, β = 5/2, γ = 2. Поэтому, перед тем как отбрасывать данный метод для решения поставленной задачи, необходимо понимать, что для каждого нового поиска безусловного экстремума, нужно пристально наблюдать за поведением симплекса во время его работы и отмечать нестандартные решения метода.
Рисунок 8 - Процесс нахождения минимума.
Таким образом, размерность во время работы и заданная размерность закидывают несколько вершин симплекса в одну прямую, запуская метод в бесконечный цикл. Алгоритм в данной модификации еще не оснащен способом выйти из такого положения и сместить одну вершину в сторону, поэтому приходится создать новый симплекс с новыми параметрами, чтобы такого в дальнейшем не происходило.
Еще одной особенностью обладает данный метод – это некорректной работой при шести и более вершинах симплекса. Однако, при модификации данного метода, можно избавиться от этой проблемы и даже не потерять при этом скорости выполнения, но значение выделяемой памяти заметно повысится. Данный метод можно считать циклическим, поскольку он полностью основан на циклах, поэтому и замечается некорректная работа при большом количестве вершин.
Алгоритм Нелдера – Мида по праву можно считать одним из наилучших методов нахождения точки экстремума с помощью симплекса и отлично подходит для использования его в различные рода инженерных и экономических задачах. Даже не смотря на цикличность, количество памяти он использует очень малое количество, по сравнение с тем же методом покоординатного спуска, а для нахождения самого экстремума требуется высчитывать только значения центра тяжести и функции. Небольшое, но достаточное, количество комплексных параметров дают этому методу широкое использование в сложных математических и актуальных производственных задачах.
Симплексные алгоритмы – это край, горизонты которого еще мы не скоро раскроем, но уже сейчас они значительно упрощают нашу жизнь своей визуальной составляющей.
Метод наискорейшего спуска
Метод сопряженных направлений
Метод Ньютона
2. Нахождение экстремума функции без ограничения
