Многомерная оптимизация методом хука-дживса. Методы хука-дживса

1) Методы Розенброка и Дэвиса, Свенна, Кемпи более подробно изложены в книге Химмельблау , переведенной на русский язык,- Прим. Перев

Вместе с тем вопрос о том, являются ли дополнительные усложнения метода Хука - Дживса оправданными, по-видимому, остается открытым. Если же существует возможность реализовать более сложный алгоритм, то предпочтение следует отдать методу Пауэлла, превосходство которого над рассмотренными выше эвристическими методами несомненно.

3.2.3. Метод сопряженных направлений Пауэлла

Наиболее эффективным из алгоритмов прямого поиска является метод, разработанный Пауэллом , в особенности его модифици­рованные варианты, предложенные Зангвиллом и Брентой . При работе этого алгоритма информация, полученная на предыдущих итерациях, используется для построения векторов направлений поиска, а также для устранения зацикливания последовательности координатных поисков. Метод ориентирован на решение задач с квадратичными целевыми функциями и основывается на фундаментальных теоретических результатах.

Задачи с квадратичными целевыми функциями занимают важное место в теории оптимизации по двум причинам.

Квадратичная функция представляет простейший тип нелинейных функций, для которых может быть сформулирована задача безусловной оптимизации (линейные функции не обладают внутренними оптимумами). Следовательно, если с помощью того или иного метода успешно решаются задачи оптимизации с целевыми функциями общего вида, то такой метод должен оказаться эффективным при решении задач с квадратичными функциями.

В окрестности точки оптимума любую нелинейную функцию можно аппроксимировать квадратичной функцией (поскольку линейный член разложения Тейлора обращается в нуль). Следовательно, работа алгоритма при решении задач с квадратичными функциями позволяет получить определенное представление о сходимости алгоритма в случае, когда минимизируется функция общего вида.

Основная идея алгоритма заключается в том, что если квадратичная функция N переменных приведена к виду суммы полных квадратов, то ее оптимум может быть найден в результате реализации N одномерных поисков по преобразованным координатным на­правлениям.

Процедура преобразования квадратичной функции

q (x ) = a + bx + ½ xC x (3.25)

к виду суммы полных.квадратов эквивалентна нахождению такой матрицы преобразования Т , которая приводит матрицу квадратич­ной формы к диагональному виду. Таким образом, заданная квадратичная форма

Q (x ) = xC x (3.26)

путем преобразования

x = T z (3.27)

приводится к виду

Q (x ) = zTC T z = zD z (3.28)

где D - диагональная матрица, т. е. элементы D отличны от нуля только при i = j

f(x) = 4x+ 3x- 4xx+ x

Рис. 3.8. Линии уровня квадратичной функции с перекрёстными членами.

Пусть t - j -й столбец матрицы Т . Тогда преобразование (3.27) позволяет записать каждый вектор х в виде линейной комбинации вектор-столбцов t.

x = T z = t z + tz+…+ tz . (3.29)

Другими словами, вместо координат вектора х в стандартной коор­динатной системе, определяемой множеством векторов e ( i ) , используются координаты вектора в новой координатной системе, заданной векторами t. Кроме того, система векторов t соответствует главным осям рассматриваемой квадратичной формы, поскольку матрица квадратичной формы приводится к диагональному виду. Такая ситуация возникает, если квадратичную функцию с перекрестными членами, линии уровня которой изображены на рис. 3.8, записать в новой координатной системе, оси которой совпадают с большой и малой осями квадратичной функции (см. рис. 3.9).

Итак, с помощью преобразования переменных квадратичной функции строится новая система координат, совпадающих с главными осями квадратичной функции. Следовательно, одномерный поиск точки оптимума в пространстве преобразованных переменных z эквивалентен поиску вдоль каждой из главных осей квадратичной функции. Так как направления главных осей определяются векторами t одномерный поиск проводится в направлениях, заданных этими векторами. Проиллюстрируем вышеизложенное примером.

f(x) = 4x+ 2x+ x+x

Рис. 3.9. Линии уровня квадратичной функции без перекрёстных членов

Пример 3.4. Преобразование к виду суммы квадратов

Рассмотрим функцию

f (x ) = 4 x+ 3x– 4xx+ x

и преобразование

x = z + ½ z, x= z,

Преобразованная квадратичная функция принимает следующий вид:

f (z )= 4 z+ 2 z+ z + ½ z.

Заметим, что это преобразование не является единственным, поскольку система векторов t не удовлетворяет условию ортонормированности. В частности, нетрудно проверить, что преобразование

также приводит матрицу квадратичной формы к диагональному, виду. Задавая начальную точку x = и два столбца матрицы преобразования

t = , t = [½, 1],

можно найти точку оптимума [– ,– ] T в результате проведения двух последовательных поисков в направлениях t и t Поиск в направлении t по формуле

x= x+ λt

позволяет получить значение λ = – и точку х (1) = [– , 0]. Далее из точки х (1) проводится поиск в направлении t 2 . Получаем значение λ = – и решение х (2) = [– ,– ] T .

Из рассмотренного примера и предыдущего изложения следует, что если система векторов t, j = 1,...,N , или система сопряженных направлений, построена, то точку оптимума квадратичной функции можно найти в результате реализации в точности N одномерных поисков, которые проводятся вдоль каждого из N направлений t, j = 1,...,N . Таким образом, нерешенными остаются лишь вопросы, связанные с построением системы векторов t. Если матрица С известна, то матрицу преобразования Т можно найти с помощью метода Гаусса - Жордана (как это выполнено в приложении А). Метод Гаусса - Жордана позволяет представить матрицу С в виде произведения

C = P T DP , откуда (3.30)

(P )C (P ) = D и T = P (3.31)

Однако матрица С (или ее оценка) в данном случае неизвестна, по­скольку речь идет о построении метода решения задач безусловной оптимизации с целевой функцией f (x ), при реализации которого используются только значения функции и не используются значе­ния первых и тем более вторых производных. Тем не менее и в этом случае можно определить систему сопряженных направлений на основе следующего элементарного свойства квадратичных функ­ций.

Свойство параллельного подпространства

Пусть заданы квадратичная функция q (x ), две произвольные не­совпадающие точки x (1) и х (2) , а также направление d . Если точка y (1) минимизирует q (x (1) +λ d ), a точка y (2) минимизирует q (x (1) + λ d ), то направление (y (2) - y (1)) сопряжено с d .

Рис. 3.10 иллюстрирует сформулированное свойство для случая двух переменных. Нетрудно видеть, что поиск, проводимый из точки y (1) или y (2) в направлении (y (2) - y (1)), обеспечивает получение точки минимума. Таким образом, в случае двух переменных реализация трех одномерных поисков позволяет построить систему сопряженных направлений и, кроме того, найти точку оптимума квадратичной функции. Прежде чем продолжать алгоритмические построения, докажем теорему о свойстве параллельного подпространства.

Рис. 3.10. Сопряженные направления на плоскости.

Напомним, что по определению С -сопряженные направления задаются системой вектор-столбцов матрицы Т , которая приводит матрицу С к диагональному виду:

ТC Т = D (3.32)

Поскольку все внедиагональные элементыD равны нулю, отсюда следует, что

(3.33)

где t - i -й столбец матрицы Т. Таким образом, мы получили возможность дать более удобное, эквивалентное и, по-видимому, более конструктивное определение сопряженности направлений.

Сопряженные направления

Пусть С - симметрическая матрица порядка NN ; направления s (1) , s (2) , s (3) ,..., s, r ≤ N , называются С -сопряженными, если эти направления линейно независимы и

s
C s= для всех i ≠ j . (3.34)

Опять обратимся к квадратичной функции общего вида

q(x ) = a + b T x+( 1 / t )x T C x.

Точки прямой, исходящей из х (1) в направлении d , задаются формулой

x = x+ λd .

Минимум q (x ) вдоль направления d определяется путем нахождения значения λ*, при котором q / λ=0. Вычислим эту производную по правилу дифференцирования сложной функции:

= =b+ xC d . (3.35)

По предположению теоремы минимум достигается в точке y (1) следовательно,

[(y (1))C b ] d = 0. (3.36)

Аналогично, так как минимум q (x ) при движении из точки х (2) в направлении d достигается в точке y (2) имеем

[(y (2))C b ] d = 0. (3.37)

Вычитая (3.36) из (3.37), получаем

(y (2) - y (1))C d = 0 (3.38)

В соответствии с данным выше определением направления d и (y (2) - y (1)) оказываются С -сопряженными, и свойство параллельного подпространства для квадратичных функций доказано.

Пример 3.5. Минимизация на основе свойства параллельного подпространства.

Опять рассмотрим квадратичную функцию q (x ) = 4 x+ 3 x - 4 xx+ x . Пусть заданы две точки х (1) = ,х (2) = и направлениеd = T . Первый поиск проводится вдоль прямой

x = +λ

и приводит к точке y (1) = [-,-](λ*= -). Второй поиск проводится вдоль прямой

x = +λ

и позволяет получить точку y (2) = [,– ](λ*=– ). Согласно свойству параллельного подпространства, направление

y (2) – y (1) = [,– ]– [– ,– ]= [,– ]

сопряжено с d = T

C [,– ].

Выше отмечалось, что в случае двух переменных оптимум q (x ) можно найти путем проведения поиска вдоль прямой, заданной направлением (y (2) – y (1)). Этот факт нетрудно проверить, поскольку минимум q (x ) вдоль прямой

x = [– ,– ]+λ [,– ]

достигается в точке х* = [– ,– ] T (λ* = – ), которая сов­падает с полученным ранее решением.

В рассмотренных выше построениях для того, чтобы определить сопряженное направление, требовалось задать две точки и некоторое направление. Это не слишком удобно при проведении расчетов, поэтому предпочтительнее строить систему сопряженных направлений, исходя из одной начальной точки, что легко осуществить при помощи единичных координатных векторов е (1) , е (2) , е (3) ,..., е (N) . (Здесь рассматривается процедура построения сопряженных на­правлений в случае двух переменных, которая допускает очевидное обобщение для N-мерного пространства.) Пусть е (1) = ие (2) = . При заданной начальной точкех (0) вычислим значение λ (0) , которому соответствует минимум f (х (0) + λ (0) е (1)).

x (1) = х (0) + λ (0) е (1) .

и вычислим значение λ (1) , которому соответствует минимум f (х (1) + λ (1) е (2)). Положим

x (2) = х (1) + λ (1) е (2) .

x (3) = х (2) + λ (2) е (1) .

При этом направления (х (3) – х (1)) и е (1) оказываются сопряженными. Для того чтобы убедиться в этом, рассмотрим рис. 3.11. Заметим, что точка х х (0) в направление е (1) , а точка х (3) получена при поиске из точки х (2) в направлении е (1) . Следовательно, направление е (1) и (х (3) – х (1)) являются сопряжёнными согласно свойству параллельного подпространства. Далее если на следующей итерации провести поиск в направлении (x (3) – x (1)), то процедура поиска будет охватывать два сопряженных направления, и поскольку f (x ) предполагается квадратичной функцией двух переменных, в результате будет найдено решение х* .

Проведенное на основе свойства параллельного подпространства построение рассмотрено для случая, когда число сопряженных направлений равняется двум. Однако это построение естественным образом обобщается на случай задач более высокой размерности

В частности, нетрудно показать, что если точка y (1) найдена в результате поиска из точки х (1) вдоль каждого из М (< N ) сопряженных направлений, а точка y (2) получена в результате поиска из точки х (2) вдоль каждого из тех же М сопряженных направлений s (1) , s (2) , s (3) ,..., s ( M ) то вектор (y (2) – y (1)) задает направление, сопряженное со всеми выбранными М направлениями. Это утверждение известно как обобщенное свойство параллельного подпространства. Используя указанное свойство, можно обобщить метод построения сопряженных направлений, последовательные шаги реализации которого отражены на рис. 3.11 на случай пространства управляемых переменных более высокой размерности. Рис. 3.12 иллюстрирует построение сопряженных направлений в трехмерном пространстве.

Как показано на рис. 3.12, сначала поиск осуществляется вдоль трех координатных направлений е (1) , е (2) и е (3) затем эти направления последовательно заменяются вновь построенными сопряженными направлениями. Серия одномерных поисков из точки x (0) проводится в направлении е (3) , затем е (1) , е (2) и снова е (3) ; в результате построены сопряженные направления е (3) и (x (4) – x (1)). Направление е (1) заменяется новым направлением поиска, которое на рис. 3.12 обозначено цифрой 4 . Следующая серия поисков проводится в направлении 4 , затем е (2) , е (3) и снова 4 . Согласно обобщенному свойству параллельного подпространства, новое направление (x (8) – x (5)), обозначенное на рисунке цифрой 5 , сопряжено не только с 4 , но и с е (3) . Следовательно, направления е (3) , (x (4) – x (1)) и (x (8) – x (5)) образуют систему взаимно сопряженных направлений.

Рис. 3.11. Построение сопряженных направлений из одной точки.

Поэтому если провести дополнительный поиск из точки x (5) в направлении (x (8) – x (5)) (т. е. в направлении 5 на рисунке), то будет найдена точка x (9) , в которой должен достигаться оптимум квадратичной функции трех переменных f (x ) , поскольку поиск последовательно осуществляется в трех взаимно сопряженных направлениях. Таким образом, в трехмерном случае для нахождения точного (если, разумеется, оперировать недесятичными дробями) оптимума квадратичной функции требуется провести девять поисков вдоль прямой с использованием только значений функции. Алгоритм легко обобщается и в случае N -мерного пространства требует проведения последовательности N одномерных поисков, которая приводит к получению точки оптимума квадратичной функции. Ниже представлены шаги обобщенного алгоритма.

Рис. 3.12. Построение сопряженных направлений в трехмерном пространстве.

Метод сопряженных направлений Пауэлла

Шаг 1. Задать начальную точку х (0) и систему N линейно независимых направлений; возможен случай, когда s ( i ) = e ( i ) i = 1, 2, 3,..., N.

Шаг 2. Минимизировать f (x ) при последовательном движении по (N +1) направлениям; при этом полученная ранее точка минимума берется в качестве исходной, а направление s ( N ) используется как при первом, так и последнем поиске.

Шаг 3. Определить новое сопряженное направление с помощью обобщенного свойства параллельного подпространства.

Ш а г 4. Заменить s (l) на s (2) и т. д. Заменить s ( N ) сопряженным направлением. Перейти к шагу 2.

Для того чтобы применить изложенный метод на практике, его необходимо дополнить процедурами проверки сходимости и линей­ной независимости системы направлений. Проверка линейной неза­висимости особенно важна в тех случаях, когда функция f (x ) не является квадратичной .

Из способа построения алгоритма следует, что в случае, когда целевая функция квадратична и обладает минимумом, точка минимума находится в результате реализации N циклов, включающих шаги 2, 3 и 4, где N - количество переменных. Если же функция не является квадратичной, то требуется более чем N циклов. Вместе с тем можно дать строгое доказательство того, что при некотором предположении метод Пауэлла сходится к точке локального мини­мума с суперлинейной скоростью (см. данное ниже определение).

Скорость сходимости. Рассматриваемый метод позволяет построить последовательность точек х ( k ) , которая сходится к решению x *. Метод называется сходящимся, если неравенство

≤1, где (3.39)

= x – х* , (3.40)

выполняется на каждой итерации. Поскольку при расчетах обычно оперируют конечными десятичными дробями, даже самый эффективный алгоритм требует проведения бесконечной последовательности итераций. Поэтому в первую очередь интерес представляют асимпто­тические свойства сходимости изучаемых методов. Будем говорить, что алгоритм обладает сходимостью порядка r (см. ), если

, (3.41)

где С - постоянная величина. Из формулы (3.39) следует, что при r = 1 имеет место неравенство С ≤ 1. Если r = 1 или r = 2, то алгоритм характеризуется линейной или квадратичной скоростью сходимости соответственно. При r = 1 и С = 0 алгоритм характеризуется суперлинейной скоростью сходимости.

Пример 3.6. Метод сопряженных направлений Пауэлла

Найти точку минимума функции

f (x ) = 2 x + 4 xx – 10 x x+ x,

если задана начальная точка х (0) = T , в которой f (x (0)) = 314.

Шаг 1. s (1) = T , s (2) = T .

Шаг 2. (а) Найдем такое значение λ, при котором

f (x (0) + λs (2)) → min.

Получим: λ* - 0,81, откуда

x (l) = T - 0,81 T = T , f (x (l)) = 250.

(б) Найдем такое значение λ, при котором f (x (1) + λs (1)) → min.

λ* = – 3,26, x (2) = T , f (x (2)) = 1.10.

(в) Найдем такое значение λ, при котором f (x (2) + λs (2)) → min.

λ* = – 0.098, x (3) = T , f (x (3)) = 0.72.

Шаг 3. Положим s (3) = х (3) - x (1) = [-3.26,-0.098] T . После нормировки получим

s (3) = = [– 0,99955, – 0,03] T .

Положим s (1) = s (2) , s (2) = s (3) и перейдем к шагу 2 алгоритма.

Шаг 4. Найдем такое значение λ, при котором f (x (3) + λs (2)) → min.

λ* = – 0.734, x (4) = T , f (x (4)) = – 2,86.

Примечание. Если бы f (x ) была квадратичной функцией, то полученная точка являлась бы решением задачи (если пренебречь ошибкой округления). В данном случае итерации следует продолжить до получения решения.

Направления поиска, полученные в процессе реализации метода, показаны на рис. 3.13.

Результаты вычислительных экспериментов позволяют утверж­дать, что метод Пауэлла (дополненный процедурой проверки линейной зависимости направлений) отличается по меньшей мере столь же высокой надежностью, как и другие методы прямого поиска, и в ряде случаев является значительно более эффективным. Поэтому проблема выбора алгоритма прямого поиска часто (и обоснованно) разрешается в пользу метода Пауэлла.

Здесь заканчивается рассмотрение методов прямого поиска решений в задачах безусловной оптимизации. В следующем разделе описываются методы, основанные на использовании производных.

Изложенные выше методы поиска основаны на различных операциях над образцами, составленными из пробных точек. Несмотря на то что в предыдущем подразделе основное внимание было уделено-геометрическому расположению пробных точек, совершенно ясно,. что основная цель построения множества таких точек заключается в определении направления, в котором должен вестись поиск. Расположение пробных точек влияет лишь на чувствительность направления поиска к изменениям топологических свойств целевой функции. В частности, уравнение для вычисления координат отраженной точки

x = x+ λ (x – x)

четко устанавливает, что множество отраженных точек описывается. вектором, определяющим некоторое направление в пространстве управляемых переменных. Остальные элементы логической структуры поиска связаны лишь с выбором такой величины шага λ, которая позволяет достигнуть заметного «улучшения» значений целевой функции. Если же главная задача работы с образцом, составленным из пробных точек, состоит в определении направления поиска, то стратегию поиска по симплексу можно усовершенствовать путем непосредственного введения множества векторов, задающих направления поиска. Простейший подход заключается в том, что поиск ведется на основе рекурсивного перебора направлений из произвольно заданного множества. С другой стороны, можно построить стратегию поиска, в рамках которой одно или несколько направлений поиска уточняются на каждой итерации, что позволяет согласовать систему направлений поиска с глобальной топологией целевой функции. Для того чтобы гарантировать возможность проведения поиска по всей рассматриваемой области, в обоих случаях целесообразно наложить требование линейной независимости направлений поиска, которые должны образовывать базис в допустимой области определения f (x ). Например, легко убедиться в том, что нельзя вести поиск оптимума функции трех переменных с использованием двух направлений поиска. Отсюда следует, что все рассматриваемые методы прямого поиска используют по меньшей мере N независимых направлений поиска, где N - размерность вектора х.

Элементарным примером метода, в рамках которого реализуется процедура рекурсивного перебора на множестве направлений поиска, является метод циклического изменения переменных, в соответствии с которым каждый раз меняется только одна переменная. При таком подходе множество направлений поиска выбирается в виде множества координатных направлений в пространстве управляемых переменных задачи. Затем вдоль каждого из координатных направлений последовательно проводится поиск точки оптимума на основе методов решения задач оптимизации с одной переменной. Если целевая функция обладает свойством сферической симметрии, такой поиск обеспечивает получение решения исходной задачи. Однако если линии уровня функции искривлены или растянуты (что весьма часто имеет место в возникающих на практике задачах), то итерации могут превратиться в бесконечную последовательность уменьшаю­щихся шагов и процедура поиска становится неэффективной. Кроме того, как показал Пауэлл , изменение координатных направлений поиска (или направлений поиска из любого заданного множества) в циклическом порядке может не только оказаться неэффективным, но и привести к отсутствию сходимости к точке локального оптимума даже при бесконечном числе итераций.

Конструктивные попытки повышения эффективности этого метода были связаны с тем обстоятельством, что поиск, периодически проводимый в направлении d ( i ) = x ( i ) – x ( i -1) позволяет существенно ускорить сходимость. Это обстоятельство было положено в основу модифицированного метода, разработанного Хуком и Дживсом и являющегося одним из первых алгоритмов, в которых при определении нового направления поиска учитывается информация, полученная на предыдущих итерациях. По существу процедура Хука - Дживса представляет собой комбинацию «исследующего» поиска с циклическим изменением переменных и ускоряющегося поиска по образцу с использованием определенных эвристических правил. Исследующий поиск ориентирован на выявление характера локального поведения целевой функции и определение направлений вдоль «оврагов». Полученная в результате исследующего поиска информация затем используется в процессе поиска по образцу при движении по «оврагам».

Исследующий поиск. Для проведения исследующего поиска необходимо задать величину шага, которая может быть различной для разных координатных направлений и изменяться в процессе поиска. Исследующий поиск начинается в некоторой исходной точке. Если значение целевой функции в пробной точке не превышает значения функции в исходной точке, то шаг поиска рассматривается как успешный. В противном случае необходимо вернуться в предыдущую точку и сделать шаг в противоположном направлении с последующей проверкой значения целевой функции. После перебора всех N координат исследующий поиск завершается. Полученную в результате точку называют базовой точкой.

Поиск по образцу. Поиск по образцу заключается в реализации единственного шага из полученной базовой точки вдоль прямой, соединяющей эту точку с предыдущей базовой точкой. Новая точка образца определяется в соответствии с формулой

x
= x + (x – x
). (3.24)

Как только движение по образцу не приводит к уменьшению целевой функции, точка x
фиксируется в качестве временной базовой точки и вновь проводится исследующий поиск. Если в результате получается точка с меньшим значением целевой функции, чем в точке x , то она рассматривается как новая базовая точка x
.С другой стороны, если исследующий поиск неудачен, необходимо вернуться в точку x , и провести исследующий поиск с целью выявления нового направления минимизации. В конечном счете возникает ситуация, когда такой поиск не приводит к успеху. В этом случае требуется уменьшить величину шага путем введения некоторого множителя и возобновить исследующий поиск. Поиск завершается, когда величина шага становится достаточно малой. Последовательность точек, получаемую в процессе реализации метода, можно записать в следующем виде:

x текущая базовая точка,

x
предыдущая базовая точка,

x
точка, построенная при движении по образцу,

x
следующая (новая) базовая точка.

Приведенная последовательность характеризует логическую структуру поиска по методу Хука - Дживса.

Метод поиска Хука - Дживса

Шаг 1. Определить:

начальную точку x

приращения ∆,i = l, 2, 3,..., N ,

коэффициент уменьшения шага α > 1,

параметр окончания поиска ε > 0.

Шаг 2. Провести исследующий поиск.

Шаг 3. Был ли исследующий поиск удачным (найдена ли точка с меньшим значением целевой функции)?

Да: перейти к шагу 5.

Нет: продолжать.

Шаг 4. Проверка на окончание поиска. Выполняется ли неравенство || ∆ x || < ε?

Да: прекратить поиск; текущая точка аппроксимирует точку оп­тимума х*.

Нет: уменьшить приращения по формуле

∆= ∆/ α, i = 1, 2, 3,…, N ,

Перейти к шагу 2.

Шаг 5. Провести поиск по образцу:

x
= x + (x – x
).

Шаг 6. Провести исследующий поиск, используя x
в качестве базовой точки; пусть x ( k +1) - полученная в результате точка.

Шаг 7. Выполняется ли неравенство f (x ( k +1} )< f (x )?

Да: положить x
= x ( k ) , x ( k ) = x
.

Перейти к шагу 5.

Нет: перейти к шагу 4.

Пример 3.3. Поиск по методу Хука - Дживса

Найти точку минимума функции

f (x ) = 8 x + 4 xx+ 5 x,

используя начальную точку х (0) =[ – 4, – 4] T .

Решение. Для того чтобы применить метод прямого поиска Хука - Дживса, необходимо задать следующие величины:

∆x - векторная величина приращения = ,

α - коэффициент уменьшения шага = 2,

ε - параметр окончания поиска - 10 -4 .

Итерации начинаются с исследующего поиска вокруг точки х (0) , которой соответствует значение функции f (х (0)) = 272. Фиксируя x 2 , дадим приращение переменной x :

x= – 4

x = – 4+1→ f (– 3, – 4) = 200< f (х (0)) → Успех.

Следовательно, необходимо зафиксировать x = – 3 и дать прираще­ние переменной х 2:

x = – 3,

x= – 4+1→ f (– 3, – 3) = 153< 200 → Успех.

Таким образом, в результате исследующего поиска найдена точка

x = [– 3, – 3] , f (x ) = 153

Поскольку исследующий попек был удачным, переходим к поиску по образцу:

x =x+ ( x– х (0)) = [– 2, – 2],

f (x ) = 68

Далее проводится исследующий поиск вокруг точки x который оказывается удачным при использовании положительных приращений переменных x и x. В результате получаем точку

x= [– 1, – 1], f (x) = 17.

Поскольку f (x (2)) < f (x (1)), поиск по образцу следует считать успеш­ным, и х (2) становится новой базовой точкой при следующем проведении поиска по образцу. Итерации продолжаются, пока уменьшение величины шага не укажет на окончание поиска в окрестности точки минимума х * = T . Последовательные шаги реализации метода показаны на рис. 3.7.

Из примера 3.3 следует, что метод Хука - Дживса характеризуется несложной стратегией поиска, относительной простотой вычислений и невысоким уровнем требований к объему памяти ЭВМ, который оказывается даже ниже, чем в случае использования метода поиска по симплексу. Благодаря этому алгоритм Хука - Дживса находит широкое применение во всех областях инженерной практики; особенно эффективны его варианты с использованием штрафных функций, которые рассматриваются в гл. 6. Однако необходимо отметить, что основанный на циклическом движении по координатам алгоритм в ряде случаев может заканчивать работу преждевременно, а при наличии значительных нелинейных эффектов вырождается в последовательность исследующих поисков без перехода к ускоряющемуся поиску по образцу.

Известен целый ряд подходов к усовершенствованию метода Хука - Дживса. В частности, Бендлер и Мак-Дональд модифицировали процедуру Хука - Дживса путем введения дополнительных правил увеличения и уменьшения приращений переменных, а также правила уменьшения шага по образцу, которое применяется в тех случаях, когда обычный шаг оказывается неудачным. Эксперименты, проведенные авторами данной книги, позволили доработать другую фазу реализации алгоритма, которую иногда называют использованием образца. Если движение по образцу приводит к успеху, имеются определенные основания для того, чтобы полностью использовать возможности поиска вдоль прямой, определяемой образцом, или по крайней мере увеличить длину шага по образцу. Такие действия часто позволяют существенно ускорить сходимость метода. Эмери и О"Хаган изменили фазу исследующего поиска путем введения системы ортогональных направлений поиска, ориентация которой случайным образом меняется на каждой итерации. Розенброк разработал метод, в котором, как и в методе Хука - Дживса, новое направление поиска определяется с учетом информации, полученной на предыдущих итерациях. Однако (в отличие от метода Хука-Дживса) подход, предложенный Розенброком, основан на непрерывном изменении множества векторов, используемых при исследующем поиске, с помощью процедуры ортогонализации. Другой метод, изложенный в работе Свенна и иногда называемый методом поиска Дэвиса, Свенна и Кемпи, опирается на стратегию поиска, подобную стратегии Розенброка. При его реализации поиск ведется не с помощью фиксированных шагов по каждому из выбранных направлений, а вдоль каждой прямой, заданной одним из направлений 1) . Каждый из перечисленных методов прямого поиска обладает рядом преимуществ перед остальными при решении задач определенного типа.

f(x) = 8x + 4xx+ 5x

Лекция 6

Метод Хука и Дживса

Этот метод можно рассматривать как модификацию метода Гаусса-

Зейделя.

Рассмотрим простейшую модификацию метода Хука и Дживса на примере функции F = f (x 1, x 2)=(x 1+ x 2) 2 +(x 2-1) 2

Метод вращающихся координат Розенброка

Идея Розенброка - устранить ограничения покоординатного поиска и метода Хука-Дживса на возможные изменения переменных, которые в этих методах могли изменяться только в направлениях, параллельных осям координат. В методе Розенброка шаги поиска могут производиться вдоль направлений координатных осей, которые могут вращаться в пространстве. (т.е.движение может быть и по диагонали).

Первоначально оси выбираются совпадающими с осями координат пространства оптимизации. Затем вдоль каждой из осей делается шаг определенной длины. Если шаг был успешен, то длина шага увеличивается и попытка повторяется до тех пор, пока не последует неудача. Если первоначальный шаг был неудачен, то длина шага уменьшается и попытка повторятся до тех пор, пока не будет получено улучшение функции. Как только будет выявлена ситуация, когда значение функции не меняется, а необходимая точность не достигнута, то координатные оси поворачиваются с помощью процедуры ортогонализации . Такой процесс повторяется до тех пор, пока не будет выполнено условие останова. Например, улучшение значения функции станет малым или перемещение на нескольких шагах подряд будет невелико.

Однако имеется дополнительный недостаток - процедура ортогонализации очень дорого стоит и в смысле количества операций, производимых с системой координат, и в смысле необходимой памяти, которой требуется уже порядка n 2 , а не n , как в методе Хука-Дживса. Это значит, что даже в случае относительно “дешевой” целевой функции вычислительные затраты на ортогонализацию оказываются значительными в сравнении с общими затратами. Кроме того, размерность решаемых задач ограничивается требуемым объемом памяти.

Существует несколько модификаций алгоритма Розенброка, главная из которых состоит в отказе от постоянной длины шага и замене на процедуру масштабирования длины шага в зависимости от успешности поиска в данном направлении.

Поиск экстремума методом Нелдера-Мида

Основан на построении многогранника с вершинами на каждом шаге поиска, где — количество переменных целевой функции. В начале поиска эти вершины выбирают произвольно, на последующих шагах выбор подчинен правилам метода.

Рассмотрим эти правила на примере двумерной задачи оптимизации. Так как количество переменных две то многогранник имеет 2+1 три вершины, т.е. это треугольник. Выбраны вершины исходного треугольника: , Новая вершина находится на луче, проведенном из худшей вершины (из вершины с наибольшим значением целевой функции) через центр тяжести многогранника, причем рекомендуется выбирать на расстоянии от, равном. Новая вершина заменяет худшую вершину. Если оказывается, что имеет лучшее значение целевой функции среди вершин многогранника, то расстояние увеличивают. На рисунке именно эта ситуация имеет место и увеличение дает точку. В новом многограннике с вершинами, худшей является вершина, аналогично получают вершину, затем вершину и т.д. Если новая вершина окажется худшей, то в многограннике нужно сохранить лучшую вершину, а длины всех ребер уменьшить, например вдвое (стягивание многогранника к лучшей вершине). Поиск прекращается при выполнении условия уменьшения размеров многогранника до некоторого предела.

Методы первого порядка

Метод градиентного спуска

В природе мы нередко наблюдаем явления, сходные с решением задачи на нахождение минимума. К ним относится, в частности, стекание воды с берега котлована на дно. Упростим ситуацию, считая, что берега котлована “унимодальны”, т.е. они гладкие и не содержат локальных углублений или выступов. Тогда вода устремится вниз в направлении наибольшей крутизны берега в каждой точке.

Переходя на математический язык, заключаем, что направление наискорейшего спуска соответствует направлению наибольшего убывания функции. Из курса математики известно, что направление наибольшего возрастания функции двух переменных u=f (x , y ) характеризуется ее градиентом

где e 1 , e 2 - единичные векторы (орты) в направлении координатных осей. Следовательно, направление, противоположное градиентному, укажет путь, ведущий вниз вдоль наиболее крутой линии. Методы, основанные на выборе пути оптимизации с помощью градиента, называются градиентными .

Идея метода градиентного спуска состоит в следующем. Выбираем некоторую начальную точку и вычисляем в ней градиент рассматриваемой функции. Делаем шаг в направлении, обратном градиентному. В результате приходим в точку, значение функции в которой обычно меньше первоначального. Если это условие не выполнено, т. е. значение функции не изменилось либо даже возросло, то нужно уменьшить шаг. В новой точке процедуру повторяем: вычисляем градиент и снова делаем шаг в обратном к нему направлении. Процесс продолжается до получения наименьшего значения целевой функции. Момент окончания поиска наступит тогда, когда движение из полученной точки с любым шагом приводит к возрастанию значения целевой функции. Строго говоря, если минимум функции достигается внутри рассматриваемой области, то в этой точке градиент равен нулю, что также может служить сигналом об окончании процесса оптимизации.

Формально поиск новой точки приближения к минимальной точке можно представить как

Очевидно, что в зависимости от выбора параметра λ траектории спуска будут существенно различаться. При большом значе-нии λ траектория спуска будет представлять собой колебательный про-цесс, а при слишком больших процесс может расходиться. При выборе малых траектория спуска будет плавной, но и процесс будет сходиться очень медленно.

В описанном методе требуется вычислять на каждом шаге оптимизации градиент целевой функции. Формулы для частных производных можно получить в явном виде лишь в том случае, когда целевая функция задана аналитически. В противном случае эти производные вычисляются с помощью численного дифференцирования:

При использовании градиентного спуска в задачах оптимизации основной объем вычислений приходится обычно на вычисление градиента целевой функции в каждой точке траектории спуска. Поэтому целесообразно уменьшить количество таких точек без ущерба для самого решения. Это достигается в некоторых методах, являющихся модификациями градиентного спуска. Одним из них является

Метод наискорейшего спуска.

Согласно этому методу, после определения в начальной точке направления, противоположного градиенту целевой функции, в этом направлении делают не один шаг, а двигаются до тех пор, пока целевая функция убывает, достигая таким образом минимума в некоторой точке. В этой точке снова определяют направление спуска (с помощью градиента) и ищут новую точку минимума целевой функции и т. д. В этом методе спуск происходит гораздо более крупными шагами и градиент функции вычисляется в меньшем числе точек.

Проиллюстрирую метод наискорейшего спуска на рисунке для случая функции двух переменных z = f(x,y) и отметим некоторые его геометрические особенности.

Во-первых, легко показать, что градиент функции перпендикулярен касательной к линии уровня в данной точке. Следовательно, в градиентных методах спуск происходит по нормали к линии уровня.

Во-вторых, в точке, в которой достигается минимум целевой функции вдоль направления, производная функции по этому направлению обращается в нуль. Но производная функции равна нулю по направлению касательной к линии уровня. Отсюда следует, что градиент целевой функции в новой точке перпендикулярен направлению одномерной оптимизации на предыдущем шаге, т. е. спуск на двух последовательных шагах производится во взаимно перпендикулярных направлениях.

Заметим, что метод наискорейшего спуска сводит многомерную задачу оптимизации к последовательности одномерных задач на каждом шаге оптимизации, как и в случае покоординатного спуска. Разница состоит в том, что здесь направление одномерной оптимизации определяется градиентом целевой функции, тогда как покоординатный спуск проводится на каждом шаге вдоль одного из координатных направлений.

Исследование оврагов

Все рассмотренные методы, как прямые, так и методы первого порядка страдают существенным недостатком – они слабо применимы при наличии оврага на поверхности.

В случае оврага линии уровня сильно вытянуты в одном направлении и сплющены в другом. Они напоминают рельеф местности с оврагом. Действительно, попытаемся найти наименьшее значение такой функции с помощью градиентного спуска. Двигаясь все время в направлении антиградиента, мы быстро спустимся на дно "оврага" и, поскольку движение идет хотя и маленькими, но конечными шагами, проскочим его. Оказавшись на противоположной стороне "оврага" и вычислив там градиент функции, мы будем вынуждены развернуться почти на 180° и сделать один или несколько шагов в обратном направлении. При этом мы снова проскочим дно "оврага" и вернемся на его первоначальную сторону. Продолжая этот процесс, мы вместо того, чтобы двигаться по дну "оврага" в сторону его понижения, будем совершать зигзагообразные скачки поперек "оврага", почти не приближаясь к цели. Таким образом, в случае "оврага" (этот нематематический термин прочно закрепился в литературе) описанные выше методы спуска оказываются неэффективными.

Для борьбы с "оврагами" был предложен ряд специальных приемов. Один из них заключается в следующем. Совершают градиентный спуск на дно "оврага" и исследуют пошагово (без использования градиента) окрестность этой точки. Выбирают направление в котором наблюдается наиболее значительное снижение функции и делают вдоль нее большой (овражный) шаг. Из найденной точки снова спускаются на дно "оврага" и делают второй овражный шаг. В результате, двигаясь достаточно быстро вдоль "оврага", приближаемся к искомому наименьшему значению целевой функции. Такой метод достаточно эффективен для функций двух переменных, однако при большем числе переменных могут возникнуть трудности.

Проблема многоэкстремальности

Достаточно часто на практике имеются функции имеющие несколько минимумов.

На рисунке приведены линии уровня функции с двумя локальными минимумами в точках O 1 и O 2 . Такие функции принято называть многоэкстремальными. Сравнивая между собой значения функции в точках O 1 и O 2 f 1 =3 , f 2 =1 , находим, что наименьшее значение функция достигает в точке O 2 .

Представьте себе теперь, что, не имея перед глазами рисунка и не зная о многоэкстремальности функции, мы начали поиск наименьшего значения с помощью метода градиентного спуска из точки A 1 . Поиск приведет нас в точку O 1 , которую ошибочно можно принять за искомый ответ. С другой стороны, если мы начнем поиск с точки A 2 , то окажемся на правильном пути и быстро придем в точку O 2 .

Как бороться с многоэкстремальностью? Универсального ответа на этот вопрос нет. Самый простой прием состоит в том, что проводят поиск несколько раз, начиная его с разных точек. Если при этом получаются разные ответы, то сравнивают в них значения целевой функции и выбирают наименьшее. Расчеты останавливают после того, как несколько новых поисков не меняют полученного ранее результата. Выбор начальных точек поиска, обоснованность прекращения расчетов в значительной степени зависят от опыта и интуиции специалистов, решающих задачу.

Решение задач условной оптимизации методом Лагранжа

Особый интерес для практических задач оптимизации представляют задачи, в которых наряду с целевой функцией заданы ограничения. Задачи, имеющие ограничения значений переменных получили название задачи условной оптимизации. Задачи условной оптимизации не могут быть решены с использованием классических методов и для них были разработаны специальные методы. Одним из наиболее часто используемых методов является метод Лагранжа.

Решение задач условной оптимизации методом Лагранжа.

Пусть задана задача математического программирования: максимизировать функцию

Z = f (х 1 , х 2 , ..., х n) при ограничениях

g i (х 1 , х 2 , ..., х n ) = 0, i= 1, 2. ..., m

Основная идея метода заключается в переходе от задачи на условный экстремум исходной функции f (x) к задаче на безусловный экстремум некоторой специально построенной функции Лагранжа F .

С этой целью составим функцию

(2.7)

Где множитель Лагранжа.

Определим частные производные

И приравняем их нулю. В результате получим систему уравнений

Функция (2.7) называется функцией Лагранжа, а числа - множителями Лагранжа . Решая систему находим точки x 1 (0) , x 2 (0) , ..., x n (0) , λ 1 (0) , λ 2 (0) , ..., λ m (0) которые и определяют точки экстремума (в общем случае таких точек может быть несколько). Однако для того чтобы определить какой экстремум (мах или мин) нужно дополнительное исследование связанное с анализом значения функции в найденной точке.

Пример 1. Найти точку условного экстремума функции Z=x 1 x 2 +x 2 x 3 при ограничениях

Решение. Составим функцию Лагранжа

F (х 1 , х 2 , х 3 , λ 1 , λ 2 )= х 1 х 2 + х 2 х 3 + λ 1 (х 1 + х 2 -2)+ λ 2 (х 2 + х 3 -2)

и продифференцируем ее по переменным х 1 , х 2 , х 3 , λ 1 и λ 2 . Приравнивая полученные выражения нулю, получим следующую систему уравнений:

Из первого и третьего уравнения следует, что λ 1 = λ 2 = - х 2 ; тогда

Решая данную систему, получим: х 1 = х 2 = х 3 = 1, Z =2.

Для определения характера экстремума исследуем окрестность точки Z =2. С этой целью дадим приращения h 1, h 2, h 3 для точек х1, х2, х3.

Т.е новые точки имеют координаты 1+ h 1, 1+ h 2, 1+ h 3

Подставим эти значения в ограничения.

1+ h 1+1+ h 2=2

1+ h 2+1+ h 3=2

Т.е.

h 1+ h 2=0

h 2+ h 3=0

Или h 1=- h 2 и h 2=- h 3

Подставим значения новых точек в функцию

Ф=(1+ h 1)*(1+ h 2)+(1+ h 2)*(1+ h 3)

С учетом найденных значений h

Ф=2-2 h 1 2

Т.е окрестность точки экстремума меньше значения функции в этой точке, что свидетельствует, что это максимум.

Еще раз подчеркнем, что основное практическое значение метода Лагранжа заключается в том, что он позволяет перейти от условной оптимизации к безусловной и, соответственно, расширить арсенал доступных средств решения проблемы.

Стратегия поиска. Метод представляет собой комбинацию исследующего поиска с циклическим изменением переменных и ускоряющего поиска по образцу . Цель исследующего поиска – выявление локального поведения целевой функции и определение направления ее убывания. Эта информация используется при поиске по образцу вдоль направления убывания целевой функции.

Исследующий поиск начинается из некоторой начальной точки , называемой старым базисом . В качестве множества направлений поиска выбирается множество координатных направлений. Задается величина шага, которая может быть различной для разных координатных направлений. Фиксируется первое координатное направление и делается шаг в сторону увеличения соответствующей переменной. Если значение исходной функции f(x) в пробной точке меньше значения функции в исходной точке, то шаг считается удачным. В противном случае из исходной точки делается шаг в противоположном направлении с последующей проверкой поведения функции. Если и в этом случае не происходит уменьшения функции, то происходит уменьшение шага и процедура повторяется. Исследующий поиск по данному направлению заканчивается, когда текущая величина шага становится меньше некоторой величины. После перебора всех координат исследующий поиск завершается, полученная точка называется новым базисом.

Поиск по образцу заключается в движении по направлению от старого базиса к новому . Величина ускоряющего шага задается ускоряющим множи-телем . Успех поиска по образцу определяется с помощью исследующего поиска из полученной точки. Если значение функции в наилучшей точке меньше, чем в точке предыдущего базиса, то поиск по образцу удачен, в противном случае происходит возврат в новый базис , где продолжается исследующий поиск с уменьшенным шагом.

Обозначим через – координатные направления:

Отметим, что при поиске по направлению меняется только переменная , а остальные переменные остаются зафиксированными.

Алгоритм метода.

Шаг 1. Задать начальную точку , число - для остановки алгоритма, начальные значения приращений по координатным приращениям , ускоряющий множитель

Шаг 2. Провести исследующий поиск по выбранному координатному направлению:

Шаг 3. Проверить условия:

а) если i < n, то положить i= i+1 и перейти к шагу 2. (продолжить исследующий поиск по оставшимся направлениям);

б) если i = n, проверить успешность исследующего поиска:

Если , перейти к шагу 4.

Если , перейти к шагу 5.

Шаг 4. Провести поиск по образцу.

В точке провести исследующий поиск , в результате которого получается точка

Если , то точка становится точкой нового базиса , а - точкой старого базиса . Перейти к шагу 5. .

Если , то поиск по образцу считается неудачным, точки , аннулируются, точка остается точкой нового базиса, а - точкой старого базиса. Перейти к шагу 2.

Шаг 5. Проверить условие окончания счета:

а) если все , то поиск закончить ;

б) для тех i, для которых , уменьшить величину шага и перейти к шагу 2.

Найти минимум функции

Зададим начальную точку ; число . Положим i=1, k=0.

То шаг неудачен. , то шаг удачен.

Поскольку i=1 <2=n, то положим i=2 и перейдем к шагу 2.

То шаг неудачен.

То шаг удачен

Поскольку i=2=n и , то перейдем к шагу 4.

Проведем поиск по образцу из точки Положим i=1, k= k+1=1. и перейдем к шагу 2.

Выполняем исследующий поиск из точки . , то шаг неудачен. Т.к. , то шаг удачен.

Поскольку i=1 <2=n, то положим i= i+1=2 и перейдем к шагу 2.

То шаг неудачен. , то шаг неудачен.

Введение

Метод Хука-Дживса

Блок-схема данного метода

Блок-схема единичного исследования

Текст программы

Распечатка результатов работы программы

Литература

Введение

На разработку методов прямого поиска для определения минимума функций и переменных было затрачено много усилий. Методы прямого поиска являются методами, в которых используются только значения функции. Мы рассмотрим подробно лишь один из них. Практика показала, что этот метод эффективен и применим для широкого числа приложений. Рассмотрим функцию двух переменных. Ее линии постоянного уровня 1 на рис. 1,

а минимум лежит в точке (x 1 * ,x 2 *). Простейшим методом поиска является метод покоординатного спуска. Из точки А мы производим поиск минимума вдоль направления оси и, таким образом, находим точку В, в которой касательная к линии постоянного уровня параллельна оси. Затем, производя поиск из точки В в направлении оси, получаем точку С, производя поиск параллельно оси, получаем точку D, и т. д. Таким образом, мы приходим к оптимальной точке. Очевидным образом эту идую можно применить для функций n-переменных.

Теоретически данный метод эффективен в случае единственного минимума функции. Но на практике он оказывается слишком медленным. Поэтому были разработаны более сложные методы, использующие больше информации на основании уже полученных значений функции.

Метод Хука-Дживса

Метод Хука-Дживса был разработан в 1961 году, но до сих пор является весьма эффективным и оригинальным. Поиск состоит из последовательности шагов исследующего поиска вокруг базисной точки, за которой в случае успеха следует поиск по образцу. Он применяется для решения задачи минимизирования функции без учета ограничений.

Описание этой процедуры представлено ниже:

А. Выбрать начальную базисную точку b 1 и шаг длиной h 1 для каждой переменной x j , j = 1, 2,…, n. В приведенной ниже программе для каждой переменной используется шаг h , однако указанная выше модификация тоже может оказаться полезной.

Б. Вычислить f (х) в базисной точке b 1 с целью получения сведений о локальном поведении функции f (x). Эти сведения будут использоваться для нахождения подходящего направления поиска по образцу, с помощью которого можно надеяться достичь большего убывания значения функции. Функция f (x) в базисной точке b 1 , находится следующим образом:

1. Вычисляется значение функции f (b 1) в базисной точке b 1 .

2. Каждая переменная по очереди изменяется прибавлением длины шага. Таким образом, мы вычисляем значение функции f (b 1 +h 1 e 1), где e 1 – единичный вектор в направлении оси x 1 . Если это приводит к уменьшению значения функции, то b 1 заменяется на b 1 +h 1 e 1 . В противном случае вычисляется значение функции f (b 1 -h 1 e 1), и если ее значение уменьшилось, то b 1 заменяем на b 1 -h 1 e 1 . Если ни один из проделанных шагов не приводит к уменьшению значения функции, то точка b 1 остается неизменной и рассматриваются изменения в направлении оси х 2 , т. е. находится значение функции f (b 1 +h 2 e 2) и т. д. Когда будут рассмотрены все n переменные, мы будем иметь новую базисную точку b 2 .

3. Если b 2 =b 1 , т. е. уменьшение функции не было достигнуто, то исследование повторяется вокруг той же базисной точки b 1 , но с уменьшенной длиной шага. На практике удовлетворительным является уменьшение шага (шагов) в десять раз от начальной длины.

4. Если b 2 b 1 , то производится поиск по образцу.

В. При поиске по образцу используется информация, полученная в процессе исследования, и минимизация функции завершается поиском в направлении, заданном образцом. Эта процедура производится следующим образом:

1. Разумно двигаться из базисной точки b 2 в направлении b 2 -b 1 , поскольку поиск в этом направлении уже привел к уменьшению значения функции. Поэтому вычислим функцию в точке образца

P 1 =b 1 +2(b 2 -b 1) .

В общем случае

P i =b i +2(b i+1 -b i) .

2. Затем исследование следует продолжать вокруг точки Р 1 (Р i) .

3. Если наименьшее значение на шаге В, 2 меньше значения в базисной точке b 2 (в общем случае b i+1), то получают новую базисную точку b 3 (b i+2), после чего следует повторить шаг В, 1. В противном случае не производить поиск по образцу из точки b 2 (b i+1), а продолжить исследования в точке b 2 (b i+1).

Г. Завершить этот процесс, когда длина шага (длины шагов) будет уменьшена до заданного малого значения.

Модифицированный метод Хука-Дживса

Этот метод нетрудно модифицировать и для учета ограничений.Было выдвинуто предложение, что для этого будет вполне достаточно при решении задачи минимизации присвоить целевой функции очень большое значение там,где ограничения нарушаются.К тому же такую идею просто реализовать с помощью програмирования.

Нужно проверить,каждая ли точка,полученная в процессе поиска, принадлежит области ограничений.Если каждая, то целевая функция вычисляется обычным путем. Если нет, то целевой функции присваивается очень большое значение. Таким образом, поиск будет осуществляться снова в допустимой области в направлении к минимальной точке внутри этой области.

В тексте прогаммы модифицированного метода прямого поиска Хука-Дживса сделана попытка реализовать такую процедуру. Рассматриваемая задача формулируется следующим образом:

минимизировать f

Текст программы

program HuDjMody;

(*** Модифицированный метод Хука-Дживса ***)

(*** (при наличии ограничений) ***)

label 0,1,2,3,4,5,6,7;

var k,h,z,ps,bs,fb,fi:real;

i,j,n,fe:integer;

x,y,b,p:array of real;

(*** Процедура,вычисляющая функцию ***)

procedure calculate;

z:=3*sqr(x)+(4*x*x)+(5*sqr(x));

if (x<0) or (x<0) or ((x+x)<4) then

fe:=fe+1; (*** Счетчик ***)

writeln("Модифицированный метод Хука-Дживса");

writeln("(при наличии ограничений)");

writeln("Введите число переменных:");

writeln("Введите начальную точку x1,x2,…,xN");

for i:=1 to n do

writeln("Введите длину шага");

for i:=1 to n do

writeln("Начальное значение функции", z:2:3);

for i:=1 to n do

writeln(x[i]:2:3);

(*** Исследование вокруг базисной точки ***)

0: x[j]:=y[j]+k;

if z

if z

writeln("Пробный шаг"," ", z:2:3);

for i:=1 to n do

writeln(x[i]:2:3);

if j=n then goto 3;

3: if fi

(*** После оператора 3,если функция не уменьшилась, ***)

(*** произвести поиск по образцу ***)

if (ps=1) and (bs=0) then

(*** Но если исследование производилось вокруг точки ***)

(*** шаблона PT,и уменьшение функции не было достигнуто,***)

(*** то изменить базисную точку в операторе 4: ***)

(*** в противном случае уменьшить длину шага в операторе***)

4: for i:=1 to n do

writeln("Замена базисной точки"," ",z:2:3);

for i:=1 to n do

writeln(x[i]:1:3);

(*** (следует за последним комментарием) ***)

(*** и провести исследование вокруг новой базисной точки ***)

writeln("Уменьшить длину шага");

if k<1e-08 then goto 7;

(*** Если поиск незакончен,то произвести новое ***)

(*** исследование вокруг новой базисной точки ***)

(*** Поиск по образцу ***)

6: for i:=1 to n do

p[i]:=2*y[i]-b[i];

writeln("Поиск по образцу"," ",z:2:3);

for i:=1 to n do

writeln(x[i]:2:3);

(*** После этого произвести исследование вокруг ***)

(*** последней точки образца ***)

7: writeln("Минимум найден");

for i:=1 to n do

writeln("x(",i,")=",p[i]:2:3);

writeln("Минимум функции равен"," ",fb:2:3);

writeln("Количество вычислений функции равно"," ",fe);

repeat until keypressed;

Приведенная выше программа реализует описанную процедуру. Одной или двух точек бывает недостаточно для определения начальной точки. Первая точка всегда должна выбираться осмотрительно. ЭВМ работает только с ограниченной точностью, и ошибки могут накапливаться в процессе сложных вычислений, особенно если шаг имеет “неудобную” длину. (Обычно мы будем избегать “неудобной” длины, но программа должна быть работоспособна и в таких ситуациях.) Поэтому в строке, где выясняется вопрос об изменении базисной точки, мы избегаем уменьшения длины шага из-за накапливания ошибки введением длины шага, равной . Мы отслеживаем, где производится исследование – в базисной точке (В5 = 1, Р5 = 0) или в точке образца (В5 = 0, Р5 = 1). Как можно убедиться на практике, если не принимаются такие меры предосторожности даже программа с удовлетворительной логикой будет неработоспособна.

В приведенной программе минимальная длина шага равна , но она может быть изменена. Для контроля за выполнением процедуры в программу введена печать промежуточных результатов. Для увеличения скорости счета могут быть удалены строки вывода подсказок и пояснений.

Процедура calculate вычисляет значение минимизируемой функции,в нашем случае: f (x 1 ,x 2) = 3x 1 2 +4x 1 x 2 +5x 2 2 ,

при ограничениях x 1 x 2 x 1 +x 2 .

Минимум, равный 44, достигается в точке (3;1) при ограничении x 1 +x 2 =4.

Для начальной точки (4;3) и при длине шага, равной единице, программой успешно решена задача минимизации.

Ниже приведена распечатка результата работы программы:

Модифицированный метод Хука-Дживса

(при наличииограничений)

Введите число переменных

Введите длину шага

Начальное значение функции 141.000

Пробный шаг 108.000

Пробный шаг 71.000

Пробный шаг 44.000

Пробный шаг 44.000

Поиск по образцу 1.70000000000001566Е+0038

Пробный шаг 48.000

Пробный шаг 48.000

Замена базисной точки 44.000

Пробный шаг 44.000

Пробный шаг 44.000

Уменьшить длину шага

Пробный шаг 44.000

Пробный шаг 44.000

Уменьшить длину шага

Пробный шаг 44.000

Пробный шаг 44.000

Уменьшить длину шага

Пробный шаг 44.000

Пробный шаг 44.000

Уменьшить длину шага

Пробный шаг 44.000

Пробный шаг 44.000

Уменьшить длину шага

Пробный шаг 44.000

Пробный шаг 44.000

Уменьшить длину шага

Пробный шаг 44.000

Пробный шаг 44.000

Уменьшить длину шага

Пробный шаг 44.000

Пробный шаг 44.000

Уменьшить длину шага

Минимум найден

Минимум функции равен 44.000

Количество вычислений равно 74

Для начальной точки (3;4) и длины шага, равной единице, программой также успешно решена задача минимизации.

Для начальной точки (5;6) и длины шага, равной единице, задача не решена, т.к. программа остановилась в точке (1;3) , т.е. на активном ограничении, и выдала неверный результат.

Распечатка результата работы программы приведена ниже:

Модифицированный метод Хука-Дживса

(при наличииограничений)

Введите число переменных

Введите начальную точку х1,х2,…,хN

Введите длину шага

Начальное значение функции 375.000

Пробный шаг 324.000

Пробный шаг 253.000

Поиск по образцу 155.000

Пробный шаг 124.000

Пробный шаг 81.000

Поиск по образцу 1.70000000000001566Е+0038

Пробный шаг 1.70000000000001566Е+0038

Замена базисной точки 81.000

Пробный шаг 60.000

Пробный шаг 60.000

Поиск по образцу 1.70000000000001566Е+0038

Пробный шаг 60.000

Пробный шаг 60.000

Замена базисной точки 60.000

Пробный шаг 60.000

Пробный шаг 60.000

Уменьшить длину шага

Пробный шаг 60.000

Пробный шаг 60.000

Уменьшить длину шага

Пробный шаг 60.000

Пробный шаг 60.000

Уменьшить длину шага

Пробный шаг 60.000

Пробный шаг 60.000

Уменьшить длину шага

Пробный шаг 60.000

Пробный шаг 60.000

Уменьшить длину шага

Пробный шаг 60.000

Пробный шаг 60.000

Уменьшить длину шага

Пробный шаг 60.000

Пробный шаг 60.000

Уменьшить длину шага

Пробный шаг 60.000

Пробный шаг 60.000

Уменьшить длину шага

Минимум найден

Минимум функции равен 60.000

Количество вычислений равно 89

Аналогичные неутешительные результаты были получены для начальной точки (5;6) и длины шага, равной 0.5 .Неверное решение было найдено в точке (1.5;2.5) . Для начальной точки (4;3) и длины шага, равной 0.5 ,программа работала нормально, но было получено неверное решение в точке (2.5;1.5) .

Проблема понятна. С помощью данного метода невозможно двигаться вдоль границы области ограничений и сходимость достигается в первой же точке границы, где и находится решение. Общая задача оптимизации при наличии ограничений очень сложна и для получения практического метода решения требуются более изощренные процедуры, чем приведенная выше.

Литература:

1. Б.Банди “Методы оптимизации”
2. Р.Хук, Т.А.Дживс “ Прямой поиск решения для числовых и статических проблем ”, 212-219 с., 1961 .