Математическая оптимизация представляет собой задачу отыскания максимального или минимального значения некоторой целевой функции по заданному параметру (s). Целевая функция есть, таким образом, нечто такое, что может быть оптимизировано только с помощью итеративной процедуры.