Основная идея метода заключается в том, чтобы осуществлять оптимизацию в направлении наискорейшего спуска, а это направление задаётся антиградиентом :
Рис.1 Геометрическая интерпретация метода градиентного спуска с постоянным шагом. На каждом шаге мы сдвигаемся по вектору антиградиента, "уменьшенному в раз".
Метод наискорейшего спуска
Метод градиентного спуска с дроблением шага
Метод градиентного спуска с постоянным шагом
В статье приведены теоремы сходимости метода градиентного спуска, а также рассмотрена его варианты:
Пусть функция такова, что можно вычислить ее градиент. Тогда можно применить метод градиентного спуска, описанный в данной статье.
В работе рассматривается задача поиска минимума функции , записываемая в виде:
Комментариев нет:
Отправить комментарий