Comparsion of stochastic approximation and sample average approximation for saddle point problem with bilinear coupling term

Стохастическая оптимизация является актуальным направлением исследования в связи со значительными успехами области машинного обучения и их применениями для решения повседневных задач. В данной работе рассматриваются два принципиально различных метода задачи стохастической оптимизации — онлайн- офлайн-алгоритмы. Соответствующие алгоритмы имеют свои качественные преимущества перед друг другом. Так, офлайн-алгоритмов требуется решать вспомогательную задачу с высокой точностью. Однако это можно делать распределенно, открывает принципиальные возможности, как, например, построение двойственной задачи. Несмотря на это, онлайн-, офлайн-алгоритмы преследуют общую цель решение заданной Это находит отражение сравнении вычислительной сложности описанных алгоритмов, что демонстрируется работе.