Выигрышные билеты внутри нейронной сети

Гипотеза лотерейного билета предлагает радикально новое понимание обучения нейронных сетей: внутри плотной модели скрыты меньшие разреженные подсети, которые могут обучаться отдельно и достигать качества полной модели при существенно меньшем числе параметров. Эта идея получила название выигрышного билета и была сформулирована Джонатаном Фрэнклом и Майклом Карбином в 2018 году; на ICLR 2019 они продемонстрировали, что такие подсети реально существуют и могут обучаться независимо от исходной полной сети.

Выигрышные билеты как механизм обучения

Определение и формулировка

Выигрышный билет — бинарная маска m, применяемая к начальному состоянию параметров 0: m 0 оставляет часть весов активными, остальные обнуляет. Разреженная подсеть f(x; m 0) способна достичь точности, сопоставимой с исходной сетью, но с меньшим числом параметров.

История и авторы

Идея возникла в 2018 году у Фрэнкла и Карбина и была опубликована на ICLR 2019 как утверждение о существовании таких подсетей и их обучаемости в изоляции.

Поиск выигрышных билетов: IMP и rewinding

IMP — это итеративный метод: обучить плотную сеть до схождения, удалить часть весов по наименьшей величине, сбросить оставшиеся веса к начальному состоянию и повторить процедуру до достижения заданной разреженности. В rewinding веса после некоторого числа шагов обучения возвращают к состоянию после этого числа шагов, а не к начальному состоянию, что повышает шансы на нахождение работающей подсети.

Роль инициализации и разреженности

Важной особенностью является связь подсети с конкретной инициализацией: подсеть, полученная из одной инициализации, может работать иначе, чем такая же по структуре подсеть, полученная с другой инициализацией. Это означает, что выигрышный билет — не просто архитектура, а сочетание архитектуры и начальных значений весов.

Применение и ограничения

Идея применяется к разным архитектурам и задачам, включая трансформеры и крупные модели, а также в условиях ограниченных вычислительных ресурсов, например на edge-устройствах. Однако методика требует значительных вычислительных затрат в рамках итеративного кручения прунинга и не дает полной теоретической картины для всех случаев; масштабирование до очень больших сетей остается предметом дальнейших исследований.

Практические выводы и перспективы

Гипотеза меняет привычное восприятие обучения: эффективная подсеть действительно существует внутри большой сети и может быть найдена и обучена напрямую, что потенциально снижает вычислительную стоимость обучения и влияет на архитектурное проектирование. В то же время остаются вопросы оптимизации процесса поиска и ограничений применимости к разным видам задач и данными, требующие дополнительной работы.

Автор Аркадий Вершинин