OpenAI развивает GPT-Red как внутренний инструмент для автоматизированного редтиминга и поиска уязвимостей в больших языковых моделях. В тестах GPT-Red демонстрирует преимущество над человеческими специалистами в выявлении атак и влияет на устойчивость будущих версий, включая GPT-5.6 Sol. Инструмент остается закрытым, планируется публикация архитектуры.
OpenAI объявила о создании GPT-Red, внутреннего агента, предназначенного для автоматизированного редтиминга и поиска уязвимостей в собственных языковых моделях. Главная задача инструмента — находить слабые места до выпуска новых версий, чтобы повысить безопасность и устойчивость систем.
GPT-Red обучается через self-play — метод обучения с подкреплением, где атакующая модель соперничает с наборами защищающих LLM. В помещении, описываемом как «dojo», агент непрерывно генерирует атаки, сравнивая их с реакциями защитных моделей и автоматически адаптирует стратегию, чтобы давать более сложные вызовы.
В ходе внутренних оценок GPT-Red достигал 84% успеха
В ходе внутренних оценок GPT-Red достигал 84% успеха в тестах против сценариев, где человеческие тестировщики достигали лишь около 13% успеха. Эти данные используются внутри компании для повышения защиты будущих версий, включая GPT-5.6 Sol, что демонстрирует возможность ускоренного и масштабируемого тестирования безопасности.
Как часть практических испытаний, GPT-Red была применена к тестированию реального агента в офисе OpenAI. В рамках эксперимента агент Andon Labs, управляющий вендинговым устройством, смог изменить цену на дорогой товар до минимума 0,50 доллара, разместить заказ на сумму свыше 100 долларов по сниженной цене и отменить другой заказ. Такой кейс иллюстрирует важность защиты не только текстовых взаимодействий, но и действий агентов в реальном времени.
Важно: GPT-Red остается внутренним инструментом и не имеет открытого доступа к публичным моделям. OpenAI планирует опубликовать архитектуру и детали обучения в рамках отдельной статьи. Текущие достижения показывают, что автоматизированное red-teaming может ускорить обеспечение безопасности и сделать его более масштабируемым.
Перспективы и задачи на будущее включают расширение диапазона атак, адаптивность под разные deployment-сценарии и дальнейшее снижение частоты опасных инъекций, сохраняя полезность и функциональность моделей.
Не подтверждено: 4.
-
Не подтверждено
GPT-Red — внутренний инструмент OpenAI для поиска уязвимостей в больших языковых моделях (LLM).
-
Не подтверждено
Внутренние тесты показали 84% успеха атак GPT-Red против 13% у людей-специалистов.
-
Не подтверждено
Использование атак GPT-Red в обучении GPT-5.6 Sol снизило прямые промпт-инъекции в 6 раз.
-
Не подтверждено
GPT-Red имеет ограничения и не устраняет все формы атак; около 3,8% атак остаются сложными.
Показать все источники Скрыть источники
