MWC 2018
2018
Computex
IFA 2018
Модель искусственного интеллекта Google Gemini в ходе тестирования возможностей в области кибербезопасности получила несанкционированный доступ к системам трёх сторонних компаний. По утверждению Google, во всех трёх случаях модель остановилась, определив, что вышла за пределы тестовой среды. Об инцидентах сообщила Wall Street Journal (WSJ).
Источник изображения: Rubaitul Azad / unsplash.com
Инциденты произошли в мае во время испытаний на платформе компании Irregular, где ранее фиксировались аналогичные случаи с моделями OpenAI, Anthropic и Meta✴. Irregular уведомила Google о произошедшем в конце июля. Компания не стала публично раскрывать информацию и подтвердила инциденты лишь после запроса WSJ.
В отрасли пока только складывается практика раскрытия информации об инцидентах и непредусмотренном поведении ИИ-моделей. Одни разработчики сообщают о таких случаях самостоятельно, о других становится известно благодаря сторонним исследователям. В Google заявили, что не сочли публичное раскрытие необходимым, поскольку модель не причинила ущерба и во всех трёх случаях остановилась после того, как определила, что получила доступ к реальным системам.
В компании сравнили произошедшее с программами bug bounty, в рамках которых специалисты по безопасности получают вознаграждение за обнаружение уязвимостей. «Случившееся указывает на важность обучения мощных ИИ-моделей ответственному поведению. В данном случае модель повела себя надлежащим образом», — заявила вице-президент Google по разработке систем безопасности Хизер Эдкинс (Heather Adkins).
Инциденты произошли во время учений формата «захват флага» в инфраструктуре Irregular. Gemini должна была извлечь информацию из программного обеспечения вымышленной компании внутри тестовой среды, однако её название совпало с названием реальной организации. Кроме того, из-за ошибки конфигурации модель получила доступ в интернет, которого у неё не должно было быть.
В первом случае Gemini перебирала пароли, пока не получила доступ к защищённому сервису реальной компании. Определив, что система не относится к тестовой среде, модель прекратила действия и вышла из неё. В двух других случаях Gemini выполнила поиск по названию компании и обнаружила в общедоступных репозиториях учётные данные двух других организаций. Модель успешно воспользовалась ими, но затем также остановилась. Эти обстоятельства Google приводит в собственном изложении; независимого анализа действий модели пока не опубликовано.
В Google не сочли произошедшее примером рассогласования целей модели, поскольку она самостоятельно прекратила действия. Компания уведомила все три пострадавшие организации, а также федеральные власти США. В Google подчеркнули, что в инцидентах не участвовала новейшая версия Gemini, но не уточнили, какая именно модель проходила тестирование.
Источник:
