Совет директоров OpenAI сможет блокировать выпуск нейросетей, если сомневается в их безопасности

После недавнего скандала с отставкой генерального директора OpenAI Сэма Альтмана (Sam Altman) и его возвращения компания OpenAI всерьёз задумалась не только о реформировании структуры управления бизнесом, но и повышении ответственности разработчиков за выпуск больших языковых моделей. Теперь совет директоров может задержать выпуск новых моделей, если сочтёт их недостаточно безопасными.

Обзор стоечного ИБП Ippon Innova RTB 3000

Сенатор США потребовал разъяснений по связям главы Intel с китайским бизнесом

Ещё одна миссия NASA под угрозой срыва — потеряна связь с зондом для изучения полярных щелей Земли

Источник изображения: OpenAI

Ключевая роль в этом механизме контроля и согласования будет отведена, по данным Bloomberg, специальной «группе готовности» под руководством Александра Мадри (Aleksander Madry), совмещающего эту должность с научной деятельностью в Массачусетском технологическом институте. В задачи группы экспертов будет входить анализ подготовленной к релизу каждой новой большой языковой модели на предмет выявления «катастрофических рисков». К таковым относятся вероятные последствия применения данной языковой модели, которые повлекут сотни миллиардов долларов материального ущерба или даже человеческие жертвы.

Группа Мадри будет на ежемесячной основе делиться отчётами о деятельности разработчиков OpenAI со специальным советом по безопасности, а тот уже будет делиться своими выводами с генеральным директором компании и советом директоров. Сэм Альтман сможет принимать решение о выпуске новой языковой модели на рынок или её задержке для доработки, причём совет директоров получает право наложить вето на положительное решение главы OpenAI о выпуске модели в общий доступ.

Группа анализа готовности языковых моделей была сформирована внутри OpenAI ещё в октябре, до хорошо известных событий с перестановками в руководстве. В целом, внутри компании действуют ещё две группы, занимающиеся анализом разработок. Прежде всего, это группа безопасности как таковой, а также группа «сверхрегулирования» (superalignment), которая учитывает гипотетические угрозы от внедрения сверхмощных систем искусственного интеллекта в будущем.

Разрабатываемые OpenAI языковые модели будут оцениваться группой Мадри по шкале, подразумевающей четыре градации рисков: низкая, средняя, высокая или критическая. По замыслу, компания сможет выпускать в оборот только те системы искусственного интеллекта, которые в итоге всех процедур анализа и доработки получили оценку риска не выше низкого или среднего. Как признался сам Мадри, «OpenAI — это не что-то, происходящее само собой и способное нести нам пользу или вред, это нечто, формируемое нами». Представитель компании выразил надежду, что подобным подходом к управлению рисками в сфере искусственного интеллекта будут пользоваться и другие разработчики. В стенах OpenAI подобная практика формировалась последовательно и в течение последних двух месяцев просто была закреплена решениями высшего руководства.