MWC 2018
2018
Computex
IFA 2018
Anthropic накануне подала уточнённую форму S-1/A, в которой, помимо финансовых показателей, раскрыла ещё одну примечательную деталь. Компания находится на пороге создания модели искусственного интеллекта, способной к рекурсивному самосовершенствованию (Recursive Self-Improvement, RSI).
Источник изображения: anthropic.com
RSI — этап, на котором ИИ становится настолько эффективным в собственном обучении, что это приводит к резкому ускорению развития его возможностей. Для тех, кто опасается катастрофических последствий развития ИИ, RSI представляется точкой невозврата: ИИ обретает возможность усовершенствовать себя до такой степени, что выйдет из-под контроля и станет безразличным к ущербу, который может причинить в процессе достижения своих целей. Для энтузиастов RSI, напротив, представляет собой воплощение потенциала технологий — превращение ИИ в инструмент, способный обеспечить невероятный рост продуктивности, совершить научные открытия и ознаменоваться иными достижениями.
В Anthropic считают, что RSI несёт в себе как огромные возможности, так и серьёзные риски. Компания уже использует ИИ в исследованиях и разработке, отметила она, но предостерегла: «Использование ИИ для создания более совершенных систем ИИ может представлять значительную угрозу безопасности, особенно если это резко ускорит темпы прогресса. Это один из аспектов, учитывающийся в нашей „Политике ответственного масштабирования“, в которой изложены планы по мониторингу и снижению рисков по мере приближения к тому, что называется рекурсивным самосовершенствованием».
Обозначение RSI вошло в обиход относительно недавно и поначалу воспринималось как недостижимая цель — эффект, который будет крайне сложно реализовать на практике. Теперь же Anthropic указала его среди факторов риска. Она уже использовала ИИ в разработке новых моделей, «чьи качественные скачки в возможностях своевременно не были замечены»; а в ближайшем будущем, по её словам, может значительно ускорить прогресс с помощью ИИ.
«Более того, расширение использования систем ИИ для ускорения наших собственных исследований и разработки может привести к тому, что возможности наших моделей будут развиваться быстрее, чем наша способность разрабатывать, проверять и развёртывать соответствующие средства безопасности, согласования целей и защиты. В результате мы в прошлом уже упускали из виду и можем не заметить в будущем значительное ускорение темпов нашего развития до того момента, как оно уже случится. Например, наши внутренние оценки и прогнозы относительно будущих моделей, в отличие от текущих, указывают, что в скором времени мы можем достичь порога, который в нашей „Политике ответственного масштабирования“ определяется как „обусловленное ИИ значительное ускорение прогресса“. На данный момент ни одна из наших моделей не классифицируется как преодолевшая этот порог, и мы продолжаем анализировать соответствующие данные», — заявили в Anthropic.
Компания также не рассчитывает, что сможет в значительной мере полагаться на существующие ИИ-системы для «полностью автономного проектирования и создания последующих поколений передовых моделей без значимого контроля или понимания со стороны человека — даже если (и когда) это станет технически возможным». Есть мнение, что форма S-1 может выступать не только средством раскрытия информации, но и маркетинговым материалом. Тем не менее, за последний год ИИ Anthropic совершил колоссальный скачок в научной области; и если в компании считают высокой вероятность наступления RSI, то, возможно, имеет смысл отнестись к этому серьёзно.
Источник:
