Американская компания Anthropic, разработчик нейросети Claude, предложила участникам рынка заранее договориться о механизме временной остановки разработки самых мощных систем искусственного интеллекта. Об этом пишет The Guardian.
В компании подчеркнули, что отрасль должна быть готова к ситуации, когда:
- возможности ИИ будут расти быстрее, чем инструменты контроля;
- существующих мер безопасности может оказаться недостаточно;
- появятся технологии, которые будет сложно регулировать.
При этом речь не идёт о немедленном запрете или заморозке разработок. Anthropic предлагает заранее определить порядок действий на случай возникновения серьёзных рисков.
Одной из потенциальных угроз компания также называет рекурсивное самоулучшение. Это сценарий, при котором искусственный интеллект сможет самостоятельно создавать более совершенные версии самого себя.
По мнению Anthropic, такой процесс может:
- резко ускорить развитие ИИ;
- усложнить контроль над технологиями;
- создать дополнительные трудности для регуляторов.
В связи с этим компания предлагает крупнейшим разработчикам ИИ, правительствам и международным организациям заранее согласовать условия, при которых может понадобиться временная пауза в разработке, а также механизмы контроля за соблюдением таких договорённостей.
В Anthropic отметили, что подобные меры будут эффективны только при участии всех ключевых игроков рынка. Если ограничения введёт лишь одна лаборатория, а остальные продолжат наращивать мощности, это не снизит потенциальные риски и изменит расстановку сил в отрасли.