Финбизнес предупредили о рисках автономных ИИ-агентов. С чем они связаны

Международные регуляторы предупредили банки и финансовые компании о рисках стремительного распространения агентного искусственного интеллекта. Речь идёт об автономных системах, которые способны самостоятельно планировать действия, принимать решения и выполнять сложные задачи, создавая новые угрозы для финансового сектора и стабильности рынков.

Совет по финансовой стабильности (FSB) в своём отчёте призвал финансовые организации заранее внедрять механизмы контроля и защиты от рисков, связанных с использованием ИИ.

Предупреждения усилились после появления более автономных ИИ-моделей, включая Mythos от Anthropic. Эксперты считают их новым фактором киберриска для банков, поскольку такие системы могут выполнять сложные задачи с меньшим участием человека.

Среди основных рисков, на которые указывают регуляторы:

  • несанкционированные или незаконные действия;
  • утечки конфиденциальных данных;
  • сбои в связанных цифровых системах.

Также ИИ-агенты могут принимать решения, не совпадающие с намерениями компаний, а сотрудники не всегда успевают вовремя обнаружить проблему или вмешаться.

Эксперты предложили ряд мер, которые пока не являются обязательными. Финансовым организациям рекомендуется:

  • заранее определить допустимые области применения ИИ;
  • установить запреты для автономных систем;
  • внедрить механизмы реагирования на отклонения.

Среди ключевых мер также обязательное участие человека в операциях повышенного риска, включая крупные финансовые транзакции и рассмотрение ИИ-систем как «синтетических сотрудников» с отдельными правилами контроля, оценки и надзора.

Комментарии