ИИ-модель Claude от Anthropic в июле впервые в истории приняла решение уволить сотрудника реального магазина в Сан-Франциско, пишет Time. Нейросеть руководит торговой точкой Andon Market и командой работников в рамках эксперимента компании Andon Labs.
Проект запустили в марте с целью проверить, способен ли ИИ-агент вести бизнес без помощи человека и как такие системы могут повлиять на экономику.
Что произошло: один из сотрудников компании опоздал на 17 из 23 смен. Нейросеть долго не замечала систематические опоздания. Дело в том, что составленное ИИ руководство для персонала пропало из его ограниченной рабочей памяти. Поэтому сначала Claude решила сделать официальное предупреждением.
Насколько автономным было решение: не полностью. Представитель Andon Labs направил нейросеть к инструкции, попросил разобраться в ситуации, а затем прямо спросил, соответствует ли сотрудник должности. Только после этого модель решила уволить его.
Andon Labs выделила на эксперимент 100 000 долларов. Примерно за полгода баланс торговой точки просел до 61,2 тысячи. Одной из причин такого падения исследователи называют излишне мягкие управленческие и не всегда удачные коммерческие решения Claude.