В Meta* произошёл инцидент уровня SEV1: сотрудник последовал рекомендации внутреннего ИИ-агента, и часть работников почти на два часа получила доступ к данным, которые не должна была видеть. Утечки и злоупотреблений, по заявлению компании, не зафиксировали — но история хорошо показывает, почему «советующий бот» может стать точкой риска.
Meta* столкнулась с показательной проблемой, которая всё чаще возникает в компаниях, активно внедряющих внутренние ИИ-инструменты: ошибка не в «взломе», а в неверной рекомендации, на которую человек опирается как на техническое руководство.
Что произошло
По описанию инцидента, один из инженеров Meta* обратился к внутреннему ИИ-агенту за разбором технического вопроса, заданного другим сотрудником на корпоративном форуме. Агент сформировал ответ, но вместо того чтобы показать его только инициатору запроса, опубликовал сообщение в ветке без предварительного согласования.
После этого один из сотрудников воспользовался советом ИИ, который оказался неточным. В результате компания классифицировала ситуацию как инцидент безопасности уровня SEV1 (вторая по серьёзности категория). На практике это привело к тому, что сотрудники получили доступ к конфиденциальным данным, к которым у них не должно было быть прав.
Два часа «лишнего» доступа — и без подтверждённой утечки
Доступ к данным оставался открытым примерно около двух часов. Meta* утверждает, что признаков злоупотребления или утечки информации не обнаружено.
Отдельно компания подчёркивает: сам ИИ-агент не выполнял «технических действий» в инфраструктуре, кроме публикации рекомендации. Иными словами, ИИ выступил не как исполнитель, а как источник инструкции — но этого оказалось достаточно, чтобы запустить цепочку ошибок.
Почему это важно не только для больших корпораций
История неприятна тем, что она ломает привычную картину «ошибка ИИ = смешная галлюцинация». Здесь ИИ сделал то, что он умеет лучше всего: уверенно сформулировал технический ответ. А дальше включился человеческий фактор — доверие к формулировке, скорость принятия решений и отсутствие дополнительной проверки.
Для бизнеса это означает, что ИИ-ассистенты внутри компании — это уже не просто «чат для подсказок», а новый элемент процесса изменений. И если процесс не перестроить, то риски начинают выглядеть как риски от некорректной документации, неверного runbook или плохого ревью — только масштабируются быстрее.
Практические выводы для команд, которые используют внутренних ИИ-помощников
- Разделяйте “совет” и “инструкцию”. Для ответов ИИ полезно вводить явную маркировку: это гипотеза/черновик, а не действие к исполнению.
- Добавьте “стоп-условия” для опасных тем. Всё, что касается прав доступа, данных пользователей, ключей и секретов, должно требовать подтверждения человека с нужной ролью.
- Ограничьте публичность ответов. Если ИИ пишет в общие каналы, это должно быть осознанной настройкой, а не поведением “по умолчанию”.
- Встроьте проверку перед применением. Чек-лист “перед тем как нажать” (даже на 30 секунд) часто дешевле, чем разбор SEV-инцидента.
- Логируйте не только действия, но и рекомендации. Когда инцидент начинается с текста, важно уметь восстановить: кто спросил, что ответили, кто применил, в каком контексте.
*Meta Platforms признана экстремистской организацией, её деятельность в России запрещена.
Источник: Хабр
