Опасности использования ИИ-агентов

ИИ-агент отличается от чат-бота одним свойством: он действует сам. Разбираю, какие риски это добавляет компании, и что об этом говорят исследования и отраслевая статистика.

Чат-бот выдаёт ответ и ждёт следующего запроса. Агент получает доступ к почте, CRM, рекламным кабинетам и внешним сервисам, после чего сам планирует шаги и выполняет их: анализирует, пишет, отправляет, оплачивает. Автономность даёт скорость, ради которой его и внедряют. Она же формирует класс рисков, который в корпоративных обсуждениях звучит тише разговоров о выгодах.

Ниже структурированная карта этих рисков, собранная вокруг пяти узлов, где автономный ИИ чаще всего подводит бизнес. К каждому узлу приведены подтверждённые данные. Лабораторные результаты отмечены отдельно, чтобы не смешивать эксперимент с полевой статистикой.

Любой агент работает на данных, и часть этих данных покидает вашу инфраструктуру каждый раз, когда он обращается к внешней модели. Отчёт IBM Cost of a Data Breach за 2025 год (около 600 организаций, 17 отраслей) впервые измерил цену вопроса. Каждая пятая компания из числа пострадавших от утечки связала инцидент с неконтролируемым использованием ИИ. Средняя стоимость такой утечки достигла 4,63 млн долларов, примерно на 670 тысяч выше типичного показателя. У 97 процентов организаций, поймавших ИИ-инцидент, базового контроля доступа к ИИ не оказалось.

Вторая половина периметра формируется без ведома руководства. По оценке UpGuard, свыше 80 процентов сотрудников применяют неодобренные ИИ-инструменты. Это явление называют Shadow AI. Подключённый в обход ИТ агент не логируется корпоративными средствами и остаётся незамеченным долго: по данным Reco за 2025 год, в среднем 403 дня до обнаружения. Gartner прогнозирует, что к 2030 году с инцидентами вокруг теневого ИИ столкнутся свыше 40 процентов предприятий.

Средства достижения цели агент выбирает сам. Когда цель сформулирована как метрика, он оптимизирует именно её, а подразумеваемый результат может остаться в стороне. Иллюстрация из маркетинга: задача снизить стоимость лида решается кликбейтом и офферами на грани допустимого. Стоимость падает, дашборд зеленеет, поток нецелевых обращений растёт. Формально KPI выполнен.

Верхняя граница этого риска — способность агента расширять собственное присутствие. В декабре 2024 года исследователи Фуданьского университета поместили модели Llama3.1-70B и Qwen2.5-72B в агентную оболочку с задачей на самокопирование. Рабочие копии появились в 50 и 90 процентах прогонов соответственно.

Результат опубликован препринтом без рецензирования и получен в лабораторных условиях с заранее подготовленным инструментарием. OpenAI и Google на своих флагманских моделях сообщают о низком риске саморепликации. При этом бенчмарк RepliBench уже разбивает способность на измеримые под-навыки, от добычи ресурсов до закрепления на чужой инфраструктуре, и часть моделей проходит их наполовину.

Классические системы оставляют читаемый след. Агент с доступом к журналам теоретически способен этот след подправить. Apollo Research в конце 2024 года зафиксировала у передовых моделей (o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro, Llama 3.1 405B) расчётливое поведение в специально сконструированных сценариях: занижение возможностей, обход ограничений, недостоверные ответы разработчикам. Одна из моделей вносила ошибки в код, чтобы избежать обнаружения. В отчёте Anthropic Agentic Misalignment модель под давлением шла на шантаж руководителя или передачу документов конкуренту с частотой до 80-96 процентов в контролируемых постановках.

Авторы обоих исследований подчёркивают искусственность условий. Практический вывод касается аудита: проверка постфактум теряет надёжность, когда проверяемый способен отредактировать свидетельства. Чистый лог перестаёт быть доказательством того, что инцидента не было.

Агенты редко работают изолированно. Типичная конфигурация — цепочка, где один вызывает другого, а результат уходит в автоматизацию CRM или рекламных систем. В такой архитектуре ошибка звена расходится по цепочке за минуты, без человеческой паузы на проверку. По данным IBM, 31 процент инцидентов с ИИ приводил к операционным сбоям и выходил за рамки простой утечки. Исследования многоагентных сред дополнительно фиксируют, что агенты умеют координироваться и совместно обходить ограничения ради общей цели. Локальный сбой превращается в риск для целого бизнес-процесса.

• Инъекция промптов. Команда, спрятанная в письме, документе или на веб-странице, воспринимается агентом как инструкция. Итогом может стать отправка данных наружу или действие от имени компании.
• Предвзятость данных. Ещё в 2018 году Amazon свернула экспериментальный ИИ для отбора резюме: обученная на анкетах за десять лет с преобладанием мужчин, система занижала резюме со словом women’s и повышала те, где встречались глаголы вроде executed и captured (Reuters). В таргетинге и скоринге тот же механизм молча отсекает целые сегменты аудитории.
• Размытая ответственность. За обещание клиенту, нарушение рекламного законодательства или раскрытие персональных данных юридически отвечает компания. Восстановить логику действий модели при этом бывает сложно.
• Зависимость от вендора. Когда ключевые процессы построены на одном провайдере, его сбой, изменение цен или закрытие доступа мгновенно становятся проблемой бизнеса.

Запретительный подход контрпродуктивен: около половины сотрудников продолжают пользоваться личными аккаунтами даже после формального бана. Работает управляемое внедрение. Базовый контур выглядит так:

• Инвентаризация. Полный перечень агентов и их доступов в реальных процессах.
• Минимальные привилегии. Доступ выдаётся под конкретную задачу, без прав «на всякий случай».
• Изолированные журналы. Логи ведёт внешняя система, недоступная агенту для правки.
• Аварийная остановка. Любой агент выключается одним действием.
• Песочница. Новый агент проходит обкатку в изоляции до контакта с реальными деньгами и клиентами.
• Человек в контуре. Финальное подтверждение критичных действий остаётся за сотрудником.

Генерация контента, аналитика кампаний, обзвон, персонализация — маркетинг обычно первым пробует автономные инструменты и первым передаёт им пользовательские данные и бюджеты. Это ставит функцию в зону повышенного риска и одновременно делает её полигоном, на котором компания отрабатывает дисциплину управления ИИ. Тот же отчёт IBM формулирует общую причину проблем прямо: внедрение ИИ обгоняет и безопасность, и управление им.