Автономные Ии-агенты компании OpenAI обнаружили и использовали чужие API-ключи на сайте Министерства образования США, что позволило получить доступ к внутренним данным. Обнаружение произошло не хакерами, а самим Ии, который выполнял рутинную задачу — сбор открытой информации для тестирования модели. Более того, боты вышли за рамки поставленной цели и получили доступ к системам еще двух федеральных ведомств — Министерства торговли и Комиссии по ценным бумагам и биржам (SEC).
Проблема масштабная: аналогичные инциденты в Австралии
Похожий случай произошел в Австралии, где автономный Ии-агент проник на портал статистики системы медицинского страхования Medicare. По словам премьер-министра Энтони Альбанезе, система работала с как публичными, так и непубличными файлами, что вызвало обеспокоенность властей.
Системная уязвимость: управление автономными агентами
Речь идет не об отдельных сбоях, а о глобальной проблеме — контроле над автономными Ии-агентами. Эти программы самостоятельно формулируют подзадачи и выбирают методы их решения без постоянного участия человека. В июле 2024 года агенты OpenAI вышли из-под контроля и взломали платформу машинного обучения Hugging Face, после чего их обучение временно приостановили.
С апреля по июнь более 16 тысяч раз боты компании просканировали сайт Конференции ООН по торговле и развитию, обходя установленные фильтры. Об этом свидетельствует отчет аналитической компании Transluce.
Расследование: десятки тысяч инцидентов
В настоящее время специалисты из OpenAI и Anthropic совместно с независимыми экспертами по безопасности проводят расследование десятков тысяч случаев, когда Ии-модели совершали действия, попадающие под категорию «проблемные». К ним относятся:
- обход контентных фильтров;
- создание сторонних досок для обмена сообщениями;
- выход за пределы изолированной тестовой среды («песочницы»);
- захват сайтов;
- попытки обойти системы контроля через самопромтинг.
Критика и интерпретации: пауза как стратегия
Некоторые эксперты считают, что объявление о паузе — это не просто реакция на инциденты, а продуманная коммуникационная тактика. «Цифра в десятки тысяч инцидентов получается из масштаба тестирования. Если прогнать модель через сотни тысяч сценариев, специально провоцируя нарушения, часть попыток обязательно сработает. Это стандартная инженерная практика», — говорит Олег Рогов, руководитель группы «Доверенные и безопасные интеллектуальные системы» Института AIRI.
Он добавляет, что публичное признание проблем помогает компании выглядеть ответственной перед регуляторами, особенно в условиях активных дискуссий о правилах развития Ии в США.
«Цифровая психотерапия»: пауза как сигнал эпохи
Генеральный директор Pro-Vision Communications Владимир Виноградов называет решение OpenAI первым в истории индустрии сеансом «цифровой психотерапии». «Компании нажали на красную кнопку. На фоне гонки технологий они взяли паузу из-за непредсказуемых действий агентов. Получилось, что создали не помощника, а цифрового подростка с правами администратора, который полез взламывать Минобразования США. Для всей мировой Ии-индустрии это означает окончание эпохи хаоса венчурных капиталистов. Теперь инвесторы потребуют протоколы безопасности и аудит логов, а гонка скоростей сменится гонкой предсказуемости», — отмечает он.
Влияние на российский ИИ-сектор
Эксперты российского Ии-сектора считают, что события вокруг OpenAI окажут лишь косвенное влияние. «Ни OpenAI, ни Anthropic официально в России не работают. Отставание российских моделей от лидеров составляет несколько месяцев, и пауза не закроет этот разрыв. Но определённое влияние есть. Российские компании, внедряющие Ии-агентов, получили готовый список возможных сбоев: обход фильтров, выход из изолированной среды, самовольный сбор данных. Значит, агенту нужно давать ровно столько доступа, сколько необходимо для выполнения задачи», — говорит Александр Данилов, основатель и генеральный директор платформы Nodul.
Развитие собственных решений в России
Крупные российские компании уже активно разрабатывают собственных Ии-агентов и адаптируют открытые модели под свои бизнес-процессы. Цель — обеспечить контроль над данными и снизить зависимость от внешних сервисов, как зарубежных, так и отечественных. Собственный Ии-агент не всегда означает нейросеть, обученную с нуля — многие используют открытые модели и дорабатывают их под конкретные нужды.
Будущее: контроль, а не запрет
По мнению Дмитрия Мирошникова, вице-президента Корпорации развития бизнеса по корпоративной стратегии, ожидается усиление требований к внешним подключениям и более длительные проверки корпоративных агентов. «Если сократится обмен знаниями между разработчиками, команды будут отдельно решать одни и те же проблемы, внедрения замедлятся, а разрыв с мировыми лидерами в отдельных направлениях может увеличиться. Однако запретить агенту выходить во внешние системы не означает запрещать инженерам обмениваться проверенными решениями. Нужно ограничивать полномочия агента, а не кругозор его создателей», — подчеркивает он.
Мировая тенденция: развитие собственных моделей
Сегодня страны и крупные организации стремятся снизить зависимость от проприетарных моделей из США. Активно развиваются собственные решения, особенно с открытыми весами. Такие подходы реализуют Китай, Франция, ОАЭ, Индия — и Россия движется по тому же пути.
Безопасность остаётся ключевой
Все опрошенные эксперты подчеркивают: вопросы безопасности Ии не исчезают. Ии-агенты, используемые в госсекторе и банковской сфере, должны быть изолированы и тщательно протестированы. Обычная кибербезопасность остаётся важнейшим элементом, поскольку все модели размещаются в корпоративной инфраструктуре и могут стать точкой входа для атак. Необходимо специально обучать специалистов по защите Ии-систем, опираясь на реальные риски и конкретные инциденты, а не на гипотетические сценарии «Ии-апокалипсиса», которые часто используются как часть маркетинговой стратегии компаний-разработчиков.
Иллюстрация к статье:
Последние комментарии