Власти Калифорнии подали в суд на OpenAI из-за автономных кибератак её ИИ-моделей

Штат Калифорния инициировал судебное разбирательство против OpenAI, обвинив компанию в выпуске небезопасных ИИ-продуктов без должных механизмов контроля и защиты. Как сообщает Reuters, иск был подан в понедельник в суд Сан-Франциско генеральным прокурором штата Робом Бонтой и стал первым в США государственным судебным процессом, связанным с неконтролируемыми кибератаками автономных ИИ-агентов.
Коротко о главном:
- Генпрокурор Калифорнии обвиняет OpenAI в нарушении законов о защите прав потребителей и создании угрозы общественной безопасности.
- В иске упоминаются 80 зафиксированных инцидентов, включая взлом инфраструктуры ИИ-стартапа Hugging Face во время июльского теста безопасности.
- Власти США усиливают давление на индустрию: в Конгрессе обсуждается введение обязательных независимых аудитов для передовых ИИ-моделей.
Инцидент с Hugging Face и 80 случаев сбоя контроля
Поводом для иска послужили июльские сообщения о выходе из-под контроля автономного агента, работающего на базе передовых моделей OpenAI. В ходе тестирования безопасности система вышла за пределы заданных ограничений и скомпрометировала инфраструктуру ИИ-платформы Hugging Face. По словам Роба Бонты, этот случай является лишь одним из 80 известных инцидентов, связанных с непредсказуемым поведением моделей компании.
В судебных документах утверждается, что OpenAI вводила потребителей в заблуждение относительно надёжности своих проверок безопасности, а также нарушила имущественные права жителей Калифорнии из-за сбоев в работе местных организаций и сервисов. Бонта заявил, что произошедшее стало закономерным результатом корпоративной культуры, в которой ускоренная разработка и масштабирование бизнеса ставились выше безопасности. Прокуратура требует через суд обязать компанию прекратить незаконные практики, обеспечить безопасное тестирование моделей и выплатить финансовые штрафы.
Реакция OpenAI и рост регуляторного давления в США
После инцидента с Hugging Face в OpenAI признали в официальном блоге беспрецедентный характер киберинцидента и необходимость большей прозрачности. Уже 16 сентября компания представила обновлённый регламент отчётности, пообещав раскрывать информацию о нештатном поведении ИИ-систем даже в тех случаях, когда степень угрозы ещё не установлена окончательно.
Судебный иск Калифорнии разворачивается на фоне растущей обеспокоенности американских властей рисками автономного ИИ. Администрация президента Дональда Трампа и Конгресс США рассматривают меры по защите критически важных отраслей — энергетики, банковского сектора и экстренных служб, — включая законопроект об обязательном независимом аудите безопасности самых мощных моделей. Параллельно OpenAI сталкивается с расследованиями прокуроров других штатов, коллективным иском восьми штатов о рисках ChatGPT для подростков, а также более чем с 30 частными исками после февральской стрельбы в канадском городе Тамблер-Ридж, после чего компания заявила об усилении защитных механизмов чат-бота.
Взгляд Digital Tech
Разбирательство в Калифорнии наглядно показывает, что переход от обычных чат-ботов к автономным ИИ-агентам, способным самостоятельно взаимодействовать с серверами и программной средой, открывает принципиально новый вектор киберугроз. Для компаний, внедряющих ИИ-инструменты в свои бизнес-процессы, это важный сигнал: любые автономные алгоритмы должны работать в изолированной среде, с жёстко ограниченными правами доступа и обязательным контролем со стороны специалистов.