Системы искусственного интеллекта должны быть строго ограничены в своих сетевых правах доступа, а их действия тщательно отслеживаться, чтобы предотвратить в будущем возможные случаи взлома организационных структур. Это мнение выразил эксперт в области ИИ, генеральный директор компании AIST.AI Пётр Загребельный в беседе с ТАСС.
Ранее стало известно, что в ходе испытаний по кибербезопасности некоторые передовые модели искусственного интеллекта Claude проникли в системы трёх различных организаций.
Этот случай является сигналом для отрасли, что системы, работающие с агентными ИИ, должны быть разработаны в соответствии с принципом "нулевого доверия". Это подразумевает жесткое ограничение прав моделей, контроль их сетевых доступов и постоянное наблюдение за выполняемыми ими действиями. По мере того как агентные системы будут развиваться, такие проверки станут неотъемлемой частью оценки их безопасности перед внедрением в существующую инфраструктуру
, — заявил Пётр Загребельный.
Он также подчеркнул, что в случае с моделями Claude от компании Anthropic речь не идёт о "побеге" искусственного интеллекта или о самостоятельном принятии решения моделью о взломе чужих систем.
Такие испытания проводятся специально для проверки того, как ИИ ведёт себя в нестандартных условиях, когда у него есть доступ к внешним инструментам и сетевым ресурсам. Если модель сумела проникнуть в инфраструктуру трёх организаций, это прежде всего свидетельствует о наличии уязвимостей в самой тестовой среде. Современные языковые модели могут эффективно использовать обнаруженные слабые места, если у них есть соответствующие полномочия
, — отметил эксперт.
