| Разработчики: | IBM |
| Дата премьеры системы: | апрель 2018 г |
| Отрасли: | Информационные технологии |
2018: Анонс инструмента для защиты ИИ-систем от состязательного обучения
В апреле 2018 года IBM выпустила, как утверждает компания, первый на рынке инструментарий для защиты систем искусственного интеллекта (ИИ) от атак при помощи состязательного обучения. Продукт получил название Adversarial Robustness Toolbox.
Он представляет программную библиотеку с открытым исходным кодом, написанную на Python — наиболее популярном языке программирования, используемом для разработки, тестирования и развертывания глубоких нейронных сетей.
Инструмент предназначен для создания новых практических методов защиты и внедрения их в коммерческие ИИ-системы. Исследователи могут использовать его для тестирования новых технологий безопасности в соответствии с современными требованиями.
Разработчикам Adversarial Robustness Toolbox предоставляет интерфейсы, обеспечивающие набор комплексных систем защиты с использованием индивидуальных методов в качестве строительных блоков, говорится в сообщении IBM.Цифровизация ТЭК: тренды, перспективы, крупнейшие ИТ-поставщики. Обзор TAdviser 
В библиотеке содержатся самые современные алгоритмы для создания состязательных примеров, а также методов борьбы нейросетей с ними.
Состязательное обучение предполагает обучение двух противоборствующих нейронных сетей. Одна сеть, например, генерирует видео, а другая ищет различия между реальным и сгенерированным видео. Со временем генератор учится обманывать распознавателя и создавать видеоролики, напоминающие, например, сцены с пляжей, на вокзалах, больницах и полях для гольфа.
Атаки с использованием состязательного обучения представляют собой серьезную угрозу при запуске ИИ-систем в местах, где очень важна безопасность. Злоумышленник может обмануть компьютер, вынудив его неправильно распознавать видео, фото или речь, причем человеку на взгляд или слух практически невозможно отличить поддельный контент от настоящего. Таким образом можно обманывать системы распознавания лиц или нарушать работу беспилотных автомобилей путем блокировки распознавания дорожных знаков.[1]
Примечания
