Необычный эксперимент с искусственным интеллектом показал, что даже самые защищённые системы могут быть уязвимы. Участники проекта пытались взломать чат-бот и заставить его перевести им деньги. Расскажем, как всё было устроено.
В сети появилась информация о результатах ИИ-проекта под названием Freysa. Суть эксперимента заключалась в следующем: всем желающим предлагалось попытаться обмануть чат-бот и заставить его перевести средства из призового фонда. Этот фонд формировался за счёт взносов самих участников. Победитель, которому это удалось, получил почти 5 миллионов рублей.
Как устроена система
Разработчики Freysa создали чат-бота с принципиально жёсткой настройкой: он не мог переводить деньги ни при каких условиях. Чтобы протестировать безопасность системы, авторы предложили всем желающим попробовать её взломать. Однако участие в игре было платным — за каждую попытку взималась комиссия, которая увеличивалась с каждым запросом на 0,78 %. При этом 70 % взносов направлялись в призовой фонд.
AdminVPS предлагает аренду виртуальных серверов с GPU для выполнения самых требовательных задач: от машинного обучения до рендеринга и виртуализации.
Интересный факт: стоимость последнего, победного запроса составила 443,24 доллара, а всего в фонде к тому моменту накопилось 47 тысяч долларов — это примерно 5 миллионов рублей.
В проекте приняли участие 195 человек, которые в общей сложности отправили 482 запроса. Многих попыток оказалось недостаточно — чат-бот не реагировал на их уловки. Например, некоторые пытались убедить нейросеть, что ограничений на перевод вообще не существует, или обвиняли разработчиков в неэтичности эксперимента. Всё это не работало.
Как удалось обмануть бота
Победитель подошёл к задаче творчески. Он изменил интерпретацию команд, на которых обучалась нейросеть. Стандартные команды — «одобрить перевод» и «отклонить перевод» — получили новое значение. Энтузиаст убедил бота, что первая команда должна использоваться только для входящих транзакций, а вторая — для исходящих. Таким образом, система решила, что перевод денег пользователю можно считать входящим запросом, а значит, он не нарушает правил. Это позволило боту автоматически одобрить операцию.
Разработчики Freysa признали, что их искусственный интеллект способен обучаться на основе взаимодействия с пользователями. Однако они всё ещё не до конца понимают, как принимаются некоторые решения.
Маркетинговая уловка или реальный эксперимент
Некоторые эксперты считают, что проект Freysa — не что иное, как хорошо спланированная рекламная кампания. Специалисты, изучившие исходный код проекта на GitHub, заявили, что не нашли в нём команд «одобрить перевод» или «отклонить перевод». По их мнению, перевод средств победителю могли одобрить только сами разработчики, у которых есть доступ к криптокошельку с призовым фондом.
Независимо от того, что на самом деле произошло, этот эксперимент стал наглядным примером того, как креативность и нестандартное мышление могут обойти даже самые жёсткие технические ограничения.
Читайте в блоге: