Несколько сотен серверов с Large language model с открытым кодом и с векторными базами данных могут хранить конфиденциальную информацию в незащищённом виде. Такие результаты получены во время исследования компании Legit, основным направлением деятельности которой является кибербезопасность.
В рамках проведённого исследования специалист по кибербезопасности Нафтали Дойч сканировал два типа систем с ИИ, которые считаются потенциально уязвимыми: векторные базы данных, содержащие информацию для ИИ, и конструктор Flowise, создающий приложения с большими языковыми моделями. Сканирование выявило, что организации, использующие в своих инструментах генеративный искусственный интеллект, могут раскрывать для доступа конфиденциальные данные, как корпоративные, так и персональные, даже не подозревая об этом.
В качестве конструктора приложения была исследована программа Flowise, с помощью которой создают приложения на базе LLM. Это могут быть чат-боты клиентской поддержки или ПО, генерирующее программный код. Все эти инструменты обычно манипулируют большими объёмами данных, но ранее было обнаружено, что система аутентификации серверов Flowise имеет уязвимости. Во Flowise до версии 1.6.2 включительно можно обойти этап ввода пароля, набирая символы верхнего регистра при обращении к серверу через API. Уязвимость, известная под наименованием CVE-2024-31621, получила 7,6 баллов по шкале оценки уязвимостей, что говорит о её потенциально высокой опасности.
Благодаря уязвимости Дойч смог взломать более 400 серверов Flowise и получить доступ к конфиденциальным данным. Также он обнаружил около 30 открытых, не защищённых аутентификацией серверов, при этом на них хранилась информация, к которой не должно быть открытого доступа: корпоративная переписка, личные данные клиентов компаний, медицинские данные пациентов, финансовая информация и многое другое.
Уязвимость векторной базы данных может иметь более опасные последствия, чем аналогичная уязвимость конструктора с LLM, поскольку несанкционированный доступ к базе данных может быть незаметным. Киберпреступники могут не только похитить данные, но также изменить или удалить хранящуюся информацию, внедрить в базу данных вредоносное программное обеспечение, которое затем может повлиять на работу ИИ.
Чтобы снизить вероятность утечки, эксперт Legit рекомендует компаниям ограничить доступ к службам на основе искусственного интеллекта и отслеживать их активность, а также принимать дополнительные меры по защите служб и вовремя обновлять установленное программное обеспечение.
Читайте в блоге: