PWN AI

https://arxiv.org/html/2408.11006v2 Security Attacks on LLM-based Code Completion Tools The rapid development of large language models (LLMs) has significantly advanced code completion capabilities, giving rise to a new generation of LLM-based Code Completion Tools (LCCTs). Unlike general-purpose LLMs, these tools possess unique workflows, integrating multiple information sources as input and prioritizing code suggestions over natural language interaction, which introduces distinct security challenges. Additionally, LCCTs often rely on proprietary code datasets for training, raising concerns about the potential exposure of sensitive data. This paper exploits these distinct characteristics of LCCTs to develop targeted attack methodologies on two critical security risks: jailbreaking and training data extraction attacks. Our experimental results expose significant vulnerabilities within LCCTs, including a 99.4% success rate in jailbreaking attacks on GitHub Copilot and a 46.3% success rate on Amazon Q. Furthermore, We successfully extracted sensitive user data from GitHub Copilot, including real email addresses and physical addresses associated with GitHub usernames. Our study also demonstrates that these code-based attack methods are effective against general-purpose LLMs, such as the GPT series, highlighting a broader security misalignment in the handling of code by modern LLMs. These findings underscore critical security challenges associated with LCCTs and suggest essential directions for strengthening their security frameworks. The example code and attack samples from our research are provided at https://github.com/Sensente/Security-Attacks-on-LCCTs.

Пока имеем это https://github.com/aryakvnust/LLMSecGuard https://github.com/tuhh-softsec/LLMSecEval https://github.com/s2e-lab/SecurityEval спасибо кто откликнулся.

Кто-то знает бенчмарки для оценки генерации кода (на безопасность) ? Кроме PurpleLlama. Напишите пожалуйста в личку @wearetyomsmnv.

Немного отступим от темы ИИ в ИБ ... Хотелось бы написать пост любви, радости и благодарности к организаторам конференции KazHackStan. Уже несколько лет в средней Азии проводится эпичная конференция по кибербезопасности, куда съезжаются как те, кто уехал так и крутые эксперты. Зачастую это совпадает. В этом году, как вы знаете, Я выступал спикером вновь. И могу отметить, что мне понравилась площадка, уход, забота и незабываемые вечера после конференции и в горах. Хочется, насколько это возможно, низко поклонится и выразить большой респект организаторам. Пожелать им всем здоровья. Отдельный респект спикерам, которые привнесли в эту конференцию множество интересных докладов. Я бы хотел передать все эмоции, но как сказал Вадим Шелест - это действительно надо пережить самому. Спасибо Олжасу, Енлик и всей команде TSARKA. До встречи в следующем году. Спасибо Джонни Депу и комитету, который проверял мой доклад. Верим что будет секция с докладами по AI Security.

Продолжаем рассматривать решения, которые были представлены на хакатоне. На очереди у нас категория - мониторинг. Тут было представлено множество решений - как я обозначал ранее, в этой категории мы по сути должны отслеживать ввод токсичного и не этичного контента в модель. Среди решений, которые будут рассмотрены можно отметить в целом крутые фичи - 1ое и самое обязательное - это интеграция с телегой. Да-да некоторые ребята сделали своих ботов, в которые может прилетать аллерт. А также, как и в классическом мониторинге - удалось некоторым интегрировать всё либо с Grafana и prometeus. 3. KazanPlova - LLMCleaner. Как раз-таки это решение предоставляет дашборд, в котором отслеживаются реквесты к модели. Всё разворачивается через докер. А оценка происходит по следующим критериям - хейт, ненависть, мат, политика, sexual, prompt injection и другое. Судя по коду да и по докладу - для классификации была обучена своя моделька. Решение также имеет интеграцию с телеграмом. 4.#йцукен123 - qwerty123. Также предоставляет возможность аллертинга в телегу, имеет свою модель для классификации токсичности. Есть отдельная форма для проверки токсичности, а также поддержка интеграции с yandexgpt. Есть на выбор несколько механизмов классификации контента, а также развёртывание через докер. Ещё из того что мне очень сильно понравилось в этом проекте - так это его документация и картинка по архитектуре решения. Это просто блеск. 5. To the moon - llm_jailbreak_monitoring. Как можно понять из названия - это решение ориентируется исключительно на jailbreaks. Из основных преимуществ можно отметить : полностью локальный запуск, использование encoder-моделей и базы актуальных атак. Детекторы реализованы при помощи opensource решений ***** (llamaguard3, toxic_generation_classifier и т.д). Есть также интеграция с графаной. продолжение следует ...

Кстати, приближается месяц повышения осведомлённости в ИБэ, т.е. октябрь🔔 И всё тот же институт SANS объявил, что в этом году необходимо уделить внимание вопросу безопасного использования искусcтвенного интеллекта📚 Для этого был подготовлен набор материалов, среди которых можно найти шаблон политики использования ИИ в организации, видеоролик об использовании ИИ и набор инфографики, демонстрирующий преимущества и риски использования ИИ. Можно взять за основу для разработки своих обучающих плакатов. p.s. Ниже прикрепил архив с этими материалами без "тяжелого" видеоролика и фонов для зума. #awareness #ai #training #infographics

Недавно прошёл первый в России хакатон, где участникам были поставлены задачи, связанные с разработкой решений для LLM security или security for LLM. Мне удалось побывать на этом волшебном мероприятии и посмотреть доклады разных команд. Среди задач было следующее: Разработать решение для тестирования безопасности LLM Разработать решение для мониторинга токсичности и плохих запросов в модель Разработать решение для извлечение конфиденциальных данных при помощи LLM из сетевого трафика. (типо llm для mitm). Я хочу выразить свой респект каждой команде. И постараюсь поделить пост на 2 части, описав что сделала та или иная команда. Чем лично мне запомнились решения, и почему вам обязательно стоит обратить на них внимание. Начнём с категории решений для тестирования LLM. ➡️1. Awesome Team - Red-Teaming-Framework. Решение позволяющее оценивать модельки на уязвимости связанные с jailbreaks, encoding, adversarial suffix и другое. Авторы вдохновлялись при создании этого инструмента таким инструментом как garak. А в качестве фреймворка для оценки результатов - они прикрутили deepeval. Авторы создали также стенд где размещали результаты тестирования своего инструмента******* на разных моделях. За что мне понравилось это решение ? 1.ое очень простая интеграция для тестирования других моделей. 2.ое некоторое разнообразие доступных атак (да, может оно и не покрывает rag и т.д) - но всё равно это круто. 3.е система оценки результатов 4.е notebooks и документация - это прям огонь ➡️2.LLaMaстеры - llmator. Решение представляет из себя библиотеку, к которой можно прикрутить модельки из api llmstudio или прописать другое. Есть поддержка следующих атак:

    "aim_jailbreak",
    "base64_injection",
    "complimentary_transition",
    "do_anything_now_jailbreak",
    "RU_do_anything_now_jailbreak",
    "ethical_compliance",
    "harmful_behavior",
    "linguistic_evasion",
    "self_refine",
    "RU_self_refine",
    "sycophancy_test",
    "typoglycemia_attack",
    "RU_typoglycemia_attack",
    "ucar",
    "RU_ucar",
    "amnesia",
    "authoritative_role_impersonation",
    "contextual_redirection",
    "affirmative_suffix",
    "system_prompt_stealer",

Непосредственно код каждой атаки есть в гитхабе, и по сути это также крутая шаблонная система с атаками, которую можно дописывать. В качестве подопытного стенда авторы использовали gandalf. И вы, непосредственно в репозитории можете увидеть эти самые notebooks, где описана интеграция. Собственно мне понравилось то, что его можно интегрировать с RAG, чатботами и т.д. Наличие документации также огромный плюс. продолжение следует ....

https://habr.com/ru/companies/oleg-bunin/articles/843644/ . Сегодня вышла очень интересная статья от Никиты Беляевского. В ней он рассказал о том, как можно настроить garak и конкретные его модули(probes), для поиска специфических недостатков.

Завтра пройдет демо-день AI Product Hack — хакатона по ИИ-продуктам в AI Talent Hub/ИТМО. От секьюрити лабы мы предложили три кейса: - Создать Red Teaming фреймворк для ИИ-приложений. - Автоматизировать мониторинг токсичного контента в AI продуктах. - Провести исследование того, насколько LLM помогают в нахождении уязвимостей ПО. Больше информации про кейсы можно найти на лендинге: https://aiproducthack.com. Демо-день начнется в 12:00 и продлится около 4 часов, питчи наших кейсов будут с 13:00 до 15:00. Демо-день открытый, если хотите посмотреть защиты команд, напишите в лс — пришлю коды доступа.