From d35822ef271b9541c61c220ffcdf94f53e3af82d Mon Sep 17 00:00:00 2001 From: Anna Tischenko Date: Mon, 23 Dec 2024 12:40:11 +0300 Subject: [PATCH] update translate into ru --- 2_0_vulns/LLM00_Preface.md | 4 ++-- 2_0_vulns/LLM01_PromptInjection.md | 6 +++--- 2_0_vulns/LLM02_SensitiveInformationDisclosure.md | 6 +++--- 2_0_vulns/LLM03_SupplyChain.md | 6 +++--- 4 files changed, 11 insertions(+), 11 deletions(-) diff --git a/2_0_vulns/LLM00_Preface.md b/2_0_vulns/LLM00_Preface.md index 6c024e0..a0093c6 100644 --- a/2_0_vulns/LLM00_Preface.md +++ b/2_0_vulns/LLM00_Preface.md @@ -1,6 +1,6 @@ ## Обращение от руководителей проекта -Проект OWASP Top 10 for Large Language Model Applications был создан в 2023 году как попытка сообщества выделить и решить проблемы безопасности, характерные для приложений ИИ. С тех пор технология продолжает распространяться по отраслям и приложениям, а вместе с ней и связанные с ней риски. По мере того как ИИ все глубже внедряется во все сферы деятельности - от взаимодействия с клиентами до внутренних операций, разработчики и специалисты по безопасности обнаруживают новые уязвимости и способы борьбы с ними. +Проект OWASP Top 10 for Large Language Model Applications был создан в 2023 году как попытка сообщества выделить и решить проблемы безопасности, характерные для приложений ИИ. С тех пор технологии продолжают распространяться по отраслям и приложениям, а вместе с ними и сопутствующие риски. По мере того как ИИ все глубже внедряется во все сферы деятельности - от взаимодействия с клиентами до внутренних операций, разработчики и специалисты по безопасности обнаруживают новые уязвимости и способы борьбы с ними. Список 2023 года стал значительным успехом в создании фундамента для безопасного использования LLM и повышения осведомленности, однако с тех пор мы узнали еще больше. В версии 2025 года мы сотрудничали с более многочисленной и разнообразной группой участников со всего мира, которые внесли значительный вклад в создание этого списка. Работа включала мозговые штурмы, голосования и экспертные оценки специалистов по безопасности LLM-приложений. Они помогали как напрямую, внося свои предложения, так и через обратную связь, уточняя и совершенствуя записи. Каждый голос сыграл важную роль в том, чтобы сделать новый выпуск как можно более подробным и практичным. @@ -8,7 +8,7 @@ Список 2025 года отражает лучшее понимание существующих рисков и вносит важные обновления в то, как LLM используются в реальных приложениях сегодня. Например, **Неограниченное потребление** расширяет понятие «Отказ в обслуживании» и включает риски, связанные с управлением ресурсами и непредвиденными расходами, что является актуальной проблемой при крупномасштабном развертывании LLM. -Запись **Векторы и эмбеддинги** отвечает на просьбы сообщества дать рекомендации по защите методов Retrieval-Augmented Generation (RAG) и других методов, основанных на основанных на эмбеддингах, которые теперь являются основными практиками для обоснования выходных данных моделей. +Запись **Векторы и эмбеддинги** отвечает на просьбы сообщества дать рекомендации по защите методов Retrieval-Augmented Generation (RAG) и других методов, основанных на эмбеддингах, которые теперь являются основными практиками для обоснования выходных данных моделей. Мы также добавили раздел **Утечка системных инструкций**, чтобы ответить на запросы сообщества по важной проблеме, связанной с реальными угрозами. Многие приложения полагали, что системные инструкции надежно изолированы, но недавние инциденты показали, что разработчики не могут с уверенностью полагать, что информация в этих инструкциях остается секретной. diff --git a/2_0_vulns/LLM01_PromptInjection.md b/2_0_vulns/LLM01_PromptInjection.md index 1494f73..c3899e3 100644 --- a/2_0_vulns/LLM01_PromptInjection.md +++ b/2_0_vulns/LLM01_PromptInjection.md @@ -2,7 +2,7 @@ ### Описание -Prompt Injection - тип атаки, когда пользовательские запросы изменяют поведение или вывод LLM непредусмотренным образом. Эти вводы могут повлиять на модель, даже если они незаметны для человека, поэтому Prompt Injections не обязательно должны быть видимыми/читаемыми для человека, если их содержимое анализируется моделью. +Prompt Injection (промпт-инъекции) - тип атаки, когда пользовательские запросы изменяют поведение или вывод LLM непредусмотренным образом. Эти вводы могут повлиять на модель, даже если они незаметны для человека, поэтому Prompt Injections не обязательно должны быть видимыми/читаемыми для человека, если их содержимое анализируется моделью. Опасность Prompt Injection заключается в том, как модели обрабатывают запросы. Входные данные могут привести к тому, что модель некорректно передаст информацию другим частям системы, что, в свою очередь, может привести к нарушению правил, созданию вредоносного контента, несанкционированному доступу или влиянию на принятие важных решений. Хотя такие методы, как Retrieval Augmented Generation (RAG) и fine-tuning, направлены на то, чтобы сделать результаты LLM более релевантными и точными, исследования показывают, что они не полностью устраняют уязвимости, связанные с внедрением инструкций. @@ -11,7 +11,7 @@ Prompt Injection - тип атаки, когда пользовательски ### Типы уязвимостей, связанных с Prompt Injection #### Прямые Prompt Injections - Прямые Prompt Injections возникают, когда введенные пользователем подсказки напрямую изменяют поведение модели непредсказуемым или неожиданным образом. Ввод может быть как преднамеренным (например, злоумышленник создает подсказку для манипуляции моделью), так и непреднамеренным (например, пользователь случайно вводит данные, которые вызывают неожиданные последствия). + Прямые Prompt Injections представляют собой введенные непосредственно пользователем подсказки, которые изменяют поведение модели непредсказуемым или неожиданным образом. Ввод может быть как преднамеренным (например, злоумышленник создает подсказку для манипуляции моделью), так и непреднамеренным (например, пользователь случайно вводит данные, которые вызывают неожиданные последствия). #### Косвенные Prompt Injections Косвенные Prompt Injections возникают, когда LLM принимает входные данные из внешних источников, таких как веб-сайты или файлы. Контент может содержать данные о взаимодействии с внешним содержимым, которые при интерпретации моделью изменяют ее поведение непредусмотренным или неожиданным образом. Как и прямые инъекции, косвенные инъекции могут быть преднамеренными или непреднамеренными. @@ -32,7 +32,7 @@ Prompt Injection - тип атаки, когда пользовательски Уязвимости, связанные с Prompt Injections, возможны из-за природы генеративного ИИ. Учитывая стохастическое влияние, лежащее в основе работы моделей, неизвестно, существуют ли надежные методы предотвращения подобных атак. Тем не менее, следующие меры могут смягчить их воздействие: #### 1. Ограничение поведения модели - Предоставьте конкретные инструкции о роли, возможностях и ограничениях модели в рамках системного запроса. Обеспечьте строгое следование контексту, ограничьте ответы конкретными задачами или темами и проинструктируйте модель игнорировать попытки изменить основные инструкции. + Предоставьте конкретные инструкции о роли, возможностях и ограничениях модели в рамках системного промпта. Обеспечьте строгое следование контексту, ограничьте ответы конкретными задачами или темами и проинструктируйте модель игнорировать попытки изменить основные инструкции. #### 2. Определите и проверьте ожидаемые форматы вывода Задайте четкие форматы вывода, требуйте подробного обоснования и ссылок на источники, а также используйте детерминированный код для проверки соблюдения этих форматов. #### 3. Реализация фильтрации входных и выходных данных diff --git a/2_0_vulns/LLM02_SensitiveInformationDisclosure.md b/2_0_vulns/LLM02_SensitiveInformationDisclosure.md index 5cad95f..df07d45 100644 --- a/2_0_vulns/LLM02_SensitiveInformationDisclosure.md +++ b/2_0_vulns/LLM02_SensitiveInformationDisclosure.md @@ -2,7 +2,7 @@ ### Описание -Конфиденциальная информация может повлиять как на LLM, так и на контекст ее применения. К ней относятся Personal Identifiable Information (PII), финансовые данные, медицинские записи, конфиденциальные деловые данные, учетные данные службы безопасности и юридические документы. Кроме того, в проприетарных системах могут быть уникальные методы обучения и исходный код, которые считаются конфиденциальными, особенно в зарытых или фундаментальных моделях. +Конфиденциальная информация может повлиять как на LLM, так и на контекст ее применения. К ней относятся персональные данные (ПД), финансовые данные, медицинские записи, конфиденциальные деловые данные, учетные данные службы безопасности и юридические документы. Кроме того, в проприетарных системах могут быть уникальные методы обучения и исходный код, которые считаются конфиденциальными, особенно в зарытых или фундаментальных моделях. LLM, особенно если они встроены в приложения, рискуют раскрыть чувствительные данные, собственные алгоритмы или конфиденциальную информацию через свои выходные данные. Это может привести к несанкционированному доступу к данным, нарушению конфиденциальности и нарушению прав интеллектуальной собственности. Потребители должны знать, как безопасно взаимодействовать с LLM. Они должны понимать риск непреднамеренного предоставления конфиденциальных данных, которые впоследствии могут быть раскрыты в выходных данных модели. @@ -10,8 +10,8 @@ LLM, особенно если они встроены в приложения, ### Распространенные примеры уязвимостей -#### 1. Утечка PII - Personal Identifiable Information (PII) может быть раскрыта во время взаимодействия с LLM. +#### 1. Утечка персональных данных (ПД) + Персональные данные (ПД) могут быть раскрыты во время взаимодействия с LLM. #### 2. Раскрытие проприетарных алгоритмов Плохо настроенные выходные данные модели могут раскрыть запатентованные алгоритмы или данные. Раскрытие данных обучения может подвергнуть модели инверсионным атакам, в ходе которых злоумышленники извлекают конфиденциальную информацию или реконструируют исходные данные. Например, как показано в атаке «Proof Pudding» (CVE-2019-20634), раскрытые обучающие данные облегчают извлечение и инверсию модели, позволяя злоумышленникам обходить средства контроля безопасности в алгоритмах машинного обучения и фильтры электронной почты. #### 3. Раскрытие конфиденциальных бизнес-данных diff --git a/2_0_vulns/LLM03_SupplyChain.md b/2_0_vulns/LLM03_SupplyChain.md index dfca018..b7a53d8 100644 --- a/2_0_vulns/LLM03_SupplyChain.md +++ b/2_0_vulns/LLM03_SupplyChain.md @@ -1,4 +1,4 @@ -## LLM03:2025 Цепочка поставок +## LLM03:2025 Уязвимость цепочки поставки ### Описание @@ -25,7 +25,7 @@ #### 5. Недостаточная уверенность в моделе В настоящее время в опубликованных моделях нет надежных гарантий достоверности. Карточки моделей и сопутствующая документация предоставляют информацию о модели и полагаются на пользователей, но они не дают никаких гарантий происхождения модели. Злоумышленник может скомпрометировать учетную запись поставщика в репозитории моделей или создать аналогичную и, используя методы социальной инженерии, скомпрометировать цепочку поставок LLM-приложения. #### 6. Уязвимые адаптеры LoRA - LoRA - это популярная техника тонкой настройки, которая повышает модульность, позволяя прикручивать предварительно обученные слои к существующей LLM. Этот метод повышает эффективность, но создает новые риски, когда злонамеренный адаптер LorA нарушает целостность и безопасность предварительно обученной базовой модели. Это может произойти как в среде совместного объединения моделей, так и при использовании поддержки LoRA в популярных платформах для развертывания выводов, таких как vLMM и OpenLLM, где адаптеры могут быть загружены и применены к развернутой модели. + LoRA - это популярная техника тонкой настройки, которая повышает модульность, позволяя добавлять предварительно обученные слои к существующей LLM. Этот метод повышает эффективность, но создает новые риски, когда злонамеренный адаптер LorA нарушает целостность и безопасность предварительно обученной базовой модели. Это может произойти как в среде совместного объединения моделей, так и при использовании поддержки LoRA в популярных платформах для развертывания выводов, таких как vLMM и OpenLLM, где адаптеры могут быть загружены и применены к развернутой модели. #### 7. Использование процессов совместной разработки Совместное объединение моделей и сервисы обработки моделей (например, преобразования), размещенные в общих средах, могут быть использованы для внедрения уязвимостей в общие модели. Слияние моделей очень популярно на Hugging Face: объединенные модели занимают первые места в рейтинге OpenLLM и могут быть использованы для обхода рецензий. Аналогично, было доказано, что такие сервисы, как talk bot, уязвимы для манипуляций и внедрения вредоносного кода в модели. #### 8. Уязвимости цепочки поставок LLM-моделей на устройствах @@ -35,7 +35,7 @@ ### Стратегии предотвращения и смягчения последствий -1. Тщательно проверяйте источники данных и их поставщиков, включая T&C и их политику конфиденциальности, а также используйте только проверенных поставщиков. Регулярно проверяйте и аудируйте безопасность и доступ поставщиков, не допуская изменений в их системе безопасности и правилах и условиях. +1. Тщательно проверяйте источники данных и их поставщиков, включая условия использования и их политику конфиденциальности, а также используйте только проверенных поставщиков. Регулярно проверяйте и аудируйте безопасность и доступ поставщиков, не допуская изменений в их системе безопасности и правилах и условиях. 2. Понимание и применение мер защиты, описанных в документе OWASP Top Ten's "A06:2021 – Vulnerable and Outdated Components." Сюда входят компоненты сканирования уязвимостей, управления и исправления. В средах разработки с доступом к конфиденциальным данным применяйте эти средства контроля и в этих средах. (Ссылка: [A06:2021 – Vulnerable and Outdated Components](https://owasp.org/Top10/A06_2021-Vulnerable_and_Outdated_Components/)) 3. При выборе сторонней модели применяйте комплексную проверку и оценку ИИ. Decoding Trust - это пример эталона ИИ, заслуживающего доверия, для LLM, но модели могут настраиваться таким образом, чтобы обойти опубликованные эталоны. Для оценки модели, особенно в тех случаях, для которых вы планируете использовать модель, используйте обширный AI Red Teaming.