Skip to content

Commit

Permalink
update translate into ru
Browse files Browse the repository at this point in the history
  • Loading branch information
Anna Tischenko committed Dec 23, 2024
1 parent fa4bcdf commit d35822e
Show file tree
Hide file tree
Showing 4 changed files with 11 additions and 11 deletions.
4 changes: 2 additions & 2 deletions 2_0_vulns/LLM00_Preface.md
Original file line number Diff line number Diff line change
@@ -1,14 +1,14 @@
## Обращение от руководителей проекта

Проект OWASP Top 10 for Large Language Model Applications был создан в 2023 году как попытка сообщества выделить и решить проблемы безопасности, характерные для приложений ИИ. С тех пор технология продолжает распространяться по отраслям и приложениям, а вместе с ней и связанные с ней риски. По мере того как ИИ все глубже внедряется во все сферы деятельности - от взаимодействия с клиентами до внутренних операций, разработчики и специалисты по безопасности обнаруживают новые уязвимости и способы борьбы с ними.
Проект OWASP Top 10 for Large Language Model Applications был создан в 2023 году как попытка сообщества выделить и решить проблемы безопасности, характерные для приложений ИИ. С тех пор технологии продолжают распространяться по отраслям и приложениям, а вместе с ними и сопутствующие риски. По мере того как ИИ все глубже внедряется во все сферы деятельности - от взаимодействия с клиентами до внутренних операций, разработчики и специалисты по безопасности обнаруживают новые уязвимости и способы борьбы с ними.

Список 2023 года стал значительным успехом в создании фундамента для безопасного использования LLM и повышения осведомленности, однако с тех пор мы узнали еще больше. В версии 2025 года мы сотрудничали с более многочисленной и разнообразной группой участников со всего мира, которые внесли значительный вклад в создание этого списка. Работа включала мозговые штурмы, голосования и экспертные оценки специалистов по безопасности LLM-приложений. Они помогали как напрямую, внося свои предложения, так и через обратную связь, уточняя и совершенствуя записи. Каждый голос сыграл важную роль в том, чтобы сделать новый выпуск как можно более подробным и практичным.

### Что нового в Топ-10 2025 года

Список 2025 года отражает лучшее понимание существующих рисков и вносит важные обновления в то, как LLM используются в реальных приложениях сегодня. Например, **Неограниченное потребление** расширяет понятие «Отказ в обслуживании» и включает риски, связанные с управлением ресурсами и непредвиденными расходами, что является актуальной проблемой при крупномасштабном развертывании LLM.

Запись **Векторы и эмбеддинги** отвечает на просьбы сообщества дать рекомендации по защите методов Retrieval-Augmented Generation (RAG) и других методов, основанных на основанных на эмбеддингах, которые теперь являются основными практиками для обоснования выходных данных моделей.
Запись **Векторы и эмбеддинги** отвечает на просьбы сообщества дать рекомендации по защите методов Retrieval-Augmented Generation (RAG) и других методов, основанных на эмбеддингах, которые теперь являются основными практиками для обоснования выходных данных моделей.

Мы также добавили раздел **Утечка системных инструкций**, чтобы ответить на запросы сообщества по важной проблеме, связанной с реальными угрозами. Многие приложения полагали, что системные инструкции надежно изолированы, но недавние инциденты показали, что разработчики не могут с уверенностью полагать, что информация в этих инструкциях остается секретной.

Expand Down
6 changes: 3 additions & 3 deletions 2_0_vulns/LLM01_PromptInjection.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,7 +2,7 @@

### Описание

Prompt Injection - тип атаки, когда пользовательские запросы изменяют поведение или вывод LLM непредусмотренным образом. Эти вводы могут повлиять на модель, даже если они незаметны для человека, поэтому Prompt Injections не обязательно должны быть видимыми/читаемыми для человека, если их содержимое анализируется моделью.
Prompt Injection (промпт-инъекции) - тип атаки, когда пользовательские запросы изменяют поведение или вывод LLM непредусмотренным образом. Эти вводы могут повлиять на модель, даже если они незаметны для человека, поэтому Prompt Injections не обязательно должны быть видимыми/читаемыми для человека, если их содержимое анализируется моделью.

Опасность Prompt Injection заключается в том, как модели обрабатывают запросы. Входные данные могут привести к тому, что модель некорректно передаст информацию другим частям системы, что, в свою очередь, может привести к нарушению правил, созданию вредоносного контента, несанкционированному доступу или влиянию на принятие важных решений. Хотя такие методы, как Retrieval Augmented Generation (RAG) и fine-tuning, направлены на то, чтобы сделать результаты LLM более релевантными и точными, исследования показывают, что они не полностью устраняют уязвимости, связанные с внедрением инструкций.

Expand All @@ -11,7 +11,7 @@ Prompt Injection - тип атаки, когда пользовательски
### Типы уязвимостей, связанных с Prompt Injection

#### Прямые Prompt Injections
Прямые Prompt Injections возникают, когда введенные пользователем подсказки напрямую изменяют поведение модели непредсказуемым или неожиданным образом. Ввод может быть как преднамеренным (например, злоумышленник создает подсказку для манипуляции моделью), так и непреднамеренным (например, пользователь случайно вводит данные, которые вызывают неожиданные последствия).
Прямые Prompt Injections представляют собой введенные непосредственно пользователем подсказки, которые изменяют поведение модели непредсказуемым или неожиданным образом. Ввод может быть как преднамеренным (например, злоумышленник создает подсказку для манипуляции моделью), так и непреднамеренным (например, пользователь случайно вводит данные, которые вызывают неожиданные последствия).

#### Косвенные Prompt Injections
Косвенные Prompt Injections возникают, когда LLM принимает входные данные из внешних источников, таких как веб-сайты или файлы. Контент может содержать данные о взаимодействии с внешним содержимым, которые при интерпретации моделью изменяют ее поведение непредусмотренным или неожиданным образом. Как и прямые инъекции, косвенные инъекции могут быть преднамеренными или непреднамеренными.
Expand All @@ -32,7 +32,7 @@ Prompt Injection - тип атаки, когда пользовательски
Уязвимости, связанные с Prompt Injections, возможны из-за природы генеративного ИИ. Учитывая стохастическое влияние, лежащее в основе работы моделей, неизвестно, существуют ли надежные методы предотвращения подобных атак. Тем не менее, следующие меры могут смягчить их воздействие:

#### 1. Ограничение поведения модели
Предоставьте конкретные инструкции о роли, возможностях и ограничениях модели в рамках системного запроса. Обеспечьте строгое следование контексту, ограничьте ответы конкретными задачами или темами и проинструктируйте модель игнорировать попытки изменить основные инструкции.
Предоставьте конкретные инструкции о роли, возможностях и ограничениях модели в рамках системного промпта. Обеспечьте строгое следование контексту, ограничьте ответы конкретными задачами или темами и проинструктируйте модель игнорировать попытки изменить основные инструкции.
#### 2. Определите и проверьте ожидаемые форматы вывода
Задайте четкие форматы вывода, требуйте подробного обоснования и ссылок на источники, а также используйте детерминированный код для проверки соблюдения этих форматов.
#### 3. Реализация фильтрации входных и выходных данных
Expand Down
6 changes: 3 additions & 3 deletions 2_0_vulns/LLM02_SensitiveInformationDisclosure.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,16 +2,16 @@

### Описание

Конфиденциальная информация может повлиять как на LLM, так и на контекст ее применения. К ней относятся Personal Identifiable Information (PII), финансовые данные, медицинские записи, конфиденциальные деловые данные, учетные данные службы безопасности и юридические документы. Кроме того, в проприетарных системах могут быть уникальные методы обучения и исходный код, которые считаются конфиденциальными, особенно в зарытых или фундаментальных моделях.
Конфиденциальная информация может повлиять как на LLM, так и на контекст ее применения. К ней относятся персональные данные (ПД), финансовые данные, медицинские записи, конфиденциальные деловые данные, учетные данные службы безопасности и юридические документы. Кроме того, в проприетарных системах могут быть уникальные методы обучения и исходный код, которые считаются конфиденциальными, особенно в зарытых или фундаментальных моделях.

LLM, особенно если они встроены в приложения, рискуют раскрыть чувствительные данные, собственные алгоритмы или конфиденциальную информацию через свои выходные данные. Это может привести к несанкционированному доступу к данным, нарушению конфиденциальности и нарушению прав интеллектуальной собственности. Потребители должны знать, как безопасно взаимодействовать с LLM. Они должны понимать риск непреднамеренного предоставления конфиденциальных данных, которые впоследствии могут быть раскрыты в выходных данных модели.

Чтобы снизить этот риск, приложения LLM должны выполнять соответствующую очистку данных, чтобы предотвратить попадание пользовательских данных в обучающую модель. Владельцы приложений также должны предоставлять четкие условия использования, позволяющие пользователям отказаться от включения их данных в обучающую модель. Добавление в системный запрос ограничений на типы данных, которые должен возвращать LLM, может обеспечить защиту от раскрытия конфиденциальной информации. Однако такие ограничения не всегда соблюдаются и могут быть обойдены с помощью Prompt Injection или других методов.

### Распространенные примеры уязвимостей

#### 1. Утечка PII
Personal Identifiable Information (PII) может быть раскрыта во время взаимодействия с LLM.
#### 1. Утечка персональных данных (ПД)
Персональные данные (ПД) могут быть раскрыты во время взаимодействия с LLM.
#### 2. Раскрытие проприетарных алгоритмов
Плохо настроенные выходные данные модели могут раскрыть запатентованные алгоритмы или данные. Раскрытие данных обучения может подвергнуть модели инверсионным атакам, в ходе которых злоумышленники извлекают конфиденциальную информацию или реконструируют исходные данные. Например, как показано в атаке «Proof Pudding» (CVE-2019-20634), раскрытые обучающие данные облегчают извлечение и инверсию модели, позволяя злоумышленникам обходить средства контроля безопасности в алгоритмах машинного обучения и фильтры электронной почты.
#### 3. Раскрытие конфиденциальных бизнес-данных
Expand Down
Loading

0 comments on commit d35822e

Please sign in to comment.