From 289d861af4f4a63b0c2a681746393273da5704e8 Mon Sep 17 00:00:00 2001 From: emmanuelgjr <129134995+emmanuelgjr@users.noreply.github.com> Date: Wed, 11 Dec 2024 23:08:00 -0500 Subject: [PATCH] Update and rename LLM09_Misinformation.md to LLM09_Desinformacao.md v0 Signed-off-by: emmanuelgjr <129134995+emmanuelgjr@users.noreply.github.com> --- .../translations/pt-BR/LLM09_Desinformacao.md | 81 +++++++++++++++++++ .../pt-BR/LLM09_Misinformation.md | 70 ---------------- 2 files changed, 81 insertions(+), 70 deletions(-) create mode 100644 2_0_vulns/translations/pt-BR/LLM09_Desinformacao.md delete mode 100644 2_0_vulns/translations/pt-BR/LLM09_Misinformation.md diff --git a/2_0_vulns/translations/pt-BR/LLM09_Desinformacao.md b/2_0_vulns/translations/pt-BR/LLM09_Desinformacao.md new file mode 100644 index 00000000..9b1abb9c --- /dev/null +++ b/2_0_vulns/translations/pt-BR/LLM09_Desinformacao.md @@ -0,0 +1,81 @@ +## LLM09:2025 Desinformação + +### Descrição + +A desinformação gerada por LLMs representa uma vulnerabilidade central para aplicações que dependem desses modelos. A desinformação ocorre quando os LLMs produzem informações falsas ou enganosas que parecem credíveis. Essa vulnerabilidade pode levar a violações de segurança, danos reputacionais e responsabilidades legais. + +Uma das principais causas da desinformação é a alucinação—quando o LLM gera conteúdo que parece preciso, mas é fabricado. Alucinações ocorrem quando os LLMs preenchem lacunas em seus dados de treinamento usando padrões estatísticos, sem realmente entender o conteúdo. Como resultado, o modelo pode produzir respostas que soam corretas, mas são completamente infundadas. Embora as alucinações sejam uma fonte significativa de desinformação, não são a única causa; vieses introduzidos pelos dados de treinamento e informações incompletas também podem contribuir. + +Um problema relacionado é a dependência excessiva. Isso ocorre quando os usuários confiam excessivamente no conteúdo gerado pelo LLM, falhando em verificar sua precisão. Essa dependência agrava o impacto da desinformação, já que os usuários podem integrar dados incorretos em decisões ou processos críticos sem a devida verificação. + +### Exemplos Comuns de Risco + +#### 1. Inacurácias Fatuais + O modelo produz declarações incorretas, levando os usuários a tomar decisões com base em informações falsas. Por exemplo, o chatbot da Air Canada forneceu informações incorretas aos viajantes, levando a interrupções operacionais e complicações legais. A companhia aérea foi processada com sucesso como resultado. + (Ref. link: [BBC](https://www.bbc.com/travel/article/20240222-air-canada-chatbot-misinformation-what-travellers-should-know)) + +#### 2. Afirmativas Sem Suporte + O modelo gera declarações infundadas, especialmente prejudiciais em contextos sensíveis, como saúde ou processos legais. Por exemplo, o ChatGPT fabricou casos jurídicos falsos, resultando em problemas significativos no tribunal. + (Ref. link: [LegalDive](https://www.legaldive.com/news/chatgpt-fake-legal-cases-generative-ai-hallucinations/651557/)) + +#### 3. Representação Errada de Especialização + O modelo cria a ilusão de entender tópicos complexos, enganando os usuários quanto ao seu nível de especialização. Por exemplo, chatbots foram encontrados representando de forma inadequada a complexidade de questões de saúde, sugerindo tratamentos não suportados como se ainda estivessem em debate. + (Ref. link: [KFF](https://www.kff.org/health-misinformation-monitor/volume-05/)) + +#### 4. Geração de Código Inseguro + O modelo sugere bibliotecas de código inseguras ou inexistentes, introduzindo vulnerabilidades quando integradas em sistemas. Por exemplo, LLMs propuseram bibliotecas de terceiros inseguras que, se confiadas sem verificação, levam a riscos de segurança. + (Ref. link: [Lasso](https://www.lasso.security/blog/ai-package-hallucinations)) + +### Estratégias de Prevenção e Mitigação + +#### 1. Geração com Recuperação Aprimorada (RAG) + Use a Recuperação Aprimorada para melhorar a confiabilidade das saídas do modelo, recuperando informações relevantes e verificadas de bancos de dados externos confiáveis durante a geração de respostas. Isso ajuda a mitigar o risco de alucinações e desinformação. + +#### 2. Ajuste Fino do Modelo + Aperfeiçoe o modelo com técnicas de ajuste fino ou embeddings para melhorar a qualidade das saídas. Técnicas como ajuste eficiente de parâmetros (PET) e prompting de cadeia de raciocínio podem reduzir a incidência de desinformação. + +#### 3. Verificação Cruzada e Supervisão Humana + Incentive os usuários a verificar as saídas dos LLMs com fontes externas confiáveis. Implemente processos de supervisão humana, especialmente para informações críticas ou sensíveis. Garanta que os revisores humanos sejam devidamente treinados para evitar dependência excessiva de conteúdo gerado por IA. + +#### 4. Mecanismos Automáticos de Validação + Implemente ferramentas e processos para validar automaticamente saídas críticas, especialmente em ambientes de alto risco. + +#### 5. Comunicação de Riscos + Identifique os riscos associados ao conteúdo gerado por LLMs e comunique claramente essas limitações aos usuários, incluindo o potencial para desinformação. + +#### 6. Práticas de Codificação Segura + Estabeleça práticas de codificação seguras para prevenir a integração de vulnerabilidades devido a sugestões de código incorretas. + +#### 7. Design da Interface do Usuário + Desenvolva APIs e interfaces de usuário que incentivem o uso responsável de LLMs, como integração de filtros de conteúdo, rotulagem clara de conteúdo gerado por IA e informações sobre limitações de confiabilidade e precisão. + +#### 8. Treinamento e Educação + Ofereça treinamento abrangente sobre as limitações dos LLMs, a importância da verificação independente de conteúdo gerado e a necessidade de pensamento crítico. Em contextos específicos, forneça treinamento especializado para avaliar eficazmente as saídas dos LLMs. + +### Cenários de Ataques Exemplares + +#### Cenário #1 + Atacantes experimentam assistentes de codificação populares para identificar nomes de pacotes frequentemente alucinados. Após identificar esses pacotes inexistentes sugeridos pelo assistente, eles publicam pacotes maliciosos com os mesmos nomes em repositórios amplamente usados. Desenvolvedores, confiando nas sugestões do assistente, integram esses pacotes comprometidos, resultando em violações de segurança e comprometimento de dados. + +#### Cenário #2 + Uma empresa disponibiliza um chatbot para diagnóstico médico sem garantir precisão suficiente. O chatbot fornece informações incorretas, resultando em consequências prejudiciais para pacientes. Como resultado, a empresa é processada por danos. Nesse caso, a falha de segurança e confiabilidade do sistema LLM expôs a empresa a riscos reputacionais e financeiros, mesmo sem a presença de um atacante ativo. + +### Links de Referência + +1. [AI Chatbots as Health Information Sources: Misrepresentation of Expertise](https://www.kff.org/health-misinformation-monitor/volume-05/): **KFF** +2. [Air Canada Chatbot Misinformation: What Travellers Should Know](https://www.bbc.com/travel/article/20240222-air-canada-chatbot-misinformation-what-travellers-should-know): **BBC** +3. [ChatGPT Fake Legal Cases: Generative AI Hallucinations](https://www.legaldive.com/news/chatgpt-fake-legal-cases-generative-ai-hallucinations/651557/): **LegalDive** +4. [Understanding LLM Hallucinations](https://towardsdatascience.com/llm-hallucinations-ec831dcd7786): **Towards Data Science** +5. [How Should Companies Communicate the Risks of Large Language Models to Users?](https://techpolicy.press/how-should-companies-communicate-the-risks-of-large-language-models-to-users/): **Techpolicy** +6. [A news site used AI to write articles. It was a journalistic disaster](https://www.washingtonpost.com/media/2023/01/17/cnet-ai-articles-journalism-corrections/): **Washington Post** +7. [Diving Deeper into AI Package Hallucinations](https://www.lasso.security/blog/ai-package-hallucinations): **Lasso Security** +8. [How Secure is Code Generated by ChatGPT?](https://arxiv.org/abs/2304.09655): **Arvix** +9. [How to Reduce the Hallucinations from Large Language Models](https://thenewstack.io/how-to-reduce-the-hallucinations-from-large-language-models/): **The New Stack** +10. [Practical Steps to Reduce Hallucination](https://newsletter.victordibia.com/p/practical-steps-to-reduce-hallucination): **Victor Debia** +11. [A Framework for Exploring the Consequences of AI-Mediated Enterprise Knowledge](https://www.microsoft.com/en-us/research/publication/a-framework-for-exploring-the-consequences-of-ai-mediated-enterprise-knowledge-access-and-identifying-risks-to-workers/): **Microsoft** + +### Frameworks e Taxonomias Relacionados + +Consulte esta seção para informações abrangentes, cenários e estratégias relacionadas à implantação de infraestrutura, controles no ambiente aplicado e outras melhores práticas. + +- [AML.T0048.002 - Societal Harm](https://atlas.mitre.org/techniques/AML.T0048): **MITRE ATLAS** diff --git a/2_0_vulns/translations/pt-BR/LLM09_Misinformation.md b/2_0_vulns/translations/pt-BR/LLM09_Misinformation.md deleted file mode 100644 index 2bfc5785..00000000 --- a/2_0_vulns/translations/pt-BR/LLM09_Misinformation.md +++ /dev/null @@ -1,70 +0,0 @@ -## LLM09:2025 Misinformation - -### Description - -Misinformation from LLMs poses a core vulnerability for applications relying on these models. Misinformation occurs when LLMs produce false or misleading information that appears credible. This vulnerability can lead to security breaches, reputational damage, and legal liability. - -One of the major causes of misinformation is hallucination—when the LLM generates content that seems accurate but is fabricated. Hallucinations occur when LLMs fill gaps in their training data using statistical patterns, without truly understanding the content. As a result, the model may produce answers that sound correct but are completely unfounded. While hallucinations are a major source of misinformation, they are not the only cause; biases introduced by the training data and incomplete information can also contribute. - -A related issue is overreliance. Overreliance occurs when users place excessive trust in LLM-generated content, failing to verify its accuracy. This overreliance exacerbates the impact of misinformation, as users may integrate incorrect data into critical decisions or processes without adequate scrutiny. - -### Common Examples of Risk - -#### 1. Factual Inaccuracies - The model produces incorrect statements, leading users to make decisions based on false information. For example, Air Canada's chatbot provided misinformation to travelers, leading to operational disruptions and legal complications. The airline was successfully sued as a result. - (Ref. link: [BBC](https://www.bbc.com/travel/article/20240222-air-canada-chatbot-misinformation-what-travellers-should-know)) -#### 2. Unsupported Claims - The model generates baseless assertions, which can be especially harmful in sensitive contexts such as healthcare or legal proceedings. For example, ChatGPT fabricated fake legal cases, leading to significant issues in court. - (Ref. link: [LegalDive](https://www.legaldive.com/news/chatgpt-fake-legal-cases-generative-ai-hallucinations/651557/)) -#### 3. Misrepresentation of Expertise - The model gives the illusion of understanding complex topics, misleading users regarding its level of expertise. For example, chatbots have been found to misrepresent the complexity of health-related issues, suggesting uncertainty where there is none, which misled users into believing that unsupported treatments were still under debate. - (Ref. link: [KFF](https://www.kff.org/health-misinformation-monitor/volume-05/)) -#### 4. Unsafe Code Generation - The model suggests insecure or non-existent code libraries, which can introduce vulnerabilities when integrated into software systems. For example, LLMs propose using insecure third-party libraries, which, if trusted without verification, leads to security risks. - (Ref. link: [Lasso](https://www.lasso.security/blog/ai-package-hallucinations)) - -### Prevention and Mitigation Strategies - -#### 1. Retrieval-Augmented Generation (RAG) - Use Retrieval-Augmented Generation to enhance the reliability of model outputs by retrieving relevant and verified information from trusted external databases during response generation. This helps mitigate the risk of hallucinations and misinformation. -#### 2. Model Fine-Tuning - Enhance the model with fine-tuning or embeddings to improve output quality. Techniques such as parameter-efficient tuning (PET) and chain-of-thought prompting can help reduce the incidence of misinformation. -#### 3. Cross-Verification and Human Oversight - Encourage users to cross-check LLM outputs with trusted external sources to ensure the accuracy of the information. Implement human oversight and fact-checking processes, especially for critical or sensitive information. Ensure that human reviewers are properly trained to avoid overreliance on AI-generated content. -#### 4. Automatic Validation Mechanisms - Implement tools and processes to automatically validate key outputs, especially output from high-stakes environments. -#### 5. Risk Communication - Identify the risks and possible harms associated with LLM-generated content, then clearly communicate these risks and limitations to users, including the potential for misinformation. -#### 6. Secure Coding Practices - Establish secure coding practices to prevent the integration of vulnerabilities due to incorrect code suggestions. -#### 7. User Interface Design - Design APIs and user interfaces that encourage responsible use of LLMs, such as integrating content filters, clearly labeling AI-generated content and informing users on limitations of reliability and accuracy. Be specific about the intended field of use limitations. -#### 8. Training and Education - Provide comprehensive training for users on the limitations of LLMs, the importance of independent verification of generated content, and the need for critical thinking. In specific contexts, offer domain-specific training to ensure users can effectively evaluate LLM outputs within their field of expertise. - -### Example Attack Scenarios - -#### Scenario #1 - Attackers experiment with popular coding assistants to find commonly hallucinated package names. Once they identify these frequently suggested but nonexistent libraries, they publish malicious packages with those names to widely used repositories. Developers, relying on the coding assistant's suggestions, unknowingly integrate these poised packages into their software. As a result, the attackers gain unauthorized access, inject malicious code, or establish backdoors, leading to significant security breaches and compromising user data. -#### Scenario #2 - A company provides a chatbot for medical diagnosis without ensuring sufficient accuracy. The chatbot provides poor information, leading to harmful consequences for patients. As a result, the company is successfully sued for damages. In this case, the safety and security breakdown did not require a malicious attacker but instead arose from the insufficient oversight and reliability of the LLM system. In this scenario, there is no need for an active attacker for the company to be at risk of reputational and financial damage. - -### Reference Links - -1. [AI Chatbots as Health Information Sources: Misrepresentation of Expertise](https://www.kff.org/health-misinformation-monitor/volume-05/): **KFF** -2. [Air Canada Chatbot Misinformation: What Travellers Should Know](https://www.bbc.com/travel/article/20240222-air-canada-chatbot-misinformation-what-travellers-should-know): **BBC** -3. [ChatGPT Fake Legal Cases: Generative AI Hallucinations](https://www.legaldive.com/news/chatgpt-fake-legal-cases-generative-ai-hallucinations/651557/): **LegalDive** -4. [Understanding LLM Hallucinations](https://towardsdatascience.com/llm-hallucinations-ec831dcd7786): **Towards Data Science** -5. [How Should Companies Communicate the Risks of Large Language Models to Users?](https://techpolicy.press/how-should-companies-communicate-the-risks-of-large-language-models-to-users/): **Techpolicy** -6. [A news site used AI to write articles. It was a journalistic disaster](https://www.washingtonpost.com/media/2023/01/17/cnet-ai-articles-journalism-corrections/): **Washington Post** -7. [Diving Deeper into AI Package Hallucinations](https://www.lasso.security/blog/ai-package-hallucinations): **Lasso Security** -8. [How Secure is Code Generated by ChatGPT?](https://arxiv.org/abs/2304.09655): **Arvix** -9. [How to Reduce the Hallucinations from Large Language Models](https://thenewstack.io/how-to-reduce-the-hallucinations-from-large-language-models/): **The New Stack** -10. [Practical Steps to Reduce Hallucination](https://newsletter.victordibia.com/p/practical-steps-to-reduce-hallucination): **Victor Debia** -11. [A Framework for Exploring the Consequences of AI-Mediated Enterprise Knowledge](https://www.microsoft.com/en-us/research/publication/a-framework-for-exploring-the-consequences-of-ai-mediated-enterprise-knowledge-access-and-identifying-risks-to-workers/): **Microsoft** - -### Related Frameworks and Taxonomies - -Refer to this section for comprehensive information, scenarios strategies relating to infrastructure deployment, applied environment controls and other best practices. - -- [AML.T0048.002 - Societal Harm](https://atlas.mitre.org/techniques/AML.T0048) **MITRE ATLAS**