Resumen de Detecção de Prompt Injection em modelos de Linguagem

Júlia Jamile Oliveira Gonçalves, Thiago Lotufo, Georges Daniel Amvame Nze, Fábio Lúcio Lopes de Mendonça

• English

  Large Language Models (LLMs) are widely used in industry and academia for various tasks, such as virtual assistants and process automation.

  However, these technologies present security vulnerabilities, such as Prompt Injection attacks, which can compromise the integrity and reliability of the models.

  This study proposes a machine learning-based approach to detect Prompt Injection attacks and compares its effectiveness with traditional models. Experiments were conducted using models like BERT, CountVectorizer, and TfidfVectorizer, demonstrating that Oversampling techniques enhance the detection of these threats.

• português

  Os Modelos de Linguagem de Grande Escala (LLMs) são amplamente utilizados na indústria e na academia para tarefas diversas, como assistentes virtuais e automação de processos. No entanto, essas tecnologias apresentam vulnerabilidades de segurança, como ataques de Prompt Injection, que podem comprometer a integridade e confiabilidade dos modelos. Este estudo propõe uma abordagem baseada em aprendizado de máquina para detectar ataques de Prompt Injection e comparar sua eficácia com modelos tradicionais. Experimentos foram conduzidos utilizando modelos como BERT, CountVectorizer e TfidfVectorizer, demonstrando que técnicas de Oversampling aprimoram a detecção dessas ameaças.