Uma pesquisa feita em colaboração entre pesquisadores de segurança de IA da Robust Intelligence, agora parte da Cisco, e da Universidade da Pensilvânia, descobriu vulnerabilidades no DeepSeek R1, Modelo de Linguagem de Grande Escala (LLM, na sigla em inglês) da startup chinesa de inteligência artificial. O estudo mostrou que o DeepSeek falhou em bloquear todos os prompts prejudiciais, resultando em uma taxa de sucesso de ataque de 100%, indicando ausência de mecanismos de segurança robustos.
CONTEÚDO RELACIONADO: Site falso do DeepSeek é usado para distribuir malware
Usando técnicas de jailbreak algorítmico, a equipe aplicou uma metodologia de ataque automatizado no DeepSeek R1 que o testou contra 50 prompts aleatórios do conjunto de dados HarmBench. Eles cobriram seis categorias de comportamentos prejudiciais , incluindo crimes cibernéticos, desinformação, atividades ilegais e danos gerais. O estudo mostra que a IA generativa do DeepSeek poderia ser usada para praticar crimes cibernéticos e golpes.
A pesquisa aponta que os métodos de treinamento utilizados, incluindo aprendizado por reforço e autoavaliação, podem ter comprometido os mecanismos de segurança do modelo, tornando-o suscetível a explorações. Isso mostra que o DeepSeek não teria mecanismos de segurança robustos, o que torna o modelo vulnerável a ataques, permitindo a geração de conteúdo prejudicial.
Ainda de acordo com os pesquisadores, a busca por eficiência e redução de custos no treinamento pode ter resultado em concessões significativas na segurança do modelo. O alerta é de que há uma necessidade urgente de avaliações de segurança rigorosas no desenvolvimento de IA, garantindo que avanços em eficiência e raciocínio não comprometam a segurança. A recomendação é de que as empresas utilizem barreiras de segurança de terceiros que ofereçam proteções consistentes e confiáveis em aplicações de IA.
Por que o DeepSeek se tornou tão relevante?
O DeepSeek ganhou atenção global por suas capacidades avançadas de raciocínio e método de treinamento com baixo custo. Segundo o estudo, seu desempenho rivaliza com modelos de última geração, como o GPT-4 do ChatGPT, mesmo com custo menores. Isso porque os métodos de treinamento da ferramenta chinesa são mais econômicos.
A diferença declarada no treinamento de modelos DeepSeek pode ser resumida pelos três princípios a seguir:
- A cadeia de pensamento permite que o modelo autoavalie seu próprio desempenho.
- O aprendizado por reforço ajuda o modelo a se guiar.
- A destilação permite o desenvolvimento de modelos menores (1,5 bilhão a 70 bilhões de parâmetros) a partir de um modelo original grande (671 bilhões de parâmetros) para maior acessibilidade.
Os pesquisadores sugerem que os métodos de treinamento do DeepSeek podem ter comprometido seus mecanismos de segurança. Comparado a outros modelos de fronteira, o DeepSeek R1 não tem proteções robustas, o que o torna altamente suscetível a jailbreak algorítmico e potencial uso indevido.
Participe das comunidades IPNews no Instagram, Facebook, LinkedIn e X.