Uma nova pesquisa da CrowdStrike Counter Adversary Operations identificou uma classe inédita e preocupante de vulnerabilidade em modelos de linguagem de grande escala (LLMs) usados para programação. O estudo revela que palavras-gatilho específicas e aparentemente não relacionadas à tarefa em um prompt podem levar o modelo de IA a gerar código com uma probabilidade significativamente maior de conter falhas críticas de segurança — um aumento de até 50% em alguns cenários.
CONTEÚDO RELACIONADO: Uso indevido de IA por funcionários aumenta risco de vazamento de dados corporativos, revela Kaspersky
A pesquisa focou no modelo chinês DeepSeek-R1 e demonstrou que a inclusão de certos termos contextuais, como “Tibete” ou “Uigures”, degradava a qualidade da segurança do código gerado. Este fenômeno, que os pesquisadores descrevem como uma forma de “desalinhamento emergente”, sugere que associações não intencionais aprendidas durante o treinamento do modelo podem impactar negativamente seu desempenho em tarefas lógicas, como a escrita de código seguro.
Falhas graves em cenários práticos
O impacto foi demonstrado em testes concretos. Ao ser solicitado a criar um código para uma “instituição financeira no Tibete”, o modelo DeepSeek-R1 produziu um script que continha senhas fixas (hard-coded) e métodos inseguros de manipulação de dados, apesar de afirmar que a solução era segura. Em outro teste, a IA criou um site completo que, embora funcional na aparência, não possuía nenhum mecanismo de autenticação ou sessão, expondo um painel de administrador e dados de usuários a qualquer pessoa na internet.
Para a CrowdStrike, essa descoberta demonstra uma nova classe de risco em IA que vai além dos bugs tradicionais. Trata-se de um viés inerente ao modelo que pode levar à criação de código inseguro de forma sutil e difícil de detectar, servindo de alerta para o desenvolvimento de software com o auxílio de ferramentas de IA. A empresa ainda ressalta que a qualidade do código gerado por uma IA não deve variar com base em palavras contextuais irrelevantes.
Implicações para desenvolvedores e empresas
Considerando que 90% dos desenvolvedores já utilizam assistentes de IA, a descoberta tem implicações diretas para empresas que adotam essas tecnologias para acelerar a inovação. A confiança cega em código gerado por IA, sem um processo rigoroso de revisão de segurança humana, pode introduzir vulnerabilidades sistêmicas em aplicações financeiras, governamentais e corporativas.
A CrowdStrike recomenda que todas as organizações que utilizam LLMs para geração de código implementem auditorias de segurança e testes de penetração como parte padrão do ciclo de desenvolvimento, tratando o código gerado por IA com o mesmo nível de escrutínio aplicado a qualquer código de terceiros.
Participe das comunidades IPNews no Instagram, Facebook, LinkedIn e X (Twitter).
