A CrowdStrike, em parceria com a Meta, apresentou um novo conjunto de benchmarks – o CyberSOCEval – para avaliar o desempenho de sistemas de inteligência artificial (IA) em operações de segurança do mundo real. Construído sobre a estrutura CyberSecEval da Meta, este conjunto de benchmarks de código aberto ajuda a estabelecer um padrão para testar, selecionar e alavancar grandes modelos de linguagem (LLMs) no centro de operações de segurança (SOC).
CONTEÚDO RELACIONADO: CrowdStrike oferece proteção para dados usados por GenAI
Para a CrowdStrike, as equipes de cibersegurança enfrentam um desafio avassalador com o fluxo de alertas de segurança e a evolução das ameaças. Para superar os adversários, as organizações precisam adotar as mais recentes tecnologias de IA, mas muitos ainda estão no início de suas jornadas, especialmente no uso de LLMs para automatizar tarefas e impulsionar a eficiência nas operações de segurança. Sem benchmarks claros, é difícil saber quais sistemas, casos de uso e padrões de desempenho oferecem uma verdadeira vantagem de IA contra ataques do mundo real.
Por isso, a Meta e a CrowdStrike estão enfrentando este desafio ao introduzir o CyberSOCEval, um conjunto de benchmarks que ajuda a definir como é uma IA eficaz para a defesa cibernética. Construído sobre a estrutura de código aberto CyberSecEval da Meta e a inteligência de linha de frente da CrowdStrike, o CyberSOCEval avalia os LLMs em fluxos de trabalho de segurança críticos, como análise de malware e compreensão da análise de ameaças.
Ao testar a capacidade dos sistemas de IA contra uma combinação de táticas de adversários do mundo real e cenários de raciocínio de segurança projetados por especialistas com base em táticas adversárias observadas, as organizações podem validar o desempenho sob pressão e comprovar a prontidão operacional. Com esses benchmarks, as equipes de segurança podem identificar onde a IA oferece o máximo valor, enquanto os desenvolvedores de modelos ganham uma referência para aprimorar capacidades que aumentam o ROI e a eficácia do SOC.
Participe das comunidades IPNews no Instagram, Facebook, LinkedIn e X (Twitter).
