O Gartner prevê que, até 2028, a Inteligência Artificial Explicável (XAI) impulsionará os investimentos em observabilidade de Grandes Modelos de Linguagem (LLMs) para 50% das implementações de Inteligência Artificial Generativa (GenAI), contra os atuais 15%.
CONTEÚDO RELACIONADO: 95% dos projetos de IA generativa ainda não geram impacto financeiro nas empresas
O Gartner define a XAI como um conjunto de recursos que descreve um modelo, destaca seus pontos fortes e fracos, prevê seu comportamento provável e identifica quaisquer vieses potenciais. Ela pode esclarecer o funcionamento de um modelo para um público específico para garantir precisão, imparcialidade, responsabilidade, estabilidade e transparência na tomada de decisões algorítmicas.
Soluções de observabilidade de LLM monitoram, analisam e fornecem insights acionáveis sobre o comportamento e o desempenho dos Grandes Modelos de Linguagem. Elas vão além das métricas padrão de TI, como tempos de resposta, para examinar métricas específicas de LLM, tais como alucinações, viés e utilização de tokens.
Essas ferramentas são utilizadas por equipes que desenvolvem e operacionalizam sistemas de Inteligência Artificial (IA) e, cada vez mais, por equipes de operações de TI e Engenharia de Confiabilidade de Sites (SREs) responsáveis pelo desempenho e resiliência desses sistemas em produção.
Correlação com a IA generativa
Segundo analistas do Gartner, conforme as organizações expandem a GenAI, a exigência de confiança cresce mais rápido do que a própria tecnologia. Com a XAI, as empresas terão maior visibilidade sobre por que um modelo respondeu de determinada maneira, enquanto a observabilidade de LLMs vai validar como essa resposta foi gerada e se ela é confiável.
Eles afirma que, sem bases sólidas de XAI e observabilidade, as iniciativas de GenAI ficarão restritas a tarefas de baixo risco, internas ou não críticas, nas quais a verificação dos outputs é facilmente gerenciada ou irrelevante, limitando severamente o potencial Retorno sobre o Investimento (ROI).
Mercado de GenAI vai triplicar em quatro anos
Crescente necessidade de XAI e observabilidade de LLM como mecanismos de confiança obrigatórios
O Gartner prevê que o mercado global de modelos de GenAI ultrapassará US$ 25 bilhões em 2026 e atingirá US$ 75 bilhões até 2029, impulsionado pela rápida adoção em todos os setores.
Conforme o uso aumenta, também cresce a necessidade de mecanismos que verifiquem o conteúdo gerado por IA e protejam contra alucinações, imprecisões factuais e raciocínios enviesados. Para melhorar a confiabilidade, a transparência e o valor para os negócios dos casos de uso da GenAI, o Gartner recomenda que as organizações devem priorizar as seguintes etapas:
- Rastreabilidade de XAI para casos de uso de alto impacto: Exigir a rastreabilidade verificável de XAI para todos os casos de uso de GenAI de alto impacto, para documentar as etapas de raciocínio do modelo e os dados de origem por trás de cada output.
- Observabilidade multidimensional de LLM: Priorizar plataformas de observabilidade que monitorem latência, desvio (drift), uso e custo de tokens, taxas de erro e métricas de qualidade dos outputs para garantir um desempenho confiável da GenAI.
- Avaliação contínua de LLM em pipelines de integração contínua (CI) / entrega contínua (CD): Integrar métricas de avaliação de LLM, incluindo benchmarks de precisão factual e verificações de segurança, em pipelines de CI / CD para validação contínua antes da implementação.
- Capacitação de stakeholders sobre requisitos de explicabilidade: Educar as equipes jurídicas, de conformidade e outros stakeholders importantes sobre os requisitos de explicabilidade para garantir o alinhamento em relação a riscos, expectativas de governança e desafios de implementação.
Participe das comunidades IPNews no Instagram, Facebook, LinkedIn e X (Twitter).