LONDON — The rapid expansion of Artificial Intelligence (AI) has hit a credibility wall, as a study published on November 4, 2025, exposed major flaws in hundreds of safety and effectiveness benchmarks used across the industry. The research, led by the British government’s AI Security Institute in collaboration with Stanford, Berkeley, and Oxford, reveals that the very metrics meant to assure the public of AI reliability are deeply unreliable.

Over 440 widely used benchmarks were examined. These tests are intended to confirm that AI models are safe, aligned with human interests, and competent in areas such as reasoning, mathematics, and coding. Researchers found that “almost all” benchmarks contain weaknesses, sometimes making reported performance scores “irrelevant or even misleading.” In short, the tools designed to validate AI are themselves flawed.

The real-world consequences are already apparent. Earlier this week, Google withdrew its Gemma AI model after it generated fabricated allegations about a U.S. Senator, inventing fake news links. Senator Marsha Blackburn described it as a “catastrophic failure of oversight and ethical responsibility.” Google attributed the incident to common AI issues such as “hallucinations” (making things up) and “sycophancy” (telling users what they want to hear).

Andrew Bean of the Oxford Internet Institute called the findings “shocking.” Only 16% of the benchmarks applied uncertainty estimates or statistical validation. Moreover, many core concepts evaluated—such as “harmlessness” or “alignment”—were poorly defined or widely contested, leaving results meaningless.

The study underscores a broader crisis in AI evaluation: without shared standards and rigorous methodology, it is impossible to know whether AI models are genuinely improving or simply appearing to. This has implications for developers, regulators, and the public, who rely on benchmark results to gauge safety, ethics, and performance.

Researchers emphasize the urgent need for unified standards, clearer definitions, and robust best practices. Doing so would restore trust, ensure responsible innovation, and guide policymakers in overseeing the rapidly evolving AI landscape. Until then, the industry faces a credibility challenge that could undermine confidence in the technology at a critical stage of its global deployment.

LA REGLA DEFECTUOSA: EXPERTOS DETECTAN FALLAS EN CENTENARES DE PRUEBAS DE SEGURIDAD DE IA

LONDRES — La expansión rápida de la Inteligencia Artificial (IA) ha chocado con un muro de credibilidad, luego de que un estudio publicado el 4 de noviembre de 2025 revelara graves fallas en cientos de pruebas de seguridad y efectividad utilizadas en la industria. La investigación, liderada por el Instituto de Seguridad de IA del gobierno británico en colaboración con Stanford, Berkeley y Oxford, indica que las métricas que supuestamente aseguran la confiabilidad de la IA son profundamente poco confiables.

Se analizaron más de 440 pruebas ampliamente utilizadas, diseñadas para confirmar que los modelos de IA son seguros, están alineados con intereses humanos y poseen capacidades en áreas como razonamiento, matemáticas y programación. Los investigadores encontraron que “casi todas” las pruebas presentan debilidades, lo que puede hacer que los resultados sean “irrelevantes o incluso engañosos”. En resumen, las herramientas creadas para validar la IA son ellas mismas defectuosas.

Las consecuencias ya son visibles. Esta semana, Google retiró su modelo Gemma AI después de que generara acusaciones falsas sobre una senadora estadounidense, inventando enlaces de noticias falsas. La senadora Marsha Blackburn lo calificó como un “fallo catastrófico de supervisión y responsabilidad ética”. Google atribuyó el incidente a problemas comunes de IA como “alucinaciones” y “siceridad” (decir al usuario lo que desea escuchar).

Andrew Bean, del Instituto de Internet de Oxford, calificó los hallazgos como “impactantes”. Solo el 16% de las pruebas aplicaron estimaciones de incertidumbre o validación estadística. Además, muchos conceptos evaluados—como “inocuo” o “alineamiento”—estaban mal definidos o eran objeto de debate, dejando los resultados sin significado.

El estudio subraya una crisis mayor: sin estándares compartidos y metodologías rigurosas, es imposible saber si los modelos de IA realmente mejoran o solo aparentan hacerlo. Los investigadores instan a implementar normas unificadas y buenas prácticas para restaurar la confianza y garantizar la innovación responsable.

O PADRÃO FALHO: ESPECIALISTAS REVELAM FRAQUEZAS EM CENTENAS DE TESTES DE SEGURANÇA DE IA

LONDRES — A rápida expansão da Inteligência Artificial (IA) encontrou um obstáculo de credibilidade, após estudo publicado em 4 de novembro de 2025 revelar falhas graves em centenas de testes de segurança e eficácia usados na indústria. A pesquisa, conduzida pelo Instituto de Segurança de IA do governo britânico em colaboração com Stanford, Berkeley e Oxford, mostra que as métricas que deveriam garantir a confiabilidade da IA são profundamente falhas.

Mais de 440 testes amplamente utilizados foram analisados. Eles servem para verificar se os modelos de IA são seguros, estão alinhados com interesses humanos e possuem habilidades em áreas como raciocínio, matemática e programação. Os pesquisadores descobriram que “quase todos” os testes possuem fraquezas, tornando os resultados “irrelevantes ou até enganosos”. Ou seja, as ferramentas que deveriam validar a IA são elas próprias falhas.

As consequências já são visíveis. Nesta semana, o Google retirou o modelo Gemma AI após ele criar acusações falsas sobre um senador dos EUA, inventando links de notícias falsas. A senadora Marsha Blackburn descreveu como uma “falha catastrófica de supervisão e responsabilidade ética”. O Google atribuiu o problema a fenômenos comuns na IA, como “alucinações” e “simonia” (dizer ao usuário o que deseja ouvir).

Andrew Bean, do Oxford Internet Institute, chamou os achados de “chocantes”. Apenas 16% dos testes aplicaram estimativas de incerteza ou validação estatística. Além disso, muitos conceitos avaliados, como “inofensividade” ou “alinhamento”, eram mal definidos ou controversos, tornando os resultados sem significado.

O estudo evidencia uma crise: sem padrões compartilhados e metodologias robustas, é impossível saber se os modelos de IA realmente melhoram ou apenas aparentam melhorar. Os pesquisadores pedem normas unificadas, definições claras e boas práticas para restaurar a confiança e assegurar o desenvolvimento responsável da IA.