#Benchmark
5 artigos
IA chinesa perde terreno para modelos americanos em novos testes independentes
Revisão metodológica da Artificial Analysis amplia a diferença entre modelos fechados e abertos, questionando se a ameaça da IA chinesa foi superestimada.
DHH é criticado por benchmark enviesado de Rust com IA
Criador do Rails posta resultados de teste que favorecem Rust e a codificação por IA, mas é acusado de otimizar seletivamente.
GitHub lança ReviewBench para padronizar avaliação de IA em revisão de código
Nova ferramenta open-source visa medir com precisão a qualidade e os trade-offs de agentes de IA para inspecionar pull requests.
IA falha em montar móveis da Ikea; teste revela limites de raciocínio espacial
Novos benchmarks com móveis suecos mostram que, apesar de avanços, modelos de IA ainda lutam com tarefas que exigem percepção visual e correção de erros.
A nova régua do hardware: Geekbench 7 mede o uso real
A mais popular ferramenta de benchmark se atualiza para abandonar testes sintéticos e focar em tarefas do dia a dia, de videochamadas a IA. A mudança espelha a evolução do próprio hardware.