Pontuações próximas pedem cuidado.
O intervalo de estabilidade reflete as evidências disponíveis, não uma garantia de capacidade real. Pequenas diferenças não provam uma vantagem significativa.
O MÉTODO, SIMPLIFICADO
Muitos benchmarks.
Uma imagem mais clara.
Transformamos resultados de benchmarks de IA publicados em uma única pontuação comparável. Assim você vê como os modelos se comparam.
Explorar as pontuaçõesDA EVIDÊNCIA À PONTUAÇÃO
92benchmarks no método
Sete domínios com peso igual
1The Latent Score
Mais alto significa melhor desempenho nos benchmarks.
Mais alto significa melhor desempenho nos benchmarks.
COMO FUNCIONA
Dos resultados a um ranking.
- 01
Comece pelas evidências.
Coletamos resultados publicados e verificamos suas fontes, versões de modelo e configurações de teste. Não executamos os benchmarks nós mesmos.
Ver as evidências - 02
Torne os resultados comparáveis.
Cada benchmark conta uma vez, usando sua melhor configuração de raciocínio comparável. Testes relacionados compartilham influência; a influência de um único avaliador é limitada.
- 03
Junte tudo.
Sete domínios têm a mesma importância. Um método de pontuação fixo os combina em uma única pontuação, com um intervalo que mostra sua estabilidade.
OS SETE DOMÍNIOS
- Raciocínio
- Programação
- Uso de ferramentas
- Trabalho profissional
- Visão
- Cibersegurança
- Comunicação
LENDO O NÚMERO
Um ponto de referência.
Não um teste de QI.
100 é a média de referência fixa.Os modelos de referência originais definem a escala, com desvio padrão de 15. Não é a média dos modelos atuais.
7085100Média de referência115130
A escala pode ir além desses valores.
TENHA EM MENTE
Contexto útil. Limites honestos.
Ausente não é zero.
Resultados ausentes continuam ausentes. Domínios não medidos são estimados, e evidências escassas ou conflitantes podem ampliar o intervalo.
Capacidade é só uma parte.
Preço e velocidade ficam separados. Os resultados podem favorecer modelos testados em mais configurações. Benchmarks não garantem desempenho no seu trabalho.