📊 Artificial Analysis — El Benchmark Independiente de la IA

Qué es

Artificial Analysis es la empresa independiente de benchmarking de IA. Mide los modelos y agentes, las nubes que los sirven y los chips donde corren, para que puedas elegir modelo y proveedor con datos en vez de marketing.

• 🌐 Web: artificialanalysis.ai
• 📈 Cobertura: 500+ modelos · 100+ proveedores · 1.000+ endpoints · 1T+ tokens de evaluación
• 🆓 Consultar: gratis, sin cuenta
• 🔑 API gratis: 1.000 peticiones/día con atribución
• 💳 Pro: $417/mes por asiento (datos completos, exportación y API comercial)

Por qué es la referencia

La citan laboratorios, prensa y bancos centrales: Microsoft, OpenAI, Google, Anthropic, Meta, NVIDIA, AMD, Bloomberg, The Economist, WSJ, Financial Times, J.P. Morgan y la Reserva Federal de EE. UU. Su política de independencia es explícita: los proveedores no pueden pagar por resultados, cambios de metodología ni por aparecer en la web.

---

📋 Ficha técnica

Campo	Dato
Nombre	Artificial Analysis
Web	artificialanalysis.ai
Qué es	Benchmarking independiente de modelos, agentes, nube y hardware
Fundadores	Micah Hill-Smith (CEO) · George Cameron (CPO)
Sedes	San Francisco (HQ) · Melbourne · remoto
Inversores	Nat Friedman · Daniel Gross · Andrew Ng · Adam D’Angelo · Clem Delangue · Guillermo Rauch · swyx · Charlie Songhurst
Cobertura	500+ modelos · 100+ proveedores · 1.000+ endpoints · 1T+ tokens
Modalidades	Texto · imagen · vídeo · voz · música · agentes · chips
Precio	Web gratis · API gratis limitada · Pro $417/mes/asiento · Enterprise custom
Independencia	Los proveedores no pagan por resultados ni por listado

---

🧭 Qué mide (las cuatro capas)

Capa	Qué evalúa	Dónde verlo
Agentes	Modelo + harness + herramientas resolviendo tareas multi-paso	Coding Agents
Modelos	Lenguaje, imagen, vídeo, voz y música; propietarios y open weights	Models
Nube	Proveedores de inferencia: serverless, dedicado, latencia y precio	Providers
Chips	NVIDIA, AMD, TPU, Trainium, Cerebras, SambaNova y el stack de inferencia	Hardware

La gracia: no se queda en «qué modelo es más listo». Cruza inteligencia con coste por tarea, velocidad, latencia, tokens consumidos y precio por proveedor. Eso es lo que convierte un leaderboard en una herramienta de decisión.

---

🧠 Intelligence Index v5.0

El índice estrella. v5 se lanzó el 27 de octubre de 2026 y es el mayor cambio desde v4: por primera vez, el 60% del índice se basa en datasets privados o respuestas reservadas.

Las 9 evaluaciones y sus pesos

Categoría (25% cada una)	Evaluación	Peso	Qué mide
Knowledge Work	AA-Briefcase v1.1	15%	Trabajo de conocimiento agéntico, Elo
	AutomationBench-AA	5%	Flujos de SaaS con herramientas
	GDP.pdf	5%	Razonamiento sobre documentos profesionales
Coding	FrontierCode 2.0	15%	Cambios en repos open source reales; ¿lo fusionaría un maintainer?
	Terminal-Bench 4.0	10%	Uso de terminal y coding agéntico
Science	Terminal-Bench-Science 0.1	15%	70 tareas de investigación científica en terminal
	CritPt v2 (Hard Subset)	10%	Física a nivel investigación; 40 preguntas privadas
General	AA-Omniscience v1.1	15%	Conocimiento y alucinación (10% accuracy + 5% no-alucinación)
	HLE-Diamond	10%	1.000 preguntas de Humanity’s Last Exam, mitad razonamiento y mitad conocimiento

Novedades de v5: entran FrontierCode 2.0 (132 tareas privadas de Cognition) y Terminal-Bench-Science; se actualizan HLE-Diamond, AA-Omniscience v1.1 y CritPt v2. Salen GDPval-AA v2.1, SciCode y AA-LCR v1.1.

v5 exige mucho más cómputo

Cada modelo genera más tokens por tarea: la mediana subió de 35k a 59k (+dos tercios). Las evaluaciones agénticas son el 55% del peso pero consumen en mediana ~90% de los tokens de salida. Terminal-Bench-Science sola se lleva un tercio del total. Traducción: un modelo «listo» puede ser carísimo si divaga.

---

🏆 Ranking actual (30-oct-2026)

Intelligence Index v5.0 — top 5

#	Modelo	Score	Laboratorio	Tipo
1	Gemini 4 Carbon (High)	59	Google	Propietario
2	Claude Opus 5.5 (Max, fallback)	58	Anthropic	Propietario
3	Claude Opus 5.5 (Xhigh, fallback)	57	Anthropic	Propietario
4	GPT-6 Astra (Max)	57	OpenAI	Propietario
5	GPT-6 Astra (Xhigh)	55	OpenAI	Propietario

El dato que importa

Gemini 4 Carbon arrebató el #1 el 28 de octubre, dos días después de que v5 coronara a Claude Opus 5.5. Los rankings cambian en horas, no en meses. Cita siempre la fecha y la versión del índice.

Open weights: dos respuestas distintas

Pregunta	Respuesta	Score
Mejor modelo «open weights»	Kimi K3.1 Pro — pesos aún no publicados	46
Mejor con pesos ya liberados	DeepSeek V4.1 Flash 1017 (Max)	32
	GLM-5.3 (Max)	32
	MiMo-V2.6-Pro	30

La brecha open weights se ensanchó de 3 a 12 puntos respecto al líder. Y cuidado con la definición: «open weights» no es lo mismo que «open source», y un modelo puede anunciar pesos abiertos sin haberlos liberado todavía.

Inteligencia vs. coste por tarea

Modelo	Score	Coste por tarea del índice
GPT-6.1 Sol (Max)	55	$1,27
GPT-6 Astra (Max)	57	$6,24
Claude Opus 5.5 (Max)	58	$10,04

Entre los 10 mejores, GPT-6.1 Terra (Max) es el más barato ($0,96\ast \ast portarea)y\ast \ast ClaudeFable5.1(Max)\ast \ast elm\acute{a}scaro(\ast \ast$13,04). GPT-6.1 Sol queda a 4 puntos de Opus 5.5 por ~1/8 del coste. Esa es la lectura práctica: el #1 rara vez es la mejor compra.

El esfuerzo cambia el resultado (y el precio)

Modelo	Low	Max	Salto	Coste low → max
Claude Opus 5.5	35	58	+23	$0,98\to$10,04 (10×)
Claude Sonnet 5.5	—	—	29 puntos	—
GPT-6.1 Sol	—	—	20 puntos (antes 10)	—

Compara siempre el mismo «effort»

Un modelo en low contra otro en max es una comparación falsa. En v5 la diferencia entre esfuerzos es mayor que nunca: el mismo Opus 5.5 puede sacar 35 o 58.

---

🧪 Otros índices y leaderboards

Índice	Qué mide
Coding Agent Index v2.0	FrontierCode v1.1 (100 tareas) + Terminal-Bench 4.0 (66) + SWE-Atlas-QnA-AA (124), peso igual. Lidera Claude Opus 5.5; Gemini 4 Carbon es #2
Progress Index v1	Coloca modelos desde nov-2022 en una sola escala de capacidad, aunque sean de años distintos. Inspirado en el Epoch Capabilities Index
Cyber Index v1	Capacidad ofensiva/defensiva en ciberseguridad
Decision Index	Calidad de decisiones y juicio bajo incertidumbre
Finance & Accounting	5 evaluaciones: AA-Briefcase, AA-Omniscience, HLE-Diamond, AutomationBench y GDP.pdf
AA-3D	Experiencias 3D interactivas generadas por agentes, Elo
AA-Robotics v0.1	La nueva apuesta por la IA encarnada
Image / Video Arena	Elo de preferencia humana ciega, no de un juez automático
Code2Video-AA	114 briefs de vídeo de producto/marca generados en HTML con HyperFrames

También hay índices por industria: Strategy & Ops, Legal, Healthcare & Medical, Engineering y Economics.

---

🔬 Cómo mide (metodología)

Parámetro	Detalle
Temperatura	0 en modelos no-reasoning · 0,6 en reasoning (salvo recomendación del laboratorio)
Salida máxima	16.384 tokens en no-reasoning; en reasoning, el máximo que permita el modelo
Intentos	3 repeticiones por tarea en el índice; se reporta la media
Scoring	pass@1 en pruebas tipo test; rúbricas y jueces LLM en tareas abiertas
Errores de API	Reintento automático hasta 30 veces; los fallos persistentes se revisan a mano
Harness	Stirrup, su propio agente open source
Sandbox	E2B para ejecución de código
Transparencia	Prompts, criterios y limitaciones públicos; datasets en Hugging Face

FrontierCode 2.0 merece mención aparte: 132 tareas en repos open source reales, con la pregunta «¿esto lo fusionaría un maintainer?». Si falla un check bloqueante, saca 0. Se corre 3 veces por tarea para medir consistencia, no suerte.

---

🧰 Productos

Producto	Para qué
Optima	Construir tu propio benchmark con tus tareas, datos y rúbricas; compara rendimiento, coste y tiempo
MicroEvals	Evaluaciones rápidas y pequeñas para decisiones puntuales
Model Recommender	Recomendación personalizada según inteligencia, velocidad y coste
Data Playground	Explorar y graficar los datos; exportar para análisis local (Pro)
Image Lab	Probar y comparar modelos de imagen
API	Métricas primarias gratis (1.000 req/día) y API comercial con más datos
Databook	Descarga de datos completa (Pro)

Precio de Optima

• Crear y ejecutar un benchmark se cobra al coste real de tokens del modelo, sin recargo.
• Rúbrica: $0,002\ast \ast porcriterioymodeloconjuecesest\acute{a}ndar;\ast \ast$0,040 con jueces premium ($0,10 en tareas agénticas).
• Pairwise: $0,006\ast \ast porcombateconjuecesest\acute{a}ndar;\ast \ast$0,015 en documentos; $0,045\ast \ast enag\acute{e}nticas.Premium:\ast \ast$0,150 por combate.

---

💳 Acceso y precios

Plan	Precio	Qué incluye
Web	$0	Leaderboards, fichas de modelo, artículos y metodología
API gratis	$0	Métricas primarias de LLM y media; 1.000 req/día; atribución obligatoria
Pro	$417/mes/asiento	API comercial, exportación, Table Builder, Optima, Data Playground, informes y soporte email. Anual: ahorra **$984\ast \ast ($335/mes)
Enterprise	Custom	Límites altos, modelo de mercado de cómputo, formación, advisory y soporte dedicado (150+ empleados)

Letra pequeña

• No hay free trial de Pro.
• Pro es un asiento por persona; compartir login va contra las condiciones.
• La API gratis exige atribución y no debe usarse desde código de cliente.
• Para redistribuir datos o uso externo hay que contactar con ellos.
• Los precios y el catálogo cambian rápido; verifica antes de presupuestar.

API gratis en 10 segundos

# 1. Crea cuenta y genera una API key
# 2. Pide la lista de modelos
curl -X GET https://artificialanalysis.ai/api/v2/data/llms/models \
  -H "x-api-key: $AA_API_KEY"

Devuelve id, name, model_creator, evaluations, pricing, velocidad y latencia. Los endpoints de imagen, vídeo y voz usan el mismo esquema con Elo.

---

⚠️ Cómo leerlo sin engañarte

1. Mismo esfuerzo, misma versión. low vs max o v4.3 vs v5 no se comparan.
2. Mira coste por tarea, no solo precio por millón. El precio por token ignora cuántos tokens consume el modelo para resolver lo mismo.
3. Un índice compuesto esconde tu caso. Si haces coding, pesa más Coding Agent Index y FrontierCode; si haces documentos, AA-Briefcase y GDP.pdf.
4. Los pesos son una decisión editorial. 25% por categoría es razonable, no universal.
5. Open weights ≠ open source. Y «pesos anunciados» ≠ «pesos descargables».
6. Elo no es calidad absoluta. En imagen y vídeo mide preferencia humana, que depende de la muestra y del prompt.
7. El benchmark no es tu producto. Valida con Optima o MicroEvals antes de migrar un flujo entero.
8. Cita la fecha. El #1 de hoy puede ser #3 en dos semanas.

---

🐉 Mi lectura

Para qué lo usaría en Ryukami Labs

No para decir «este es el mejor modelo», sino para descartar rápido y justificar la elección. El flujo que sí vale:

1. Filtrar por coste por tarea y velocidad, no por score bruto.
2. Mirar las 9 evaluaciones de los 2–3 candidatos, no solo el índice.
3. Comprobar el mismo effort setting.
4. Probar el ganador con Optima usando tus propias tareas.

El dato incómodo: la brecha open weights pasó de 3 a 12 puntos. Kimi K3.1 Pro (46) es el mejor open weights, pero sus pesos aún no están publicados; entre los que sí se pueden descargar, DeepSeek V4.1 Flash 1017 y GLM-5.3 empatan a 32. Si tu stack depende de modelos locales, esa es la distancia real que hay que asumir.

Lo que vigilaría: que el sitio es gratis, pero la API completa es de pago y la gratuita va con atribución y 1.000 req/día. Para un script personal alcanza; para un producto, no.

---

🔗 Enlaces

• 🐉 OpenCode — el agente donde puedes probar los modelos del ranking.
• 🧠 Catálogo de Modelos Gratuitos y APIs 2026 — qué modelos puedes conectar sin pagar.
• 🧠 Gemini 4 Argon — análisis del modelo de Google en la carrera frontera.
• ⚡ HyperFrames — la tecnología HTML que usa Code2Video-AA.
• 📰 Boletín IA y Ciberseguridad (29-oct-2026) — contexto de la semana.
• 🧠 Claude Code Best Practices — cómo llevar estos modelos a un agente real.
• Web: Inicio · Modelos · Coding Agents · Metodología · Pricing · API