La inteligencia artificial de voz avanza a un ritmo vertiginoso, superando la capacidad de las herramientas que utilizamos para medir su progreso. Los principales laboratorios de IA, como OpenAI, Google DeepMind, Anthropic y xAI, compiten por desarrollar modelos de voz capaces de mantener conversaciones naturales en tiempo real. Sin embargo, las métricas de evaluación actuales siguen dependiendo en gran medida de voz sintética, pruebas exclusivamente en inglés y guiones preestablecidos que poco se asemejan a la forma en que las personas se comunican en su día a día. Para abordar este desfase, Scale AI, la reconocida startup especializada en anotación de datos, ha lanzado Voice Showdown. Se trata de la primera plataforma global de evaluación comparativa que mide el rendimiento de la IA de voz basándose en las preferencias de interacciones humanas reales, ofreciendo una visión mucho más precisa y auténtica de sus capacidades.
El funcionamiento de Voice Showdown se basa en ChatLab, la plataforma de chat de Scale AI que permite a los usuarios interactuar con los modelos de IA más avanzados del mercado desde una única aplicación y sin ningún coste. A cambio de este acceso, que normalmente requeriría múltiples suscripciones mensuales, los usuarios participan ocasionalmente en “enfrentamientos” ciegos. Durante una conversación, el sistema envía la misma instrucción de voz a dos modelos anónimos de forma simultánea, y el usuario simplemente elige qué respuesta prefiere.
Este ingenioso diseño soluciona tres problemas fundamentales de las evaluaciones tradicionales. En primer lugar, todas las instrucciones provienen de voz humana real, con sus acentos, ruido de fondo, frases inacabadas y muletillas, en lugar de audio sintético. En segundo lugar, la plataforma opera en más de 60 idiomas de los seis continentes, y más de un tercio de las comparativas se realizan en lenguas distintas del inglés, como el español, árabe, japonés, portugués, hindi y francés. Por último, dado que las evaluaciones se integran en conversaciones cotidianas, el 81% de las interacciones son de naturaleza conversacional o de final abierto, es decir, preguntas sin una única respuesta correcta. Esto invalida las puntuaciones automáticas y convierte la preferencia humana en el único indicador fiable de calidad.
Voice Showdown opera actualmente en dos modos de evaluación: Dictado (el usuario habla y los modelos responden con texto) y Voz a Voz o S2S (el usuario habla y los modelos responden con audio). Un tercer modo, Dúplex Completo, que permitirá conversaciones fluidas con interrupciones en tiempo real, ya está en desarrollo.
Un detalle clave distingue a Voice Showdown de otras plataformas similares como Chatbot Arena. En esta última, se ha criticado que los usuarios a veces emiten votos superficiales sin un interés real en el resultado. Voice Showdown resuelve esto de manera directa: después de que un usuario vota por su modelo preferido, la aplicación le asigna ese modelo para el resto de la conversación. Esta alineación entre la preferencia y la consecuencia desincentiva los votos poco meditados o deshonestos.
Además, el sistema implementa controles para evitar que otras variables distorsionen los resultados. Las respuestas de ambos modelos comienzan a reproducirse simultáneamente para eliminar el sesgo de velocidad, el género de la voz se corresponde en ambas opciones para evitar sesgos de preferencia y los modelos nunca se identifican por su nombre durante la votación.
Voice Showdown se lanza con 11 de los modelos más avanzados del mercado, evaluados a través de 52 combinaciones de modelo y voz. La clasificación se divide según el modo de evaluación.
Clasificación en modo Dictado (Entrada de voz, Salida de texto)
En este modo, los usuarios dan una instrucción de voz y evalúan dos respuestas de texto. Los resultados iniciales son:
- Gemini 3 Pro (1073)
- Gemini 3 Flash (1068)
- GPT-4o Audio (1019)
- Qwen 3 Omni (1000)
- Voxtral Small (925)
- Gemma 3n (918)
- GPT Realtime (875)
- Phi-4 Multimodal (729)
(Nota: Gemini 3 Pro y Gemini 3 Flash se encuentran en un empate técnico por el primer puesto).
Clasificación en modo Voz a Voz (S2S)
Aquí, los usuarios hablan con el modelo y evalúan dos respuestas de audio. La clasificación es la siguiente:
- Gemini 2.5 Flash Audio (1060)
- GPT-4o Audio (1059)
- Grok Voice (1024)
- Qwen 3 Omni (1000)
- GPT Realtime (962)
- GPT Realtime 1.5 (920)
Estos resultados, extraídos de miles de conversaciones espontáneas, revelan importantes brechas de rendimiento que las métricas convencionales no habían logrado detectar, proporcionando una hoja de ruta mucho más clara para el futuro de la interacción por voz.
