NVIDIA lanzó Nemotron 3.5 Transcribe el 28 de octubre. Es un modelo de voz a texto de pesos abiertos: cualquiera puede descargarlo desde Hugging Face o ModelScope y ejecutarlo en su propio hardware. La ficha del modelo indica que está listo para uso comercial o no comercial bajo la licencia OpenMDW-1.1, por lo que no hay coste alguno por el modelo en sí.

Qué hace

Transcripción en 40 idiomas, con marcas de tiempo para cada palabra.
Etiquetado de hablantes para hasta ocho hablantes, en 13 de esos idiomas.
Traducción de voz en 31 idiomas desde o hacia el inglés.
Control mediante instrucciones: se puede dirigir la salida con instrucciones en lenguaje natural y hacer preguntas sobre una grabación (esta parte se entrenó en inglés).

Hay dos límites importantes. Las grabaciones pueden durar hasta una hora, y el modelo solo funciona con audio grabado. El blog de NVIDIA indica que está diseñado para audio grabado, no para transmisión en directo, y la ficha del modelo lo califica de modelo sin conexión (offline).

Cifras y hardware

El modelo tiene unos 30 mil millones de parámetros, de los cuales aproximadamente 4 mil millones están activos para cada token. NVIDIA informa de una tasa media de error de palabra del 5.33% en la categoría de inglés de la clasificación Open ASR de Hugging Face, la primera entre los modelos de pesos abiertos, y afirma que una sola GPU de servidor RTX PRO 6000 Blackwell puede transcribir 100 horas de audio en menos de tres minutos en una configuración optimizada. Estas son cifras de la propia NVIDIA.

No es un modelo para portátiles. El despliegue de referencia de la ficha del modelo es una GPU H100 con 80 GB de memoria; las versiones cuantizadas están pensadas para sistemas NVIDIA más pequeños, como DGX Spark y Jetson AGX Thor. Sin ese hardware, se pueden usar versiones alojadas de Baseten, DeepInfra y Simplismart. Junto con el modelo, NVIDIA publicó Granary v2, un conjunto de datos de voz abierto de aproximadamente 463.000 horas en 48 idiomas.

A quién le importa

Los desarrolladores que integran la transcripción en sus propios productos, y las organizaciones que no pueden enviar grabaciones a un servicio externo, obtienen una sólida opción gratuita que pueden ejecutar internamente. El ajuste fino (fine-tuning) ayuda en campos especializados: en el ejemplo médico de NVIDIA, la tasa de error de palabra bajó del 30.8% al 11.8% tras un ajuste fino con unas 245 horas de audio.

Qué significa esto si necesitas transcripción

Si eres desarrollador y eliges un modelo abierto, Nemotron 3.5 Transcribe es ahora una alternativa seria a Whisper de OpenAI, especialmente si quieres etiquetado de hablantes y traducción desde el mismo modelo. Pruébalo con tu propio audio antes de cambiarte: las puntuaciones de las clasificaciones pueden no reflejar tus grabaciones.

Si solo quieres notas de tus reuniones, esto no es una aplicación. Herramientas listas para usar como Otter.ai y Granola graban la llamada y escriben las notas por ti sin necesidad de configuración, y funcionan mientras la reunión está en curso.