NVIDIA a publié Nemotron 3.5 Transcribe le 28 octobre. Il s'agit d'un modèle de transcription vocale à poids ouverts : n'importe qui peut le télécharger depuis Hugging Face ou ModelScope et l'exécuter sur son propre matériel. La fiche du modèle indique qu'il est prêt pour un usage commercial ou non commercial sous licence OpenMDW-1.1, ce qui signifie qu'aucun frais n'est lié au modèle lui-même.

Ce qu'il fait

Transcription en 40 langues, avec horodatage pour chaque mot.
Identification des locuteurs pour un maximum de huit intervenants, dans 13 de ces langues.
Traduction de la parole en 31 langues depuis ou vers l'anglais.
Contrôle par instruction : il est possible d'orienter le résultat avec des instructions en langage naturel et de poser des questions sur un enregistrement (cette fonctionnalité a été entraînée en anglais).

Deux limites comptent. Les enregistrements peuvent durer jusqu'à une heure, et le modèle ne fonctionne que sur de l'audio enregistré. Le blog de NVIDIA précise qu'il est conçu pour l'audio enregistré, et non pour la diffusion en direct, et la fiche du modèle le qualifie de modèle hors ligne.

Chiffres et matériel

Le modèle compte environ 30 milliards de paramètres, dont environ 4 milliards sont actifs pour chaque token. NVIDIA annonce un taux d'erreur de mots moyen de 5,33 % sur le volet anglais du classement Open ASR de Hugging Face, premier parmi les modèles à poids ouverts, et indique qu'un seul GPU de serveur RTX PRO 6000 Blackwell peut transcrire 100 heures d'audio en moins de trois minutes dans une configuration optimisée. Ce sont les propres chiffres de NVIDIA.

Ce n'est pas un modèle pour ordinateur portable. Le déploiement de référence indiqué sur la fiche du modèle repose sur un GPU H100 doté de 80 Go de mémoire ; les versions quantifiées sont destinées à des systèmes NVIDIA plus modestes tels que DGX Spark et Jetson AGX Thor. Sans ce type de matériel, il est possible d'utiliser des versions hébergées proposées par Baseten, DeepInfra et Simplismart. Parallèlement au modèle, NVIDIA a publié Granary v2, un ensemble de données vocales ouvert d'environ 463 000 heures en 48 langues.

À qui cela s'adresse

Les développeurs qui intègrent la transcription à leurs propres produits, ainsi que les organisations qui ne peuvent pas envoyer leurs enregistrements à un service externe, disposent désormais d'une option gratuite performante qu'ils peuvent exécuter en interne. L'ajustement fin (fine-tuning) est utile dans des domaines spécialisés : dans l'exemple médical fourni par NVIDIA, le taux d'erreur de mots est passé de 30,8 % à 11,8 % après un ajustement fin sur environ 245 heures d'audio.

Ce que cela signifie si vous avez besoin de transcription

Si vous êtes développeur et choisissez un modèle ouvert, Nemotron 3.5 Transcribe constitue désormais une alternative sérieuse à Whisper d'OpenAI, en particulier si vous souhaitez l'identification des locuteurs et la traduction au sein d'un même modèle. Testez-le sur vos propres enregistrements avant de changer d'outil : les scores des classements ne reflètent pas forcément vos cas d'usage.

Si vous cherchez simplement des comptes-rendus de vos réunions, ce n'est pas une application. Des outils prêts à l'emploi comme Otter.ai et Granola enregistrent l'appel et rédigent les notes pour vous sans configuration, et ils fonctionnent pendant le déroulement même de la réunion.