NVIDIA veröffentlicht Nemotron 3.5 Transcribe: kostenlose offene Spracherkennung für 40 Sprachen mit Sprecherkennzeichnung und Übersetzung

NVIDIA veröffentlichte Nemotron 3.5 Transcribe am 28. Oktober. Es handelt sich um ein Sprach-zu-Text-Modell mit offenen Gewichten: Jeder kann es von Hugging Face oder ModelScope herunterladen und auf eigener Hardware ausführen. Laut Model Card ist es für die kommerzielle oder nicht-kommerzielle Nutzung unter der Lizenz OpenMDW-1.1 freigegeben, sodass für das Modell selbst keine Gebühr anfällt.

Was es kann

Transkription in 40 Sprachen, mit Zeitstempeln für jedes Wort.
Sprecherkennzeichnung für bis zu acht Sprecher, in 13 dieser Sprachen.
Übersetzung von Sprache in 31 Sprachen ins Englische oder aus dem Englischen.
Prompt-Steuerung: Die Ausgabe lässt sich mit Anweisungen in natürlicher Sprache steuern, und man kann Fragen zu einer Aufnahme stellen (dieser Teil wurde auf Englisch trainiert).

Zwei Einschränkungen sind wichtig. Aufnahmen können bis zu einer Stunde lang sein, und das Modell funktioniert nur mit aufgezeichnetem Audio. Laut NVIDIAs Blog ist es für aufgezeichnetes Audio gebaut, nicht für Live-Streaming, und die Model Card bezeichnet es als Offline-Modell.

Zahlen und Hardware

Das Modell hat etwa 30 Milliarden Parameter, von denen rund 4 Milliarden pro Token aktiv sind. NVIDIA gibt eine durchschnittliche Wortfehlerrate von 5,33% auf der englischen Teilliste des Open-ASR-Leaderboards von Hugging Face an – Platz eins unter Modellen mit offenen Gewichten – und erklärt, dass eine einzelne RTX PRO 6000 Blackwell Server-GPU in einem optimierten Setup 100 Stunden Audio in unter drei Minuten transkribieren kann. Dies sind NVIDIAs eigene Angaben.

Dies ist kein Laptop-Modell. Die Referenz-Deployment-Konfiguration laut Model Card ist eine H100-GPU mit 80 GB Speicher; quantisierte Versionen sind für kleinere NVIDIA-Systeme wie DGX Spark und Jetson AGX Thor gedacht. Ohne solche Hardware kann man gehostete Versionen von Baseten, DeepInfra und Simplismart nutzen. Zusammen mit dem Modell veröffentlichte NVIDIA Granary v2, einen offenen Sprachdatensatz mit etwa 463.000 Stunden in 48 Sprachen.

Für wen das relevant ist

Entwickler, die Transkription in eigene Produkte einbauen, und Organisationen, die Aufnahmen nicht an einen externen Dienst senden dürfen, erhalten damit eine starke kostenlose Option, die sie intern betreiben können. Feinabstimmung hilft in spezialisierten Bereichen: In NVIDIAs medizinischem Beispiel sank die Wortfehlerrate nach Feinabstimmung auf rund 245 Stunden Audio von 30,8% auf 11,8%.

Was das bedeutet, wenn Sie Transkription benötigen

Wenn Sie als Entwickler ein offenes Modell auswählen, ist Nemotron 3.5 Transcribe nun eine ernsthafte Alternative zu OpenAIs Whisper, besonders wenn Sie Sprecherkennzeichnung und Übersetzung aus demselben Modell wünschen. Testen Sie es an Ihrem eigenen Audiomaterial, bevor Sie wechseln: Leaderboard-Werte spiegeln möglicherweise nicht Ihre Aufnahmen wider.

Wenn Sie nur Notizen aus Ihren Meetings wollen, ist dies keine App. Fertige Tools wie Otter.ai und Granola zeichnen den Anruf auf und erstellen die Notizen ohne Einrichtung für Sie, und sie funktionieren bereits während des Meetings.