NVIDIA випустила Nemotron 3.5 Transcribe 28 жовтня. Це модель перетворення мовлення на текст з відкритими вагами: будь-хто може завантажити її з Hugging Face або ModelScope і запустити на власному обладнанні. У картці моделі зазначено, що вона готова до комерційного чи некомерційного використання за ліцензією OpenMDW-1.1, тож за саму модель платити не потрібно.

Що вона вміє

Транскрипція 40 мовами, з позначками часу для кожного слова.
Розподіл на спікерів — до восьми учасників, для 13 із цих мов.
Переклад мовлення 31 мовою на англійську або з неї.
Керування підказками: результат можна скеровувати простими текстовими інструкціями та ставити запитання про запис (цю частину навчено англійською).

Важливі два обмеження. Записи можуть тривати до години, і модель працює лише із записаним аудіо. У блозі NVIDIA зазначено, що модель створена для записаного аудіо, а не для прямих трансляцій, а в картці моделі вона названа офлайн-моделлю.

Цифри та обладнання

Модель має близько 30 мільярдів параметрів, з яких приблизно 4 мільярди активні для кожного токена. NVIDIA повідомляє про середній рівень помилок у словах (word error rate) 5,33% на англійському треку рейтингу Open ASR від Hugging Face — перше місце серед моделей з відкритими вагами, і стверджує, що один серверний GPU RTX PRO 6000 Blackwell може транскрибувати 100 годин аудіо менш ніж за три хвилини в оптимізованій конфігурації. Це власні показники NVIDIA.

Це не модель для ноутбука. Еталонне розгортання за карткою моделі — один GPU H100 з 80 ГБ пам'яті; квантовані версії призначені для менших систем NVIDIA, таких як DGX Spark і Jetson AGX Thor. Без такого обладнання можна скористатися хостинговими версіями від Baseten, DeepInfra та Simplismart. Разом із моделлю NVIDIA опублікувала Granary v2 — відкритий набір мовленнєвих даних обсягом близько 463 000 годин 48 мовами.

Кому це важливо

Розробники, які вбудовують транскрипцію у власні продукти, та організації, що не можуть надсилати записи стороннім сервісам, отримують потужний безплатний варіант, який можна запускати внутрішньо. Донавчання допомагає у спеціалізованих галузях: у медичному прикладі NVIDIA рівень помилок у словах знизився з 30,8% до 11,8% після донавчання на приблизно 245 годинах аудіо.

Що це означає, якщо вам потрібна транскрипція

Якщо ви розробник, який обирає відкриту модель, Nemotron 3.5 Transcribe тепер є серйозною альтернативою Whisper від OpenAI, особливо якщо вам потрібні розподіл на спікерів і переклад в одній моделі. Перевірте її на власному аудіо перед переходом: показники рейтингу можуть не відображати специфіку ваших записів.

Якщо вам просто потрібні нотатки із зустрічей, це не готовий застосунок. Готові інструменти на кшталт Otter.ai і Granola записують дзвінок і самі складають нотатки без жодного налаштування, і вони працюють безпосередньо під час зустрічі.