A NVIDIA lançou o Nemotron 3.5 Transcribe em 28 de outubro. Trata-se de um modelo de conversão de fala em texto com pesos abertos: qualquer pessoa pode baixá-lo do Hugging Face ou do ModelScope e executá-lo em seu próprio hardware. A ficha do modelo informa que ele está pronto para uso comercial ou não comercial sob a licença OpenMDW-1.1, portanto não há cobrança pelo modelo em si.

O que ele faz

Transcrição em 40 idiomas, com marcações de tempo para cada palavra.
Identificação de locutores para até oito falantes, em 13 desses idiomas.
Tradução de fala em 31 idiomas de ou para o inglês.
Controle por instruções: é possível direcionar a saída com instruções em linguagem natural e fazer perguntas sobre uma gravação (essa parte foi treinada em inglês).

Duas limitações importam. As gravações podem ter até uma hora de duração, e o modelo funciona apenas com áudio já gravado. O blog da NVIDIA afirma que ele foi criado para áudio gravado, não para transmissão ao vivo, e a ficha do modelo o classifica como um modelo offline.

Números e hardware

O modelo tem cerca de 30 bilhões de parâmetros, dos quais aproximadamente 4 bilhões ficam ativos para cada token. A NVIDIA relata uma taxa média de erro de palavras de 5,33% na faixa em inglês do ranking Open ASR do Hugging Face, em primeiro lugar entre os modelos de pesos abertos, e afirma que uma única GPU de servidor RTX PRO 6000 Blackwell consegue transcrever 100 horas de áudio em menos de três minutos em uma configuração otimizada. Esses são dados divulgados pela própria NVIDIA.

Não é um modelo para notebook. A implantação de referência indicada na ficha do modelo é uma GPU H100 com 80 GB de memória; versões quantizadas são voltadas para sistemas NVIDIA menores, como o DGX Spark e o Jetson AGX Thor. Sem esse hardware, é possível usar versões hospedadas fornecidas por Baseten, DeepInfra e Simplismart. Junto com o modelo, a NVIDIA publicou o Granary v2, um conjunto de dados de fala aberto com cerca de 463.000 horas em 48 idiomas.

Para quem isso importa

Desenvolvedores que incorporam transcrição aos próprios produtos, e organizações que não podem enviar gravações a um serviço externo, ganham uma opção gratuita robusta que pode ser executada internamente. O ajuste fino (fine-tuning) ajuda em áreas especializadas: no exemplo médico da NVIDIA, a taxa de erro de palavras caiu de 30,8% para 11,8% após o ajuste fino com cerca de 245 horas de áudio.

O que isso significa se você precisa de transcrição

Se você é desenvolvedor e está escolhendo um modelo aberto, o Nemotron 3.5 Transcribe agora é uma alternativa séria ao Whisper da OpenAI, especialmente se você quiser identificação de locutores e tradução a partir do mesmo modelo. Teste-o com seus próprios áudios antes de migrar: as pontuações em rankings podem não refletir suas gravações.

Se você só quer anotações das suas reuniões, isso não é um aplicativo. Ferramentas prontas como Otter.ai e Granola gravam a chamada e escrevem as anotações para você sem nenhuma configuração, e funcionam enquanto a reunião está acontecendo.