NVIDIA השיקה את Nemotron 3.5 Transcribe ב-28 באוקטובר. מדובר במודל תמלול קול לטקסט בקוד פתוח: כל אחד יכול להוריד אותו מ-Hugging Face או מ-ModelScope ולהריץ אותו על החומרה שלו. כרטיס המודל מציין שהוא מוכן לשימוש מסחרי או לא-מסחרי תחת רישיון OpenMDW-1.1, כך שאין עלות עבור המודל עצמו.
מה הוא עושה
תמלול ב-40 שפות, עם חותמות זמן לכל מילה.
תיוג דוברים עבור עד שמונה דוברים, ב-13 מתוך אותן שפות.
תרגום של דיבור ב-31 שפות לאנגלית או ממנה.
שליטה באמצעות הנחיות: ניתן לכוון את הפלט באמצעות הוראות בשפה טבעית ולשאול שאלות על הקלטה (חלק זה אומן באנגלית).
שתי מגבלות חשובות. הקלטות יכולות להיות באורך של עד שעה, והמודל פועל רק על אודיו מוקלט. בבלוג של NVIDIA נכתב שהוא נבנה עבור אודיו מוקלט, לא עבור הזרמה חיה, וכרטיס המודל מגדיר אותו כמודל לא מקוון (offline).
מספרים וחומרה
למודל כ-30 מיליארד פרמטרים, מתוכם כ-4 מיליארד פעילים עבור כל טוקן. NVIDIA מדווחת על שיעור שגיאות מילים ממוצע של 5.33% במסלול האנגלי של לוח המובילים Open ASR של Hugging Face, במקום הראשון בין מודלים בקוד פתוח, ומציינת שמעבד גרפי בודד מסוג RTX PRO 6000 Blackwell בשרת יכול לתמלל 100 שעות אודיו בפחות משלוש דקות בתצורה מותאמת. אלה נתונים של NVIDIA עצמה.
זה אינו מודל למחשב נייד. פריסת הייחוס בכרטיס המודל היא מעבד גרפי H100 בודד עם 80GB זיכרון; גרסאות מכווצות (quantised) מיועדות למערכות NVIDIA קטנות יותר כמו DGX Spark ו-Jetson AGX Thor. ללא חומרה כזו, ניתן להשתמש בגרסאות מתארחות מבית Baseten, DeepInfra ו-Simplismart. לצד המודל, NVIDIA פרסמה את Granary v2, מאגר נתוני דיבור פתוח בהיקף של כ-463,000 שעות ב-48 שפות.
למי זה חשוב
מפתחים שמשלבים תמלול במוצרים שלהם, וארגונים שאינם יכולים לשלוח הקלטות לשירות חיצוני, מקבלים אפשרות חינמית חזקה שניתן להריץ באופן פנימי. כוונון עדין (fine-tuning) מסייע בתחומים מתמחים: בדוגמה הרפואית של NVIDIA, שיעור שגיאות המילים ירד מ-30.8% ל-11.8% לאחר כוונון עדין על כ-245 שעות אודיו.
מה זה אומר אם אתם זקוקים לתמלול
אם אתם מפתחים הבוחרים מודל בקוד פתוח, Nemotron 3.5 Transcribe הוא כעת חלופה רצינית ל-Whisper של OpenAI, בייחוד אם אתם רוצים תיוג דוברים ותרגום מאותו מודל. בדקו אותו על האודיו שלכם לפני המעבר: ציוני לוח המובילים לא בהכרח משקפים את ההקלטות שלכם.
אם אתם רק רוצים סיכומים מהפגישות שלכם, זו אינה אפליקציה. כלים מוכנים לשימוש כמו Otter.ai ו-Granola מקליטים את השיחה וכותבים עבורכם את הסיכומים ללא כל הגדרה, והם פועלים בזמן אמת תוך כדי הפגישה.