Nvidia釋出Nemotron 3.5語音模型，整合轉錄、翻譯與講者辨識

Nvidia推出開放權重語音模型Nemotron 3.5 Transcribe，將語音轉文字、翻譯、講者區分及錄音問答整合在同一模型。新模型可轉錄40種語言，其中31種支援與英語互譯，13種可標記不同講者的發言，目前已在Hugging Face及ModelScope開放下載。

過去處理會議錄音，通常需要分別使用語音辨識、講者區分與翻譯工具。Nemotron 3.5 Transcribe則可依自然語言指令調整輸出內容。同一段錄音能產生保留語助詞的逐字稿、刪除贅字的整理稿，或標記不同講者的文字，也能根據錄音回答會議中討論的事項。

開發者還能在指令中加入醫療術語、產品名稱等資訊，協助模型辨認專有名詞及使用指定的書寫格式。模型最長可處理1小時錄音，區分最多8名講者，並提供字詞層級的時間戳記，方便將文字對應到錄音位置。不過，講者區分僅標記不同聲音，無法確認講者的真實身分。錄音問答功能主要以英語訓練，模型目前也不支援即時串流轉錄。

在辨識準確率方面，Nvidia公布的評測顯示，Nemotron 3.5 Transcribe在Hugging Face Open ASR英語榜單排名開放權重模型第一，在Artificial Analysis語音辨識評測中，詞錯誤率為2.8%，與排名第一的開放權重模型相同。模型採用混合專家架構，總計約340億個參數，產生每個文字單位時約啟用43億個參數。

Nvidia也公開Granary v2多語言語音資料集及NeMo Speech微調工具，協助開發者調整專業詞彙與轉錄格式。Granary v2公開的資料標註涵蓋48種語言、約46.3萬小時音訊，提供保留口語、轉成標準書寫及刪除語助詞等文字版本。

Nvidia以印度醫療語音為例，使用專業資料微調模型後，在另外保留的2,764段測試錄音中，詞錯誤率從僅調整指令時的22.44%降至12.17%，相對減少45.8%。目前開發者可透過vLLM自行部署Nemotron 3.5 Transcribe，也可選擇第三方代管服務，而Granary v2的來源音訊則須依原始資料集的授權另外取得。