サイト一覧NewsBridge 翻訳して読み比べるニュース
iThomeの一覧へ戻る

Ollama加入串流文字轉語音功能,並整合d3決策模型

iThome文字
元の記事を開く

記事本文

6 段落 · 単語をタップ(クリック)または文章を選ぶと翻訳 · 単語をタップ/文章を選ぶと翻訳

本機AI模型執行工具Ollama發布v0.40.11,加入文字轉語音功能,讓搭載Apple晶片的Mac電腦可以將文字或AI聊天模型的回答轉成語音,並在生成過程中同步播放,不必等整段語音完成。新版也整合d3決策模型,可根據文字或圖片內容進行分類、判斷與評分。

Ollama主要用來在個人電腦上執行AI語言模型,新增的語音功能採用Gradium開發的Phonon模型。使用者下載模型後,就能讓電腦朗讀指定文字,也能將其他AI模型產生的回答轉成語音,例如AI助理回答問題時,系統收到前幾句文字便能開始朗讀,後面的內容則繼續生成,語音也可以儲存成檔案。

開發者可透過與OpenAI相容的API,將語音功能加入現有軟體。原本使用OpenAI語音服務的程式,可調整連線位址、模型名稱及相關設定,改由本機電腦產生語音,每次請求最多可輸入4,096個字元,支援WAV及PCM格式的音訊輸出。

Phonon提供3,100萬參數的英文模型,以及4,000萬參數的單語及多語言模型,目前支援英文、法文、德文、西班牙文及葡萄牙文。Ollama利用Apple的機器學習框架MLX加速語音生成,根據官方在M5 Max MacBook Pro上的測試,生成速度比Gradium自家的執行環境快35%。

另一項更新是由vLLM Semantic Router開發的d3決策模型,可根據使用者提供的選項及判斷標準,對輸入內容進行分類或評分,並提供各選項的分數及機率,像是客服系統收到客戶反映的問題後,可利用模型判斷是帳務、退款還是技術問題,再交由對應部門處理。d3也能分析靜態圖片,但不支援影片,且不會像一般聊天模型生成完整回答。

目前Phonon在Ollama上僅支援搭載Apple晶片的Mac,尚未支援中文,Windows及Linux的語音功能則預計後續推出。模型授權也有所不同,3,100萬參數的英文模型採Apache 2.0授權,4,000萬參數版本則採限制商業用途的CC BY-NC 4.0授權。

段落ごとの訳がずれるときに

単語をタップ(クリック)すると単語を、文章を選ぶとその範囲をすぐに翻訳します。