獨立自製 AI Pin？Sam Altman：單人就能成立獨角獸公司的時代來了 https://technews.tw/2024/02/16/adeus/ 如果有台設備不到手掌大，能隨時隨地記錄聲音，並轉成文字和大型語言模型交流，你會 考慮入手嗎？ 甚至如果自己做成本還不到 100 美元。 是的，這等於自製AI Pin。 英國首家案件取證調查平台Cado的CEO Adam C.H.公布影片，講述他只用一塊Coral AI微 型開發板和搭配藍牙模組，就做出語音採集器，Adam稱之為「Adeus」，為西班牙文的告 別之意，用在這設備，意思引申為「告別網路和監管」，指網路廠商無法透過設備採集使 用者個資。 Adeus算力來自Coral AI微型開發板，上圖可見有個鏡頭和麥克風，MCU（單片機）叫NXP i.MX RT1176，採ARM架構，Cortex-M4和Cortex-M7兩種處理器。坦白說兩款處理器都是 Cortex系列的低階款，算力不算高。 讀者可能會覺得這種MCU能做什麼？問這話代表你得到重點了。讓我們聚焦那顆外觀明顯 有別於其他，刻著「Coral」大Logo的晶片，這是Coral AI Edge TPU協作處理器，提供 4TOPS（數據結構為int8）算力。TPU是Google提出的概念，全稱是張量處理單元，專門深 度學習和機器學習任務。 不過此TPU並非彼TPU，這叫「Edge TPU」，邊緣TPU之意，相容性和性能都遠不如TPU，但 功耗低、體積小，當然每個神經網路模型對性能有不同要求，面對Adam C.H.裝在Adeus裡 的開源模型，表現不算太差。 接下來的工作就簡單了，Adam C.H.在網路找到開源人工智慧聲音轉文字軟體，再把Adeus 連到計算機，執行安裝，就都完成了。如果想要，可再為開發板鏡頭安裝開源人工智慧軟 體，如辨識臉部、物體等。看到這該懂了，現在做電子產品的邏輯是靠人工智慧，所有元 件都為人工智慧服務，只要硬體算力到位，功能就也到位。 逆向思考一下，如不用人工智慧，單還原「記錄聲音，轉成文字」都非常費勁，首先需要 採集聲音模組，通常是麥克風，但麥克風收音是模擬訊號，所以要將訊號經過處理如濾波 、放大等，以確保品質和適應性，且每步驟都需要一顆晶片。 重要的是將類比訊號轉成數位訊號，以便晶片處理。接下來是處理數位訊號，如降噪、特 徵提取等，以準備輸入語音辨識引擎。讓數位訊號經語音辨識引擎後，將轉錄文字輸出到 合適存儲設備或通訊介面發送。 這樣就會發現「原來人工智慧省了這麼多事！」且成本100美元還算偏高，所以Adam C.H. 將來會用Raspberry Pi Zero這塊板子製作Adeus。 無獨有偶，影音聊天軟體Squad的CTO Ethan Sutin也有類似想法，不過他想要的是隨時隨 地和大語言模型交流，於是他用蘋果M1晶片搭配OpenAI的Whisper技術，做出能放在口袋 裡的Chat GPT3.5。 Whisper是自動語音辨識（ASR）和語音翻譯的預訓練模型，理論基礎來自OpenAI的Alec Radford等人論文〈Robust Speech Recognition via Large-Scale Weak Supervision〉 （透過大規模弱監督實現強健性語音辨識）。訓練近70萬小時的標註過數據，Whisper模 型展現出許多資料庫和領域無需微調即可有效泛化的強大能力。 這套設備沒有開關，所以怎麼啟動Whisper也需要人工智慧幫忙。Ethan是用Silero，是聲 音活動檢測（VAD），選擇它原因在Silero的模型JIT，僅需1Mb大小，便攜設備最缺少的 就是容量。 Ethan的方法比Adam C.H.還簡單，原理是用Silero辨識是否有聲音傳入麥克風，再用 Whisper模型將聲音轉成文字。用手機將文字輸入大語言模型，最後得到大語言模型回饋 ，實現隨時隨地與大語言模型交流。本質上講，他也是用人工智慧做硬體，蘋果M1晶片價 格約40美元，換句話說，這套方案比Coral AI還便宜不少。 OpenAI CEO山姆‧奧特曼說過，現在已出現僅一位員工就市值10億美元的公司，核心競爭 力就是人工智慧。 未來尤其是智慧穿戴，極有可能變成要什麼功能，就準備多少計算資源，如上述提到的兩 台設備，選用樹莓派和蘋果M1，就是兩者記憶體、顯存、算力都滿足需求。通常情況， GPU記憶體主要存儲模型參數、計算中間結果和模型最佳化，系統記憶體存儲訓練數據、 模型參數及運行數據。訓練大型深度學習模型時，確保兩者記憶體夠大以容納數據和模型 參數都很重要。 這些發明家的本質，並不是掌握多精湛的技術，而是巧妙將人工智慧融進硬體。將來技術 持續進步創新，人類有望迎接智慧設備製作成本大大降低的時代，各類感測器、微型處理 器及人工智慧元件將更容易取得且價格親民，使手工愛好者乃至普通大眾都能以低廉成本 親手製作功能豐富的智慧硬體。而開源社群的支持與共享經濟發展，製作智慧設備的軟體 資源和學程也更觸手可及，降低進入門檻。 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.71.246 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Tech_Job/M.1708128877.A.90B.html