作者neo5277 (I am an agent of chaos)
看板Stock
標題Re: [請益] AI到底是遇到什麼問題？
時間Sat Aug 3 04:07:53 2024
雖然這版是投資版，但是我覺得技術問題，還是先跟投資切開來比較好一點。
昨天還是前天也在八卦回了一篇，內容應該差不多。
這篇可盡可能精準一點。
首先呢，AI這個領域的底層，就是計算大家都已經知道了。
這幾年分析師說爛的LLM，全名是大型語言模型，基本上最基本款是利用
機器學習演算法，一個單元一個單元組成神經網絡的變形決策樹。
LLM，只是他的一小部分應用，根據問題的不同，去設計不同演算法，整理不同資料
做ETL，又對於transfermer 這個特殊模型模式來去做預先訓練來產出，基本上撇除掉
MOE多專家模型，還有多模態的版本，他真的就是一個很強的計算機器然後拿來做
文字接龍跟翻譯，如果沒有其他餵養的"知識"，他回答的就有侷限性，可以自己去拉
其他台灣幾間的模型玩玩，而文字這塊，因為透過字詞嵌入轉向量的技術讓電腦可以計算
理解，跟去求餘弦，讓模型對於聚類，有更好的效果。
一樣的過程，你可以，將任何連續的異質資料，根據這個路徑，餵養給這後面的演算法
神經網路，經過大量的時間，大量的資料，大量的能源消耗會有一個初步結果。
你再去微調，他的確可以解決很多問題，取代很多人力，但他需要燒錢，燒時間。
接下來的東西就跟本版有關係了，我可以直接拿我八卦的文來剪貼。
"理想很豐滿，現實很骨感，infra貴，訂閱現金流沒有多少長進。
都還在吹，還在想拉貨，當董事會跟股東看不到錢，CEO能挺住做決策多久?
"LLM"目前真實應用場景薄弱，你要享受AI模型優點，需要針對你的應用情境
特製，特殊資料ETL，特殊訓練，訓練成效跟時間，資料量，成本成正比。
除了to B 沒多少人可以享受到這種邊際效應，再來換一種需求你要重新設計模型
驗證，訓練，SLM的模型，可以多元集群，一般人可用，只是就像丟一個低配版賈維斯
給你，不是每個人都需要，大部分最終只會變成，聰明一點的SIRI，跟生成軟體。
這點現在openai就做得不錯了，也不是一定要綁在阿婆手機上。
這個世界情勢看下去，這些新出來的AI模型最後的發展跟落地最有辦法回本的領域。
就是戰爭武器，很多已經開始做了，數位孿生，除了可以模擬工廠還可以用來模擬跟訓練
啥，又是高收益的其實很明顯。
順跑單獨一個7B模型，大概一張4070ti 12g .64g ram 13700k可以很順了
但你要跑70b 大概要四張以上，你要跑MOE 多專家版本又要更高，你要多模態
還要再更高，toB的商務需求，短期有，長期效應沒有出來的話，比較難會有單。
成本效益有多少，真的很難說，我只能說最近很多時候是RD被逼著去生更多應用出來
但是僅靠LLM，是做不了多應用的，LLM只是一個這世代AI很好的廣告而已。
AI這局要延續，只能靠機器人，機器人不可能大台裝一堆顯卡，散熱又不好，能源也
不夠。這邊唯一方法就是走邊際運算，所以通訊跟邊際運算，還有製造機器人的能力
，再來就是仿生，生物界是最好學習的對象，如此高效低耗能，你寫code跟ai互動做的
很多事情在台灣，請工讀生或是美編，或是貴一點的美編跟外包就完成了。
現實就是這樣，如果，再沒有新東西出來，美國選舉效應完大家就一起面對真實世界。"
注意，上面說的應用場景薄弱，是LLM的部分，因應其他需求去設計開發的模型都不
在此列，上面幾篇回文，也有幾位點到問題，這資本開支，還有獲益週期，目前不成
正比，也沒有辦法雨露均霑，你看到皮衣刀客馬上推數位孿生，機器人就知道了。
以目前來說，最有可能的，不那麼暴力的領域，就是文內提到的
邊際運算，以後可能是小模型取代各種，本來的韌體演算法，燒上去
這邊第一個遇見就是，記憶體容量問題，還有算力問題，模型領域針對這種問題
有幾種解法，知識蒸餾，模型合併，還有量化(將本來大量浮點數計算轉成整數計算)
會有能力耗損但是，對算力可以不太要求，這樣用晶片來集群的整個叢集裝置。
體積尚可，會出現專門NPU來做矩陣計算，散熱也比較好處理，能源消耗更低。
也跟上文提到的一樣，在這種client server 體制，或是邊際運算體制。
通訊，就是一件很重要的事情，我對AI是很看好，但是在商言商，沒人想做賠錢生意。
也沒有幾間，特別是股東制的公司會一直對看不到現金流的投資say yes 。
八卦底下有一個推文我覺得滿有sense 的我也是抱持這個想法。
AI 包含軟體的模型，其實就跟當年的網路一樣，他是一個infrastructure
基本上是長期投資，適合大廠跟國家去布建的東西， .com 到我們離不開網路
過了8~10年左右，他的價值才真正凸顯出來，後續的效應跟市場才起來。
現在不過是又重現一次而已，但是人生有幾個8~10年呢?，這三四年的熱錢
就是跟各種泡沫一樣摧枯拉朽，AI有問題嗎? 看你從哪個角度來看
其實，模型要訓練到可商業運用，難在配合解決的問題去反覆設計跟訓練微調，還有
做訓練資料整理，這真的要大量的時間跟金錢，還有腦力。但偏偏這是現實世界上最缺
的，然後真正有意義的模型，中小型參數，就玩具，做成叢集，要靠財力。
70b 開始一般人基本玩不起，llama405b 這種幾千萬的機器是基本，然後訓練想要
達成的應用，除非是研究型，不然真得就是不如請人類做來的省錢。
我想版上應該也有很多理工生科研究型的，以前應該都會有要種儀器只有幾台
實驗室只有兩間，你要做你的研究，就是排隊吧，等申請。
目前可花錢投入的大廠，跟研究型的尚且如此，一般商業除非有經驗證，可行的利基模式
不然我想沒幾個會花錢真正洗下去做。
你說雲端御三家沒有開放給企業訂製嗎? 有阿 N家自己也下來做啊 賣不好啊
你沒有確定方向，跟做法還有利基之前，這個研發成本可是用燒的，一旦弄下去
花錢反正可以列成研發經費，資本開支，但是最後有沒有東西端出來才是問題。
你說要做自然語言，管理後台，查詢，什麼的，這個現在都做得出來。
我自己工作也在做這種，應用開發。 但是我們自己覺得滿雞肋的。
你要做aml 也很可以啊，但是很抱歉，用llm為主的模型效果一定不會太好
要從根開始重新挖開設計，跟定義資料集下去重新訓練，有新樣態，在繼續累積然後
微調，微調也是一個坑，你資料量不夠大，就像一顆石頭，丟進太平洋。沒啥用
但也不要這麼灰心，各位在AI上花的$都位我們後代子孫建立起更好的社會。
大概就是這樣，總結一下，前期資本投資太多，短期看不到成效，消費市場不確定。
本來應該是基建的被炒成很高，真的跟思科很像，不能說一模一樣，但是真的很像。
但你要說他不好嗎? 現在哪間公司機房沒有思科?
--
WHY SO SERIOUS???
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.243.100.32 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1722629277.A.6EA.html
※ 編輯: neo5277 (111.243.100.32 臺灣), 08/03/2024 04:13:12
1F：推 cuteSquirrel: push 08/03 04:11
2F：推 abc12812 : 唬爛機器人 除了詐騙以外就沒啥實際公用08/03 04:11
※ 編輯: neo5277 (111.243.100.32 臺灣), 08/03/2024 04:16:02
3F：→ adidas52088 : 還敢提13700k08/03 04:17
4F：→ adidas52088 : 所以特斯拉拿來訓練FSD跟人形機器人的想法不是很好08/03 04:18
5F：→ adidas52088 : 嗎 08/03 04:18
沒有不好啊，看台灣有沒有辦法吃到後續產業鏈生意阿
※ 編輯: neo5277 (1.162.163.74 臺灣), 08/03/2024 04:20:37
6F：→ Arodz : AI沒什麼問題 有問題的是投資人☺ 08/03 04:39
7F：推 st9061204 : 我有個問題，既然進入AI開發的門檻很高08/03 04:54
8F：→ st9061204 : 實際上能玩得起的大公司在競爭上的緊迫性沒有很高吧 08/03 04:55
研發是個變數，因為你不知道他會不會單點突破，openai跟google就是好例子，逼得人家
覺得成本效益不符人家就會放棄，除非你是google,燒不完，對內要說服元老院跟股東繼
續投資支持股價都要有東西出來，CEO很重要
啊，他是屬於管理型，還是進取型，還有是不是公司吉祥物，這些都是參數，當然也有玩
脫的，賈伯斯就是。
9F：推 noddle : 推分享08/03 04:55
10F：推 David312 : 抱歉我有點疑問，想問電動車自動駕駛的部分是否有可08/03 04:56
11F：→ David312 : 能因為ai而加速成真，自動駕駛L5是我比較看好未來08/03 04:56
12F：→ David312 : 都市的一部分08/03 04:56
這個有點大哉問，對自動駕駛有沒有幫助
一定有，但是台灣會不會有？
可能只有重劃區吧，要普及應該是因地而異
※ 編輯: neo5277 (1.162.163.74 臺灣), 08/03/2024 05:08:40
※ 編輯: neo5277 (1.162.163.74 臺灣), 08/03/2024 05:10:17
13F：推 apl02 : 感謝分享 08/03 05:10
14F：推 David312 : 這...我的疑問確實有點讓人不知所以然，那我問比較 08/03 05:20
15F：→ David312 : 細一點好了，以前有聽說過特斯拉要拼自動駕駛L5， 08/03 05:20
16F：→ David312 : 但是卡在感應週邊環境能力以及運算可能發生的危險08/03 05:21
17F：→ David312 : 等等因素所以很難突破，而現在的ai則是在算力跟模08/03 05:21
18F：→ David312 : 型還是啥能力部分進步很多（抱歉這塊我真的不太懂） 08/03 05:21
19F：→ David312 : ，如果以目前的ai能力找一個城市專門訓練電動車自 08/03 05:21
20F：→ David312 : 動駕駛，結合城市內多個攝影機等等提供環境變數參 08/03 05:21
21F：→ David312 : 考來訓練並完成全城內的自動駕駛L5，不要一開始就挑 08/03 05:21
22F：→ David312 : 戰完美L5而是只要某個城市內能自動駕駛L5這樣，以上 08/03 05:21
23F：→ David312 : 想法我覺得有可能，但是也許只有對岸敢作，剛開始08/03 05:21
24F：→ David312 : 應該很多事故，只有對岸能直接壓下吧... 08/03 05:21
訓練偵測是一件事，反應速度整合是一件事情，大陸那個也是有人在監督的
自己體驗是現在特斯拉的車，偵測已經是會把周遭的東西很形象的辨識進去，但是操作就
不知道台灣也沒辦法試，之前加州實驗似乎小意外被叫停下了。
※ 編輯: neo5277 (1.162.163.74 臺灣), 08/03/2024 05:25:04
25F：推 David312 : 然後城市內自動駕駛成功後，我認為最可能發展出來 08/03 05:25
26F：→ David312 : 的會是自動送貨，甚至搭配自動化大樓或機器人幫忙煮08/03 05:25
27F：→ David312 : 熟等等，上網點個餐或買個東西，30分鐘後就到手裡這08/03 05:25
28F：→ David312 : 樣，超適合不出門的阿宅不是嗎08/03 05:25
這中國有類似的，還不完美
※ 編輯: neo5277 (1.162.163.74 臺灣), 08/03/2024 05:26:20
29F：推 David312 : 原來對岸有在搞了喔...看來我知道的東西太少了 08/03 05:28
30F：→ mom213 : 5年前碩論做自駕視覺相關 L5目前演算法達不到 中國 08/03 05:29
31F：→ mom213 : 那套遠端工人智慧還比較實際 08/03 05:29
32F：→ afflic : 你看得太短淺了…… 08/03 05:31
33F：→ afflic : 就像你說的，現在就是基礎建設的軍備競賽 08/03 05:31
34F：→ afflic : 你燒錢燒不過人家，以後就是被人家佔領山頭 08/03 05:31
一人公司或是家天下可以，在國外就看CEO
囉
※ 編輯: neo5277 (1.162.163.74 臺灣), 08/03/2024 05:34:56
35F：→ afflic : 這麼多公司總有一家可以，然後他就獨佔了 08/03 05:36
36F：推 newbrain : 真的就是初期的思科獨佔網路基建模式重走 08/03 05:43
37F：推 MangoKai : Push 08/03 05:49
38F：推 bluesix4722 : 推 08/03 05:50
39F：推 ohyaehchu : 大家都在賭啊 你不賭市場就沒你的份額，想追上很難 08/03 05:59
40F：→ ohyaehchu : 了 08/03 05:59
41F：→ WenliYang : 總之不賺錢 跟一般人也沒啥關係 盡吹 08/03 06:34
42F：→ WenliYang : 自以為是山頭 實際上難說 08/03 06:35
43F：推 A80211ab : 一定會獲利， 大數據整合與學習需要時間的 08/03 06:41
44F：推 dodobaho : 這篇可以 08/03 06:51
45F：噓 pig789 : 自從陳龍看好台積電之後 AI就崩了 08/03 06:52
46F：推 zzahoward : 你的演繹很清楚耶 08/03 07:01
47F：→ zzahoward : 所以為什麼大家這麼怕中國搞AI 因為自由資本主義市 08/03 07:02
48F：→ zzahoward : 場經不起無底洞的現金流 但中國可以餓肚子下去玩 08/03 07:02
49F：推 huchain : 普及應用方法有限無法突破 08/03 07:05
50F：→ WenliYang : 人型機器人……科幻片看看可以 實際上太難了 還早 08/03 07:06
51F：→ WenliYang : 得很 08/03 07:06
52F：推 afflic : 很難嗎 以前也無法想像會自己回答問題的電腦吧 08/03 07:10
53F：→ afflic : 科幻片的情節正在一一被實現 08/03 07:11
54F：推 eejovi : 建議可先考慮在高速公路上發展自動駕駛，場景較為 08/03 07:11
55F：→ eejovi : 單純，相較城市。甚至若能透過自駕改善駕駛行為， 08/03 07:11
56F：→ eejovi : 也許能有效提升高速公路的運輸狀況。 08/03 07:11
57F：→ afflic : 不知道什麼時候輪到時光機 08/03 07:11
58F：推 modhairs : 推一個 08/03 07:17
59F：→ guteres : 同意長期投資 08/03 07:27
60F：推 Samurai : 現在大家等的就是電影鋼鐵人中的賈維斯管家那種AI 08/03 07:34
61F：→ Samurai : ，要看openAI chatgpt5有沒有大突破 08/03 07:34
62F：→ Samurai : LLM在chatgpt出來後已經往前跨了一大步 08/03 07:36
63F：推 drajan : Knowledge distillation, mixture of experts, edge 08/03 07:47
64F：→ drajan : computing, quantization. 大哥你這些東西寫成中文 08/03 07:47
65F：→ drajan : 看得懂的沒幾個吧 寫英文還比較有可比性 08/03 07:47
66F：推 Cactusman : 還在算capex就沒意義了、問題是你不燒錢做未來連入 08/03 08:40
67F：→ Cactusman : 場機會都沒 08/03 08:40
68F：推 poeoe : 這篇是股版裡講得很不錯的了 好文 08/03 08:40
69F：推 a942195 : 高速公路EAP早就接近自動駕駛了 要lag多久 08/03 09:03
70F：推 junior020486: 中國搞這個沒用吧，被晶片禁令ban了 08/03 09:04
71F：→ democrat : 台灣純軟業爛的跟屎一樣 自己判斷AI有沒有未來有失 08/03 09:34
72F：→ democrat : 偏頗噢 08/03 09:34
73F：推 clairehao : 推 08/03 10:13
74F：推 rivual : 推這篇 08/03 10:28
75F：推 qrose666 : 推！ 08/03 10:37
76F：推 mdkn35 : 我猜這版有多數人認為AI=LLM=自駕=各種神奇應用 08/03 10:48
77F：→ newwu : Quantization 真的翻量化嗎 這樣翻蠻怪的 08/03 11:00
78F：推 tmot : 推 08/03 11:01
79F：推 skylite789 : 推一個專業！這才是懂AI的人講出來的 08/03 11:14
80F：推 huabandd : 所以我才會看好高速網路跟雲端運算，蘋果做的事就 08/03 11:23
81F：→ huabandd : 是這樣，自己不投資硬體用別人的雲端來訓練模型， 08/03 11:23
82F：→ huabandd : 硬體淘汰的很快，你不換新的有別人換新的，用別人 08/03 11:23
83F：→ huabandd : 提供的雲端運算完透過高速網路回傳到自己的系統， 08/03 11:23
84F：→ huabandd : 未來甚至是傳到個人裝置上，才是省錢省裝置算力的 08/03 11:23
85F：→ huabandd : 辦法，不然硬體的極限就在那邊，再怎麼想突破都很 08/03 11:23
86F：→ huabandd : 困難，手機怎麼算都算不贏雲端，還不如直接收資料 08/03 11:23
87F：推 ProTrader : LLM當然有用 只是目前成本還是太高 08/03 11:38
88F：→ ProTrader : 在教主那篇我就說了未來要拼的是AI的演算法 08/03 11:38
89F：→ ProTrader : 用簡單有效的模型在便宜機台上算出有用結果 08/03 11:39
90F：→ ProTrader : 也就是AI工程師要對各種專業知識有高度了解 08/03 11:40
91F：→ ProTrader : 才可能在AI演算法突破 這是人類工程師的價值 08/03 11:41
92F：→ ProTrader : 當然短期內搶鏟子的風潮會持續 08/03 11:42
93F：→ ProTrader : 主因是現階段那些模型都是類神經網路 08/03 11:43
94F：→ ProTrader : 類神經網路要降到夠便宜 至少要小模型甚至迷你模型 08/03 11:44
95F：推 strlen : 還在擔心錢的事喔？我就問Uber燒了多久才損益平衡 08/03 12:51
96F：→ strlen : ？YouTube呢？還有那個圖奇燒九年還是虧 電動車燒 08/03 12:51
97F：→ strlen : 幾年？低軌衛星呢？就連智慧手機題材也是搞了3 5年 08/03 12:51
98F：→ strlen : 才大爆發 廠商有收手嗎？只有看到後悔沒早點進場最 08/03 12:51
99F：→ strlen : 後被洗出去的 怎麼會去擔心錢的問題？啊不然巨頭賺 08/03 12:51
100F：→ strlen : 那麼多 你講一個比ai更有前途的投資嘛 08/03 12:51
想要左側的話，我都覺得很好啊
每個人接受的價位不同以我目前來說，這裡做左側，我覺得太高了。
※ 編輯: neo5277 (1.162.163.74 臺灣), 08/03/2024 13:02:52
101F：推 DarkerDuck : 優質分享推 08/03 15:33