作者derekhsu (浪人47之華麗的天下無雙)
看板Stock
標題Re: [請益] AI到底是遇到什麼問題？
時間Sat Aug 3 07:39:41 2024
※ 引述《neo5277 (I am an agent of chaos)》之銘言：
: 雖然這版是投資版，但是我覺得技術問題，還是先跟投資切開來比較好一點。
技術跟應用場景的問題我不談，之前的人已經談過了，大致上沒有問題。
不同領域的人可能體驗不太一樣，但LLM普及的程度並沒有這麼低，具體而言，主要是 ChatGPT ，在部分領域已經是不可或缺的必要工具，到了掛掉會影響到正常工作或不能工作的程度。
首先是 coding，就我而言，至少有50%的程式碼已經是由 ChatGPT 完成的，遇到 bug 我幾乎沒有再用 Google 或是 stackoverflow ，log 直接丟進 ChatGPT , 大部分情況下它都能大幅減少我的工作時間。
除了遇到有關於 pydantic 的問題，因為這個 module 最近出了V2，模型的回答經常會混合V1的答案，而且傻傻分不清楚，在之前舊的沒有納入 pydantic 的版本時，這問題更為嚴重，必須要自己先提供文件用RAG 讓它知道。
但是就我實際的觀察周邊的人，發現LLM 對於低階的工程師，高階的工程師的幫助個別顯著，但是對於中階工程師而且有使用上的困難。
低階的工程師處理的是低階的問題，本來基礎就不好，LLM本身的能力就能超越這些低階工程師。
高階工程師的能精準的知道自己需要的是什麼，哪些部分可以透過LLM來做比較快，那些自己來做比較不會出錯。懂得如何 prompting ，做問題拆解，所以也能很好的利用到LLM的好處。
而中階工程師就會卡在不上不下的狀況，低階的工作可以自己處理，但是有時候要處理高階工作時不知道要怎麼問LLM，不曉得怎麼做問題拆解，不知道怎麼為 LLM 的回答加入 constraints，那LLM的回答就經常不會是自己想要的答案，甚至是會繞遠路，簡單來講，就是不會發問，因為處理高階問題時，問出正確的問題，提供正確的限制式很重要。
我舉例來說，我自己做RAG的系統，很多人問問題的方式不是在問問題，而是提供幾個關鍵字，當作搜尋引擎在用，那回答的品質當然不好，這也是為什麼 OpenAI 還要做 SearchGPT 的原因之一。
同樣的狀況，也會發生在其他會大量使用到 LLM 的領域上面，必須學術研究。
我不相信現在還有大學生研究生不用 ChatGPT 的，但是但是它肯定也是只能對高階跟低階用戶比較有用，中階用戶因為不懂得問題拆解以及提問技巧，得到的有可能是無法讓人滿意，甚至可能是抄襲出來，虛構的答案，而這些是中階用戶很難判斷的。
LLM具體應用的場景絕對已經深入到某些領域而且已經無法回頭了。
現在的問題是為了持續擴大這個領域，各家公司必須持續軍備競賽，所以成本居高不下。
使用單位大量缺乏問題拆解能力以及提問能力的人無法滲透，即便現在有透過 multiagent 的技術試圖讓LLM能自己做問題拆解，但LLM的大局觀仍遠不如人類。
其實這就有點類似圍棋之前的狀況，LLM善於最後的收官階段，卻沒有大局觀不擅長整體布局，直到 AlphaGo 出現之後達到技術突破。
AIPC是各家CPU公司試圖讓自己從NVIDIA 沒有多少投入的 To C市場突破的一個行銷方式，我仍稱這種是行銷方式是我認為 CPU ＋ NPU 這種應用在PC上面除了拿來做指紋辨識，臉部辨識，這種通用應用以外，To C的NPU場景還沒有那種我不得不用，不用會完蛋的那種應用。
而這種應用在NVIDIA的To B場景下已經有很多了。
如果OpenAI減緩研發腳步，停止讓LLM普及化的燒錢，專注於特定領域的應用，肯定可以很快的改善獲利，問題是這不是一個可以停下來的情況，誰能達到下一個階段的突破，誰就能吃下整個市場。
所以我認為不是LLM應用場景不足，而是目前投入成本不但高，而且根本停不下來。
-----
Sent from JPTT on my Vivo V2124.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.8.37.233 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1722641986.A.4BF.html
1F：推 hansaqa : 認同啊，軟體從業人員已經無法不用，產出速度和品 08/03 07:52
2F：→ hansaqa : 質都是數倍於以往。多的時間ㄏㄏㄏ 08/03 07:52
3F：推 seemoon2000 : 你說的情境 就是滿多人說的 99分的人會變得更有效率 08/03 07:54
4F：→ seemoon2000 : 30分的人會大躍進變70分 原本70分的人可能只變80分 08/03 07:54
5F：推 jyhfang : 推 強的或更能善加利用的會更有優勢 沒跟上的人自己 08/03 07:56
6F：→ jyhfang : 看著辦 08/03 07:57
7F：推 panda816 : 認同 現在燒錢就是在搶先做出一個適合大眾使用的模 08/03 08:08
8F：→ panda816 : 型 一旦成功所有市場都是一家獨吃 08/03 08:08
9F：推 duane : 我看法相反欸 增加效率並不代表獲利增加 08/03 08:18
10F：→ duane : 例如娛樂 廣告 或至於專利 因為實際上餅並不會爆發 08/03 08:19
11F：→ duane : 性成長 08/03 08:19
12F：推 duane : AI真的有顯著助益反而是在專業領域 例如生技醫藥研 08/03 08:22
13F：→ duane : 究 08/03 08:22
14F：→ duane : 比較有機會帶來突破爆發的可能性 08/03 08:23
15F：推 ss218 : 碼農效益增加對獲利沒什麼太大幫助 頂多可以多裁2個 08/03 08:24
16F：→ ss218 : 省錢 08/03 08:24
17F：推 kutkin : 就像掃描器 鍵盤 只是減少文員的雇用 08/03 08:32
18F：→ kutkin : 辦公室行政人力下降 08/03 08:33
19F：推 neil0611 : 創造失業率 呵呵 08/03 08:47
20F：推 duane : 不見得提高失業率，可能比較關於個人較有益。那麼就 08/03 09:08
21F：→ duane : 是一種服務。那麼要花多少錢買這服務而已 08/03 09:08
22F：推 mdkn35 : 原Po能否提幾個“高階”問題作為範例？ 08/03 09:16
23F：推 crowley : chatgpt就是幫你統整網路上資料的小幫手 實際上工 08/03 09:17
24F：→ crowley : 作的內容還是有很大一部分是需要自己發想的 08/03 09:17
25F：推 Sawilliam : 程式設計開發 快真的很多 有些雜事的code 自己寫要 08/03 09:17
26F：→ Sawilliam : 一兩個小時 丟給gpt 改一改 5分鐘內搞定 08/03 09:17
27F：→ jayemshow : 有站在從業人員角度看XD 產品要能賺大錢就是要跟智 08/03 09:24
28F：→ jayemshow : 慧型手機一樣 小到小朋友 大到阿公阿嬤都在用 你軟 08/03 09:24
29F：→ jayemshow : 體業從業人員全地球佔比才幾% 08/03 09:24
30F：推 hillgod : 以這篇來說AI是個工具，這工具會用的人會覺得很好 08/03 09:27
31F：→ hillgod : 用 08/03 09:27
32F：推 ishdtt598 : 我外國朋友開的軟體小公司被ai寫程式打敗了 幫QQ 08/03 09:29
33F：推 Sawilliam : 文書處理 書信 美術 影片等也都可以處理.. 08/03 09:30
34F：推 zick8932511 : 對的時間炒股 08/03 09:32
35F：推 doranako : 目前工程師的市場成長，但其他就都還沒看到市場， 08/03 09:43
36F：→ doranako : 其他像ai可以替代部分客服問題，就不需要那麼多客 08/03 09:43
37F：→ doranako : 服人員 08/03 09:43
38F：推 ck326 : 公司可以多裁幾個瑪農省錢而已，嘻嘻 08/03 09:45
39F：推 nikolas : 以前可能要花一天時間寫的程式。現在有AI，可能只 08/03 09:46
40F：→ nikolas : 需要一個小時 08/03 09:46
41F：→ paul10404 : 你講的是ai讓工程師失業了，不是ai怎麼賺錢 08/03 09:52
42F：推 CCPenis : 看起來AI讓部分工程師準備失業了== 08/03 09:57
43F：推 baddaddy : 投資人的問題是你花多少錢在ai上 08/03 09:57
44F：→ benson502 : 問題是AI根本還賺不了錢，投入上千億美，連詐騙阿 08/03 10:01
45F：→ benson502 : 祖的車尾燈都看不到 08/03 10:01
46F：推 js850604 : 減少員工就是減少成本，24HR還不用勞基法不用各種 08/03 10:08
47F：→ js850604 : 員工福利，獲利大提升 08/03 10:08
48F：推 Liberl : 降低成本這件事就是一種效益 08/03 10:12
49F：→ Liberl : AI還沒帶來商業模式 但降低成本是正在發生的事 08/03 10:12
50F：推 japanmuta : 推 08/03 10:15
51F：推 sdbb : 推這篇，碼農會覺得AI好用是因碼農本身熟悉使用方式 08/03 10:19
52F：→ sdbb : 一般人覺得AI無用，是因一般人不熟悉使用方式 08/03 10:19
53F：→ sdbb : 覺得有潛力的，自然會去學 08/03 10:20
54F：推 iamala : 碼農還是不要自稱工程師吧…工程師是幾百年前就有 08/03 10:23
55F：→ iamala : 的優秀職業。 08/03 10:23
56F：→ derekhsu : 高階問題範例：打造一個可用的ERP系統，我想建立一 08/03 10:24
57F：→ derekhsu : 個CRM平台… 08/03 10:24
58F：→ derekhsu : 越高階的問題越需要細部拆解成各種可以處理的子問題 08/03 10:25
59F：→ aloness : 聽起來是苦力型的程設人員可以多砍幾個… 08/03 10:35
60F：→ aloness : 但是成品售價不會因此拉高…？ 08/03 10:36
61F：推 andre9 : 我也是 08/03 10:38
62F：→ aloness : 對業績有幫助就兩個方向，一是創造高利潤產品，一 08/03 10:38
63F：→ aloness : 是降售價但大量銷售，這能做到哪個？ 08/03 10:38
64F：推 neomaster : 我文組 試用chatgpt 似乎是把網路上有的資料加以整 08/03 10:41
65F：→ neomaster : 合 我比較把它看成是一個有整理的資料庫 08/03 10:41
66F：→ neomaster : 平常人可以拿來查一些資料是很好用 但如果是學生/ 08/03 10:41
67F：→ neomaster : 研究員使用也好用嗎 機器給你是整合好的資料 至於 08/03 10:41
68F：→ neomaster : 來龍去脈都不清楚 不會有心虛的感覺嗎 08/03 10:41
69F：推 sdbb : AI的用途不是只有chatgpt 08/03 10:45
71F：→ derekhsu : 研究員當然也很好用，因為他們問問題絕對跟菜鳥不一 08/03 11:27
72F：→ derekhsu : 樣 08/03 11:27
73F：推 huabandd : 大家都想搶這塊餅自然競賽很兇 08/03 11:28
74F：→ dslite : 跟你老闆講 薪水付一半給你就好 08/03 11:29
75F：→ huabandd : 搶得兇就算了，問題是老黃晶片更新有夠快 08/03 11:29
76F：→ huabandd : 不更新又怕追不上，於是更燒錢 08/03 11:29
77F：→ aloness : 重演.com時代的困境 08/03 11:38
78F：推 louner : 想不到會在股版看到pydantic 我也被這鬼東西搞過好 08/03 11:55
79F：→ louner : 幾次 08/03 11:55
80F：→ unima : 沒AI幣！算心酸的。 08/03 12:20
81F：→ derekhsu : v1 v2不相容超靠北 但最慘的是 FastAPI 新版依賴v2 08/03 12:21
82F：→ bojan0701 : 應該能造成降價，因為工程師可少聘，但工程師占成 08/03 12:25
83F：→ bojan0701 : 本比例低，難大量降價。期待看到其他領域AI有大突 08/03 12:25
84F：→ bojan0701 : 破...認識兩個頂博做AI開發應用 東西差異大 一般人 08/03 12:25
85F：→ bojan0701 : 要駕馭這工具 可能沒這麼容易。 08/03 12:25
86F：推 neo5277 : 但是我們終究是少數人，不管事chatgpt或是gitcopilt 08/03 13:05
87F：→ neo5277 : 用爽爽，佔他現金流就是只有一點點，基金會或是2B 08/03 13:07
88F：→ neo5277 : 訂閱，就像買office或是IDE訂閱那樣不會有大的 08/03 13:08
89F：→ neo5277 : 繼續發展我是100%贊成，我不知道股東跟董事CEO 08/03 13:09
90F：→ neo5277 : 挺不挺得住~~ 08/03 13:09
91F：推 RIVERSHAKE : 程式寫得好要飯要到老 這是以前戲謔的順口溜 08/03 13:51
92F：→ RIVERSHAKE : 把寫程式的過程變得更有效率 稱不上突破性的應用 08/03 13:51
93F：推 mdkn35 : 如果你說的高階是指管理階層 LLM給一個預設值的框架 08/03 14:46
94F：→ mdkn35 : 那確實是 但發生問題或要改新東西 管理階層肯定完蛋 08/03 14:46
95F：→ derekhsu : 高階問題是概念性問題需要細部拆解的問題 08/03 15:46