覺得這篇很有趣 剛好在做模型的PCA實驗 而我score也許可以觀測梯度 但梯度這個詞有空間上的導數與方向場 只能說做了一個勢能 score=α*base +β*Δfield Δfield = global potential / bias β 控制 沿 potential 上/下坡 α 控制 相似度吸引/排斥 --- α=1 β=0 https://meee.com.tw/ZwlvHfg 是什麼就是什麼 或接近什麼 --- α=1 β=1 https://meee.com.tw/HQ6jnhM 模型開始找意思 句子長的情況下幾乎被"意思"霸版 --- 原本只做上面兩個 看到這篇文章後才做了這個 α=1 β=-1 https://meee.com.tw/3Pi0NyD 字詞中已表達最強烈的意思? 還是說是 已經有強烈意思 不用有生成方向? 又或者是說 意思已經足夠 不太需要生成? 又或者是說 不用生成 因為意思足夠了 可愛的愛 被往上提 愛與恨的恨 被往上提 且痛恨 憎恨也都從向量底下撈出來 β<0 等於抑制全域勢能 head，使排序更依賴 query 本身的局部語義吸引。因此，在組 合詞中，最強語義成分（愛、恨）會浮出 --- 這個我參數設錯 但結果好像有點有趣 α=-1 β=1 https://meee.com.tw/pEefbxd 模型在"毀滅"這個詞開始在找意思了 (反相似度檢索) α<0 使系統刻意遠離 query 的語義吸引，再加上 β>0 的勢能偏置，會拉出語義最遠但 Δfield 高的 token 不知道有沒有說明為何prompt可以觀測負空間到這件事 也許Δfield升級成向量場且是做出來時就是梯度了 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.51.159 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1771662379.A.B19.html