作者woogee (woogee)
看板DataScience
標題[問題] xgboost同原始資料當input，先經過轉換?
時間Sun Apr 28 18:19:23 2019
不好意思，這個問題實在不知道怎麼下標題所以只好這樣下
是這樣的，最近有個project有點趕
內容比較不方便說明，這邊用舉例的
舉例為：
假設你目前僅有的資料是身高和體重
要預測他會喜歡4種商品的哪樣產品(multi class classification)
我的疑問為：
直接以"身高、體重"當input，使用xgboost預測
與
先以常用的已知公式bmi計算後再把"身高、體重、bmi"使用xgboost預測
是否可能會增加正確率?
會有這個疑問是因為bmi原本也是從身高、體重所衍生的資訊
如果原本身高體重就無法解釋喜歡哪樣商品
縱使增加了bmi這個資訊正確率仍然不會增加才對
但概念上，先計算出bmi與資料預處理(preprocessing)又有點類似
好的預處理確實會影響預測準確率
所以到底先經過一些原本已知的公式計算後當input，有沒有可能大幅增加正確率?
以上，先謝謝各位大大的指教
==
補充：
因為時間比較緊，我只能在
1. 撰寫一堆爬蟲趕快搜集蒐集更多資料
2. 撰寫一推不同的公式計算當input預測看看
兩個方式抉擇一種
又2的部分也有將近無限多種公式的種類
所以如果2的方式確定不可行，或是可行的機會太渺茫
我要把時間全部砸在1的方式處理
以上，謝謝各位
--
1F：推 otosaka: 什麼長頸鹿果實 明明就牛牛果實長頸鹿型態
2F：→ Miltonn: 樓上 是馬馬果實吧
3F：推 spritepeare: 樓上 是牛==
4F：推 acer2265848: 樓上是羊
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.171.175.207
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1556446774.A.ADD.html
※ 編輯: woogee (1.171.175.207), 04/28/2019 18:27:44
5F：推 ruokcnn: Feature engineering就是trial and error 04/28 19:46
6F：→ ruokcnn: 分類樹不會知道身高跟體重有bmi的關係 04/28 19:47
7F：→ ruokcnn: 想無腦創變數就把你學過的所有數學轉換都丟進去 04/28 19:47
8F：→ ruokcnn: 看importance有沒有差 04/28 19:47
9F：→ ruokcnn: 但2的命中率可能會很低就是了 04/28 19:48
10F：→ ruokcnn: 你創了100個變數 每個都是noise是有可能的 04/28 19:49
11F：→ ruokcnn: 不試試不會知道的 04/28 19:49
12F：→ ruokcnn: 最後還是要回應bmi那段 分類樹不是神啊 04/28 19:50
13F：→ ruokcnn: 他不會自動幫你把各種變數做非線性轉換的 04/28 19:51
了解，意思是先做BMI確實有意義但機會很渺茫囉?
14F：推 ruokcnn: 渺茫與否看你要預測啥 bmi應該一行code就可以解決 04/29 12:08
15F：→ ruokcnn: 成本很低蠻值得試試的？ 04/29 12:08
謝謝你，我瞭解了，公式都不難實現，只是公式種類極多(至少100種+)
常見的是有package可用這部分會試試看，感謝
※ 編輯: woogee (1.171.175.207), 04/29/2019 14:51:58
16F：推 tipsofwarren: 我認為會，bmi 不是w h 的線性組合 04/29 21:04
17F：推 tipsofwarren: bmi 可以算是推論得到的 latent variable 04/29 22:48
18F：推 numpy: 換個角度想的話，BMI對我們是一個很通用且可以對一個人的身 04/30 01:09
19F：→ numpy: 材做基本估量的標準，但是不見得對於你要做的預測是最有用 04/30 01:09
20F：→ numpy: 的feature，比如說身高的平方如果換成別的次方有可能表現還 04/30 01:09
21F：→ numpy: 更好，但沒試過都不會知道。 04/30 01:09
22F：推 VIATOR: BMI基本上就身高體重簡單計算出來的結果 04/30 04:35
23F：→ VIATOR: 感覺不會有太大的幫助 04/30 04:36
24F：→ VIATOR: 到底有沒有幫助可能要試才知道，但感覺機會很渺茫 04/30 04:38
25F：推 goldflower: bmi的解釋也是人自創的一種metric而已 如果你要最小 04/30 15:35
26F：→ goldflower: 化的函數跟這個值沒直接關係我是不覺得能改善多少 04/30 15:35
27F：→ goldflower: 你可以用lightgbm啦 比xgboost快很多 04/30 15:37
28F：推 westercc: 從know-how角度看轉bmi是解釋得通，這也可以視為是種降 05/03 11:11
29F：→ westercc: 維(2個轉1個)，增加正確率其實不太客觀，應該要減少in o 05/03 11:11
30F：→ westercc: ut error的差距才較好，若是用身高與體重當作變數去訓練 05/03 11:11
31F：→ westercc: ，有可能會有離群值導致overfitting，而轉成了bmi是有機 05/03 11:11
32F：→ westercc: 會減少離群值的數量，但這需要觀察身高、體重、bmi的分 05/03 11:11
33F：→ westercc: 布，如果轉bmi後準確率降低，但in out error差距變小， 05/03 11:11
34F：→ westercc: 這也是可以接受的結果 05/03 11:11