作者ThePttUser (YhePttUser)
看板Python
標題[心得] 數據分析的心得
時間Thu Apr 1 19:59:04 2021
近來作了一些跟以前不一樣的分析，以前做的是大數據分析，我幾乎有100%的把握
訓練不會做得太爛。
但現在正在做材料分析，材料光一種成分組成，就需要一個製備過程，這製備過程
也影響到最終材料性質如何。不過非常幸運的是同事做的剛好就是在一個樣本上濺
鍍各種元素，所以可以一口氣得到非常多數據，製備條件基本上可以視為一樣，
這對做數據分析來說真的是一件好事，不過說數據非常多，其實大概也就400個數據。
我試了四種方法 做7 inputs => 5 outputs的訓練，沒有一個訓練可以很準確預測
真實值，大概是y = 1.2*x的程度，因此最近也正在研究怎麼使用小數據訓練出好的
模型，目前最好的是單純用NN，努力了好幾天還是找不出怎麼分析這種數據少的資
料。老實話真的不太容易，要請同事幫我做到一千個點的數據，他花的時間跟精力
大概是4倍。
所以這篇雖然我標註的是心得，不過是否有人知道對於這種小數據有沒有比較好的
分析方式?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.192.89.152 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1617278346.A.BFB.html
1F：→ yiche: 傳統機器學習方法：SVM、Tree structure嘗試過了嗎？ 04/01 20:50
2F：→ yiche: 也許要考慮統計方法了 04/01 20:50
3F：推 ToastBen: 小樣本，推樓上 04/02 15:59
4F：推 ddavid: 我覺得可能還需要考慮一點是，這個問題（元素配比如何影響 04/03 04:00
5F：→ ddavid: 結合後的性質）是否真的是這些學習方式的模型能表達的 04/03 04:01
6F：→ ddavid: 我對該領域不熟，雖然稍微Google了一點但也不能確定 04/03 04:02
7F：→ ddavid: 所以舉例而言，如果只有很狹窄範圍的某種配比才能凸顯出特 04/03 04:02
8F：→ ddavid: 定性質，一離開這範圍就會造成這種性質快速減弱。如果這種 04/03 04:03
9F：→ ddavid: 情況很常見的話，這會導致模型要嘛很難學習準確，要嘛很容 04/03 04:04
10F：→ ddavid: 易overfitting 04/03 04:04
11F：→ ThePttUser: 樓上沒錯，材料分析就是有這問題，不過目前國外的確 04/03 09:52
12F：→ ThePttUser: 有一批人在做元素成分的比例跟之後的材料性質 04/03 09:53
13F：→ ThePttUser: 目前我看到的是在大約三種元素的調配下有不錯訓練 04/03 09:53
14F：→ ThePttUser: 尤其是還要考慮到製備過程都可能讓長晶方式有差異 04/03 09:55
15F：→ ThePttUser: 所以我目前只是先玩玩看，主要還是看能不能另闢蹊徑 04/03 09:56
16F：→ ThePttUser: 另外回一樓tree我也做過了，訓練結果是第二好的 04/03 10:01
17F：→ ThePttUser: 我再試試svm 04/03 10:01
18F：推 ddavid: 考量製備過程真的就很複雜了，會不會有可能是與其去學習那 04/03 20:25
19F：→ ddavid: 個不容易甚至根本學不了的模型，想辦法做出模擬系統反而直 04/03 20:26
20F：→ ddavid: 接？XD 04/03 20:26
21F：推 ddavid: 雖然模擬系統應該成本遠高且細節必須完全清楚XD 04/03 20:38
22F：→ razer: 看完這段我只能說這個世代的數據分析已經跟我想的完全不同 04/03 20:57
23F：→ razer: 了 04/03 20:57
24F：→ razer: 你不覺得用物理模型去抓一些參數用在模型裡，或是設定資料 04/03 21:00
25F：→ razer: 上下界，會比你完全放數字自由移動更好一點嗎？ 04/03 21:00
26F：推 Starcraft2: 除了model外, data部分可以參考oversampling像是SMOTE 04/04 01:10
27F：→ Starcraft2: 可以參考這篇Kaggle文章 04/04 01:10
28F：→ Starcraft2: kaggle.com/rafjaa/dealing-with-very-small-datasets 04/04 01:10
29F：→ Starcraft2: 如果是在深度學習的影像處理等領域 04/04 01:12
30F：→ Starcraft2: 關鍵字Data Augmentation可以去看看 04/04 01:12
31F：推 Virness: 樣本數太少了 可以找簡單的模型試試看Logistic Regressio 04/04 01:13
32F：→ Virness: n 決策樹 04/04 01:13
33F：→ Starcraft2: 400個不能說真的很少, 但不推薦用NN 先從前面大家 04/04 01:26
34F：→ Starcraft2: 提到的幾個比較基本的模型試試吧 04/04 01:27
35F：推 heavyking02: 可以試試看GAN 雖說訓練時間真的比較久 但是對於某 04/05 11:49
36F：→ heavyking02: 些類別成效是還不錯 04/05 11:49
37F：→ yiche: 請問樓上意指要用GAN 生成data嗎？ 04/05 12:35
38F：推 a78998042a: 推22樓，小樣本分析要搭配domain資訊，而基本上400在 04/07 08:00
39F：→ a78998042a: 統計分析的領域也不算小了，搭配統計檢定來了解模型殘 04/07 08:01
40F：→ a78998042a: 差，賦予模型解釋能力。樣本不夠、資訊不夠就是加資訊 04/07 08:01
41F：→ a78998042a: 進去、更精細的了解模型。 04/07 08:01
42F：推 mewtwo: 我看到這個樣本數跟問題，第一個想到的不是NN。 04/07 19:27
43F：→ mewtwo: 是multinomial logistic regression 04/07 19:27