作者celestialgod (天)
看板R_Language
標題Re: [問題] 利用newton-raphson method 求迴歸係數
時間Sat Dec 5 19:57:54 2015
※ 引述《ritajen (asdfge)》之銘言：
: ※ 引述《celestialgod (天)》之銘言：
: : 我懶得推文了...
: : 問題如下：
: : 1. 你知道logistic的MLE怎麼算嗎？
: : 2. 你有了牛頓法的程式，但是你知道f3放什麼？x0放什麼嗎？
: : 3. 我看不懂你創的矩陣，[Y-pi1]是從哪裏來的？
: : 4. 從你的敘述裡面，似乎都對newton這個函數不熟悉，你要怎麼跑這個程式？
: : 5. 你知道R可以直接用glm求logistic regression的迴歸係數嗎？
: 我知道R裡面可以直接算唷，不過規定不可以使用內建函數。
: 然後我知道MLE的求法，求殘差到回歸線的最小平方和。
^^^^^^^^^^^^^^^^^^^^^^^^^^
logistic的求法不完全是這樣...
你的Y是0 or 1，此時殘差並沒有太大的意義
logistic採取的是iterative reweighted least-square的方法
weighted least-square應該聽過吧？
平常的least-square 對每一個樣本在做加權的動作
logistic regression的Likelihood求出來之後
透過微分，可以得到
hessian 類似 X^TWX
gradient 是 X^T(y-pi) 的樣子
pi = P(Y = 1 | X_i) 換成中文，就是給定X_i時，Y=1的機率
最後透過newton method做疊代就可以得到結果了~~
因此，你對logistic求解的過程不甚熟悉
所以不知道怎麼利用newton這個函數
問題不是問的不好，我只是透過問題去了解你認識的程度，才方便做回答而已
我的文字可能比較生硬，如有得罪，還請多多包涵
最後，你可以google看看 logistic regression MLE 應該可以找到相關資訊
: f3的話我的理解是一個包刮{gradient,hessian}的函數,
: 我了解這兩個值需要利用矩陣相乘而得。
: [Y-pi](這是提示給可以利用的矩陣)，至於newton這個函數我是不熟沒有錯，因為剛開始接觸又沒有數理的背景，抱歉問了不好問題。
: 因為真的想了很多天還是無從下手，所以才想來請益各位，問題問得不好抱歉。
最後的程式：
http://pastebin.com/hSJq1Enr
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.109.73.236
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1449316677.A.444.html
1F：推 ritajen: 謝謝^^ 不過我應該是先得到迴歸係數，才有辦法算pi，這 12/05 20:33
2F：→ ritajen: 樣的話我一開始的矩陣[Y-pi]是不是創造不出來? 12/05 20:33
是，所以我也不知道你們老師的提示是什麼意思
3F：推 ritajen: 好唷，還是感謝你 :) 12/05 20:54
不客氣，細節部分不懂，可以再寄站內信討論
4F：→ allen1985: Y = pi 還比較合理 12/05 20:56
??
5F：→ allen1985: 我只是想說logistic是在fit機率 也許老師的hint是這個 12/05 22:14
6F：→ allen1985: 而不是Y-pi 12/05 22:14
喔喔，瞭
※ 編輯: celestialgod (140.109.73.234), 12/06/2015 13:22:21