作者asdfrtg (asdfrtg)
看板R_Language
標題[問題] 爬蟲初試
時間Mon Jul 20 22:26:49 2020
[問題類型]:
效能諮詢(我想讓R 跑更快
[軟體熟悉度]:
使用者(已經有用R 做過不少作品)
[問題敘述]:
想試圖用XML裡的套件readHTMLTable()爬
https://reurl.cc/arOM1D的表格
當作練習 卻沒反應
按照
https://reurl.cc/Wd68Gx也沒辦法整理
所以小弟本人決定用硬a的方式....
想請問有什麼方法可以直接爬蟲下來並且整理好成表格的@@
[程式範例]:
setwd("D:\\")
d1<-read.csv("行政院環境保護署標案.csv",header=F)
a1<-data.frame(t(d1[1:6,]))
a2<-data.frame(t(d1[7:12,]))
a3<- data.frame(t(d1[13:18,]))
a4<- data.frame(t(d1[19:24,]))
a5<- data.frame(t(d1[25:30,]))
a6<- data.frame(t(d1[31:36,]))
a7<- data.frame(t(d1[37:42,]))
a8<- data.frame(t(d1[43:48,]))
a9<- data.frame(t(d1[49:54,]))
a10<- data.frame(t(d1[55:60,]))
a11<- data.frame(t(d1[61:66,]))
a12<- data.frame(t(d1[67:72,]))
.
.
.
.
.
result<-rbind(a1,a2,a3,a4,a5,a6,a7,a8,a9,a10,a11,a12,........)
[環境敘述]:
R4.02
[關鍵字]:
爬蟲、rvest、XML、XML2
--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.124.179 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1595255214.A.9BD.html
1F：→ locka: 你的程式碼跟rvest沒關係啊…沒反應的話至少也貼上你的程式07/20 23:22
2F：→ locka: 碼讓大家知道你卡在哪裡…07/20 23:22
3F：→ locka: 有的時候爬不下來可能因為表格內容是動態產生的，如果對於h07/20 23:25
4F：→ locka: tml觀念不熟的話，或許可以使用rselenium套件試看看07/20 23:25
5F：→ asdfrtg: 感謝l大提點07/21 00:09
6F：→ asdfrtg: 不過是想讓這段程式碼可以變成爬蟲到表格一條龍能夠解決.07/21 00:11
7F：→ asdfrtg: ..所以才提出效能諮詢@@07/21 00:11
8F：→ locka: 我剛剛試了一下你貼的網址，的確沒有那麼好爬，我再研究一07/21 00:29
9F：→ locka: 下。是說你的d1長什麼樣子啊？看起來你現在是貼到csv然後再07/21 00:29
10F：→ locka: 讀取，既然要這樣為什麼不貼上的時候就整理好？07/21 00:29
回l大就是會變成整個是一欄
但必須要做成六欄多列
做到有些崩潰就上來板上想請教有沒有更加快速的方法...
12F：→ andrew43: 其實只是抓每個cell再排到matrix裡而已07/21 00:56
感謝a大的幫忙...orz,
另外想請問兩位大大 若爬蟲的話
通常會使用哪個套件那個函數
※ 編輯: asdfrtg (49.216.124.179 臺灣), 07/21/2020 01:22:50
13F：推 locka: 其實爬蟲就是把網頁上你按右鍵查看原始碼的東西抓下來，所 07/21 13:20
14F：推 locka: 以read_html()會需要，然後重點是要會解析標籤，我個人常用 07/21 13:20
15F：推 locka: xml_find_all()取出想要的內容，以上都是rvest/xml2套件 07/21 13:20
是用selectogadget嗎？
※ 編輯: asdfrtg (49.216.124.179 臺灣), 07/21/2020 13:55:32
16F：推 locka: 看了一下，selecttogadget是幫助你解析網頁元素的xpath，這 07/21 14:19
17F：推 locka: 部分相同功能的東西chrome擴充應用程式商店很多，挑習慣的 07/21 14:19
18F：推 locka: 用就好。 07/21 14:19
19F：→ locka: 更正：SelectorGadget 07/21 14:25
20F：→ andrew43: 推locka，最常用就是rvest或xml2。 07/21 15:23