作者bearching (Exploring inspirations)
看板R_Language
標題[問題] Rselenium網頁爬蟲迴圈問題
時間Tue Jan 29 15:18:37 2019
[軟體熟悉度]:
入門(寫過其他程式，只是對語法不熟悉)
[問題敘述]:
===
02/11/2019補上更詳細的問題敘述供參考
我目前想做的事情是在一個資料庫上爬資料，
資料庫是用網頁呈現的，我的需求是複製搜尋資料庫之後的結果，
該搜尋結果一頁只會呈現35筆的資料，
所以如果搜尋結果總共20000筆的話我就會手動複製到天荒地老，
故打算用爬蟲的方式複製資料，再轉成excel可以讀取的檔案，之後再進行下一步分析
coding卡住的地方是我原本想要一筆資料就設定為一個變數，
35筆資料就有35個變數
locka與celestialgod的建議是，R的概念不是這樣子的(也幸好不是，後來想想這樣子抓
資料會很恐怖)
應該是設定一個list函數，再把資料儲存到這個函數裡面
我後來使用的是vector函數，然後把資料儲存進去，
再輸出為csv檔:
a <-vector()
#中間複製資料的code略過
at <- matrix(a)
write.csv(at, file ="abc.csv")
======
我想要寫的內容是，宣告jump.page當作網頁的頁碼(從第2頁開始)
每頁有0~34行的內容，我用xpath定位這總共35行，
value是paste0(value ="//span[@id='tr_",m,"']"))
然後整個網頁頁面是從第2頁到第10頁
一樣是用xpath定位網頁上面的頁碼，value是
paste0(value ="//a[text()='",jump.page,"']"))
我想要問的事情是
1.take_m的這個宣告變數，我想要把m用迴圈的數字代換，但目前就是跳出"take_m"
這個變數而已，
這個目的想要的是把複製的文字記錄在同一個變數(或是vector?)裡面，
再print來看
2.我使用paste0()做這件事情，目前好像時好時壞，有時候會認不得我寫的東西，
有時候又可以，請問有沒有版友跟我發生一樣的事情呢? 感謝
[程式範例]:
jump.page <- 2
while(jump.page <= 10){
for(m in 0:34) {
take_m <- remDr$findElement(using = "xpath", paste0(value =
"//span[@id='tr_",m,"']"))
take_m$getElementText()
}
web.link <- remDr$findElement(using = "xpath", paste0(value =
"//a[text()='",jump.page,"']"))
web.link$clickElement()
jump.page <- jump.page + 1
}
[關鍵字]:
爬蟲 Rselenium 迴圈
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.119.121.6
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1548746320.A.8BC.html
※ 編輯: bearching (140.119.121.6), 01/29/2019 16:30:05
1F：推 locka: 建議提供可以重現問題的程式碼。不過我覺得原po可以練習使 01/29 17:39
2F：→ locka: 用*apply系列函數來寫迴圈。如果我沒理解錯的話，你現在卡 01/29 17:39
3F：→ locka: 住的地方是在於想跑35次迴圈產生35個 take_m 變數，方便你 01/29 17:39
4F：→ locka: 查看每次的內容；可是R的邏輯在這裡不太像一般的程式語言， 01/29 17:39
5F：→ locka: 舉例來說如果你用result<- lapply(…)來做的話，回傳值會是 01/29 17:39
6F：→ locka: 一個長度35的list，list中每個element就是每次的結果，這樣 01/29 17:39
7F：→ locka: 只要用 result[index] 的方式就可讀每次的結果了，根本不需 01/29 17:39
8F：→ locka: 要設35個變數。 01/29 17:39
感謝你~! 我現在的確是用list函數來做，爬了版上文章看到可以用list
來實現我想做的事情。
我會找找看apply系列的函數來看的，再次感謝~!!
※ 編輯: bearching (123.204.166.118), 01/30/2019 00:46:56
※ 編輯: bearching (140.119.121.6), 01/30/2019 11:56:09
9F：→ celestialgod: 是不是用apply是無所謂，但是沒有可以重現問題的程 01/30 16:47
10F：→ celestialgod: 式碼 實在無法幫忙.... 01/30 16:47
11F：→ celestialgod: 啊啊 原來原po要產生task_1, ...這樣的變數？ 原po 01/30 16:48
12F：→ celestialgod: 請考慮用list存下task的資料 01/30 16:48
目前我是使用vector來產生一個向量，然後把我要的資料全部塞進去再儲存為csv檔
※ 編輯: bearching (140.119.121.6), 02/11/2019 17:38:44