作者iambakr (123)
看板R_Language
標題[問題] Rvest 網路爬蟲問題
時間Wed Dec 18 01:42:10 2019
程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)
[軟體熟悉度]:
新手(沒寫過程式，R 是我的第一次)
[問題敘述]:
爬網頁上的產品名稱, 價格, 連結，以及每個產品連結網頁裡面的六個規格種類
然後合併成一個 13x9 的 data frame
但目前我有碰到以下幾個問題，想請前輩幫忙
Q1: 產品價格可以成功爬到，可是價格中間的空格都無法去掉，只留下數字部分。看了一
下網頁原始碼價格有包含  這段，想請問要如何單獨提出裡面的數字?
Q2: 我用for 迴圈可以爬到13個各別網頁裡面的六個規格，想請問要如何爬出規格然後變
成 13x6 的資料然後跟其他爬到的資料合併成一個 data frame?
Q3: 承上，我有嘗試抓 html_table的方式，但跑出來就只有list()。請問我的寫法是哪
邊出了問題?
謝謝各位
[程式範例]:
https://ideone.com/QsX80K
[環境敘述]:
R version 3.6.2 (2019-12-12)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows 7 x64 (build 7601) Service Pack 1
[關鍵字]: Rvest, for loop, html_table
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.43.212.12 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1576604534.A.85C.html
1F：推 xiangying: 1.用gsub將空格替換掉 12/18 03:25
2F：→ xiangying: 2看起來用rbind就做的到？ 12/18 03:26
3F：→ iambakr: Q1沒辦法直接將空格換掉，看起來是空格但裡面其實還包含 12/18 22:37
4F：→ iambakr: 其他網頁原始碼 " " 12/18 22:37
5F：→ iambakr: Q2我有跑出來13個結果，但好像會一個接一個取代，以至於 12/18 22:38
6F：→ iambakr: 我看長度都只有6個... 12/18 22:38
7F：→ andrew43: 還是建議把實際的HTML檔拿出來討論。 12/18 22:39
10F：→ andrew43: 1.用gsub吧。x <- "123 456"; gsub(" ","",x) 12/18 23:43
11F：→ andrew43: 更正，gsub("\u00A0", "", x) 就可以了 12/18 23:51
12F：→ andrew43: 2. for之前先建好data frame，在for loop中把各項資料存 12/18 23:55
13F：→ andrew43: 入data frame中，而不是每次取值後就沒事了。 12/18 23:55
14F：→ andrew43: data frame每列為產品，欄可以是網址、spec等等東西。 12/18 23:56
15F：→ andrew43: 所以你應該從頭改寫，所有東西都存在一個data frame中而 12/18 23:56
16F：→ andrew43: 而不是各自獨立的變數，這樣整理起來會方便很多。 12/18 23:57
感謝 Andrew大! 剛剛照著你的code跑了一次，的確就是我想要的結果!
非常感謝!
但是用 \u00A0是 HTML特殊語法的關係嗎?
我看空白處它的寫法是用<U+00A0>
另外 for 迴圈跑出來的幾個變數的值空白處(例如重量, RAM)也是有 <U+00A0>
這樣子也是要等迴圈跑完填入 data frame後，再用gsub取代嗎?
最後一個好奇問題是，你貼上去的分享code連結，為何呈現的網址跟我貼的不一樣?
跑第二次就出現以下問題了
Error in open.connection(x, "rb") :
Could not resolve host: w...content-available-to-author-only...t.nu
※ 編輯: iambakr (114.43.208.85 臺灣), 12/19/2019 01:41:18
18F：推 andrew43:  是HTML的特殊符號，而R得到後對應Unicode就是你看 12/19 08:14
19F：→ andrew43: 到的。 12/19 08:14
20F：推 andrew43: 網址相同不一定內容相同，不同時間去爬的關係把 12/19 08:16
21F：推 andrew43: 我相信你已經有辦法處理其他內容中的nbsp了。 12/19 08:18
22F：→ iambakr: 感謝Andrew大!後來有照你的方法成功去除 了! 12/20 00:06
23F：→ iambakr: 請問有一段你的代碼是gsub("\u00A0", "", .) 最後一個點 12/20 00:06
24F：→ iambakr: 代表什麼意思呢? 是正則嗎? 另外如果要爬多網頁，網址 12/20 00:08
25F：→ iambakr: 規則是結尾=數字倍數方式，這樣邏輯上是爬完第一頁後，再 12/20 00:10
26F：→ iambakr: 用迴圈跑剩下頁數然後一樣丟進 data frame嗎? 謝謝 12/20 00:10
27F：推 andrew43: 那個點是pipe後代表先前的回傳值 12/20 10:02
28F：推 andrew43: 你說的扒多個網頁我不了解意思，可以開新的討論問。 12/20 10:04
29F：→ iambakr: 感謝Andrew大! 我再研究一下，真的不行再po文請教大家 12/24 00:45