作者iambakr (123)
看板R_Language
标题[问题] Rvest 网路爬虫问题
时间Wed Dec 18 01:42:10 2019
程式谘询(我想用R 做某件事情，但是我不知道要怎麽用R 写出来)
[软体熟悉度]:
新手(没写过程式，R 是我的第一次)
[问题叙述]:
爬网页上的产品名称, 价格, 连结，以及每个产品连结网页里面的六个规格种类
然後合并成一个 13x9 的 data frame
但目前我有碰到以下几个问题，想请前辈帮忙
Q1: 产品价格可以成功爬到，可是价格中间的空格都无法去掉，只留下数字部分。看了一
下网页原始码价格有包含  这段，想请问要如何单独提出里面的数字?
Q2: 我用for 回圈可以爬到13个各别网页里面的六个规格，想请问要如何爬出规格然後变
成 13x6 的资料然後跟其他爬到的资料合并成一个 data frame?
Q3: 承上，我有尝试抓 html_table的方式，但跑出来就只有list()。请问我的写法是哪
边出了问题?
谢谢各位
[程式范例]:
https://ideone.com/QsX80K
[环境叙述]:
R version 3.6.2 (2019-12-12)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows 7 x64 (build 7601) Service Pack 1
[关键字]: Rvest, for loop, html_table
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.43.212.12 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1576604534.A.85C.html
1F：推 xiangying: 1.用gsub将空格替换掉 12/18 03:25
2F：→ xiangying: 2看起来用rbind就做的到？ 12/18 03:26
3F：→ iambakr: Q1没办法直接将空格换掉，看起来是空格但里面其实还包含 12/18 22:37
4F：→ iambakr: 其他网页原始码 " " 12/18 22:37
5F：→ iambakr: Q2我有跑出来13个结果，但好像会一个接一个取代，以至於 12/18 22:38
6F：→ iambakr: 我看长度都只有6个... 12/18 22:38
7F：→ andrew43: 还是建议把实际的HTML档拿出来讨论。 12/18 22:39
10F：→ andrew43: 1.用gsub吧。x <- "123 456"; gsub(" ","",x) 12/18 23:43
11F：→ andrew43: 更正，gsub("\u00A0", "", x) 就可以了 12/18 23:51
12F：→ andrew43: 2. for之前先建好data frame，在for loop中把各项资料存 12/18 23:55
13F：→ andrew43: 入data frame中，而不是每次取值後就没事了。 12/18 23:55
14F：→ andrew43: data frame每列为产品，栏可以是网址、spec等等东西。 12/18 23:56
15F：→ andrew43: 所以你应该从头改写，所有东西都存在一个data frame中而 12/18 23:56
16F：→ andrew43: 而不是各自独立的变数，这样整理起来会方便很多。 12/18 23:57
感谢 Andrew大! 刚刚照着你的code跑了一次，的确就是我想要的结果!
非常感谢!
但是用 \u00A0是 HTML特殊语法的关系吗?
我看空白处它的写法是用<U+00A0>
另外 for 回圈跑出来的几个变数的值空白处(例如重量, RAM)也是有 <U+00A0>
这样子也是要等回圈跑完填入 data frame後，再用gsub取代吗?
最後一个好奇问题是，你贴上去的分享code连结，为何呈现的网址跟我贴的不一样?
跑第二次就出现以下问题了
Error in open.connection(x, "rb") :
Could not resolve host: w...content-available-to-author-only...t.nu
※ 编辑: iambakr (114.43.208.85 台湾), 12/19/2019 01:41:18
18F：推 andrew43:  是HTML的特殊符号，而R得到後对应Unicode就是你看 12/19 08:14
19F：→ andrew43: 到的。 12/19 08:14
20F：推 andrew43: 网址相同不一定内容相同，不同时间去爬的关系把 12/19 08:16
21F：推 andrew43: 我相信你已经有办法处理其他内容中的nbsp了。 12/19 08:18
22F：→ iambakr: 感谢Andrew大!後来有照你的方法成功去除 了! 12/20 00:06
23F：→ iambakr: 请问有一段你的代码是gsub("\u00A0", "", .) 最後一个点 12/20 00:06
24F：→ iambakr: 代表什麽意思呢? 是正则吗? 另外如果要爬多网页，网址 12/20 00:08
25F：→ iambakr: 规则是结尾=数字倍数方式，这样逻辑上是爬完第一页後，再 12/20 00:10
26F：→ iambakr: 用回圈跑剩下页数然後一样丢进 data frame吗? 谢谢 12/20 00:10
27F：推 andrew43: 那个点是pipe後代表先前的回传值 12/20 10:02
28F：推 andrew43: 你说的扒多个网页我不了解意思，可以开新的讨论问。 12/20 10:04
29F：→ iambakr: 感谢Andrew大! 我再研究一下，真的不行再po文请教大家 12/24 00:45