作者ladie4 (老雷)
看板R_Language
标题[问题] 爬虫爬不出来
时间Mon Apr 27 19:08:53 2020
软体熟悉度：初学者
问题叙述：
各位大大好，最近找到这个网页的教学来学爬虫，本身是商科无程式基础，但之後业界好
像会用到所以先学习资料科学相关的东西
https://medium.com/chikuwa-tech-study/%E4%BD%BF%E7%94%A8r%E8%AA%9E%E8%A8%80%E9
%80%B2%E8%A1%8C%E7%88%AC%E8%9F%B2-936637f272cb
我按照他的教学点进去里头的网页做做看
https://www.mobile01.com/forumtopic.php?c=29
然後点了第一篇对标题和留言按下检查之後复制了full xpath
在R里面打出以下东西:
library(rvest)
library(dplyr)
x=read_html("
https://www.mobile01.com/forumtopic.php?c=29")
x
title_path="/html/body/div[1]/main/div[1]/div/div/div/div[1]/div[7]/div/div[2]
/div/div[2]/div[1]/div[1]/div/div/a "
titles=x %>% html_nodes(xpath = "title_path") %>% html_text()
reply_path="/html/body/div[1]/main/div[1]/div/div/div/div[1]/div[7]/div/div[2]
/div/div[2]/div[1]/div[4]/div "
replies=x %>% html_nodes(xpath = "reply_path") %>% html_text()
my.table=data.frame(title=titles,reply=replies)
View(my.table)
语法没有任何错误，但只有跑出一行东西，请问有人知道错在哪里吗
(我跟作者的程式码几乎一模一样，但我的浏览器是用估狗的)
另外一个问题，需要会员登入的论坛是不是既无法进行爬虫呢?
(朋友去伊利爬a片爬不出任何东西)
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 42.72.18.140 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1587985735.A.5ED.html
1F：推 bboybighead2: 需要登入的网站可以用selenium或送request 04/27 19:34
2F：→ ladie4: 谢谢b大 我之後会试试看的 那上面这个请问您有头绪吗…… 04/27 19:59
4F：→ bboybighead2: 可以观察一下source的结构，再决定用哪些标签查找比 04/28 00:04
5F：→ bboybighead2: 较方便。或使用chrome的插件selectorgadget满方便的 04/28 00:04
6F：→ bboybighead2: 。 04/28 00:04
7F：推 bboybighead2: 然後你的问题是出在html_nodes(xpath = "reply_path 04/28 01:00
8F：→ bboybighead2: ") 这里的reply_path不需要双引号，不然就不会传你 04/28 01:00
9F：→ bboybighead2: 想要的xpath路径，而是传”reply_path”这个字串而 04/28 01:00
10F：→ bboybighead2: 已 04/28 01:00