作者s1021412107 (阿宗)
看板Python
标题[问题] 抓取留言
时间Mon Aug 27 13:33:54 2018
请问各位大大
小弟刚学爬虫
想要抓取ptt里的留言
但是我看网路只能抓留言的内容
推文、ID名称、内容、时间怎麽同时抓下来
想要直接分类好推文还是嘘文
Code如下：
import requests
from bs4 import BeautifulSoup
#所要撷取的网站网址
url = '
https://webptt.com/cn.aspx?n=bbs/movie/M.1535264750.A.3E3.html'
#建立回应
response = requests.get(url)
#印出网站原始码
#print(response.text)
#将原始码做整理
soup = BeautifulSoup(response.text, 'lxml')
#使用find_all()找寻特定目标
articles = soup.find_all('div', 'push')
#写入档案中
with open('movie_message.txt','w') as f:
for article in articles:
#去除掉冒号和左右的空白
messages = article.find('span','f3 push-content').getText().replace(':
','').strip()
print(messages)
f.write(messages + "\n")
https://i.imgur.com/dcD1cdz.jpg
https://i.imgur.com/qOreC31.jpg
https://i.imgur.com/cv3ixcj.jpg
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 110.26.37.2
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1535348036.A.483.html
1F：→ InfinityGate: 把div.push里面的span都抓下来啊 08/27 16:38
2F：→ InfinityGate: 爬虫先摸熟chrome dev tools和html结构 08/27 16:40
4F：→ qxpbyd: PTTLibrary里的PTT.py 第1291行__getPost 08/27 20:05
5F：→ qxpbyd: 有别人写好的API 可以参考 08/27 20:05
6F：推 CodingMan: 推 08/28 00:37
7F：→ CodingMan: 资料结构可以看 Test.py 有比较清楚的范例 08/28 00:39
9F：→ b24333666: 我自己写的应该会符合需求给你参考 09/05 12:19