作者etudiant (chawit)
看板Python
标题[问题] 新手爬虫请益
时间Fri Sep 2 01:04:37 2022
板上的各位大大们好，最近刚开始自学爬虫，知道可以用find_all去抓所有同标签和属性
下的网页文字内容，但想请问如果我想抓html里面的特定内容，没有显示在网页的那种，
如下图的黄色miaowu2020的部分该如何下手呢？谢谢！
https://i.imgur.com/NhgYWme.jpg
附上我抓其他网页内容的程式
https://i.imgur.com/uuSK3Io.jpg
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.82.62.74 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1662051879.A.BCC.html
1F：→ AndCycle: 印象里 find_all("a", {"data-item-id": "miaowu2020"})09/02 03:14
刚试过好像不是，因为我是想找所以data-item-id後面的名字QQ
2F：推 JerryChungYC: get("data-item-id")09/02 03:50
谢谢J大，刚刚研究一下用get好像可以抓出来了，但多了很多显示为none 的值就是...
https://i.imgur.com/POoLHJe.jpg
https://i.imgur.com/5MxaSQ7.jpg
※ 编辑: etudiant (111.82.62.74 台湾), 09/02/2022 13:24:58
3F：推 lycantrope: 你有看过t.attrs吗09/02 14:37
4F：→ etudiant: l大您好，我没看过我来研究一下，谢谢您09/02 14:55
※ 编辑: etudiant (111.82.62.74 台湾), 09/02/2022 15:45:44
5F：→ surimodo: 程式码不要用截图尽量用线上文本 贴图很难Debug 09/02 16:16
6F：→ etudiant: 谢谢S大提醒，我等到贴上来文字 09/02 16:28
import requests
import bs4
import time
import random
URL="
https://www.zeczec.com/categories?category=16&page=1&type=crowdfunding"
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKi
t/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36'}
response = requests.get(URL,headers=headers)
soup = bs4.BeautifulSoup(response.text,"html.parser")
cash = soup.find_all('div','font-bold leading-8')
for c in cash:
print(c.text.strip())
for name in soup.find_all('a'):
print(name.get('data-item-id'))
delay_choices = [8, 5, 10, 6, 20, 11]
delay = random.choice(delay_choices)
time.sleep(delay)
※ 编辑: etudiant (111.82.62.74 台湾), 09/02/2022 16:29:08
7F：→ etudiant: 目前主要是想在这个网站外面总览的部分先抓好每一个商品 09/02 16:32
8F：→ etudiant: 的id，因为有发现它点进去个别商品的网页名称最後都是 09/02 16:32
9F：→ etudiant: 用data-item-id结尾的，想说也许这样一次爬下来就能设计 09/02 16:32
10F：→ etudiant: 一个一口气抓完个别内容的程式码（？ 09/02 16:32
11F：推 lycantrope: 可以尝试一下if else来筛选非None的值吧 09/02 16:47
14F：→ etudiant: 非常谢谢楼上s大，我马上来研究一下！！ 09/02 20:04
15F：→ surimodo: 不懂再问^^ 09/02 20:20
16F：→ etudiant: 感谢好心s大，大致上都看懂了，除了attrs［］那边的用法 09/02 21:18
17F：→ etudiant: 我不太懂可能要花点时间补些资料看XD 09/02 21:18