Soft_Job 板


LINE

手机打字不想打太多 一般浏览器打开页面可以分成几个步骤: 1. 请求 HTML 2. 解析 HTML 并下载 assets (img, css, js) 3. 执行 js 4. 渲染 DOM 之後就是一直 3 4 按需执行,有动态内容可能还会有 2 当然,实际上的渲染执行步骤比这复杂的多 Selenium 等爬虫最早是透过订制的 Chromium 在不同阶段 存取页面中的 DOM,本质上还是一个浏览器在读取-解析-执行 後来有稳定 API 与 headless 模式以後,Chrome/Chromium/ Firefox 等等主流浏览器几乎都能被直接驱动 扯远了,你说得 requests 应该是指 Python 的 Requests 函式库?那它只有执行上面提到的 1,什麽东西都拿不到 是正常的。现代网页开发已走向 SPA/前後端分离,你打开 网页只有给你一个骨架与 js 去执行动态内容,所以你必须 执行上面说的 234 才能得到最终使用者看到的内容。 一般来说写爬虫要快都是去拆 API 来看,不是很复杂的 内容就是自己模拟请求直戳 API,在没有公开 API 文件的 情况下就有如逆向工程般麻烦。你必须知道他的 session 登入端点在哪,用 cookie session 还是 JWT 还是自行开发, 之後所有请求都要带登入验证 token。然後你还要知道戳 哪支 API 才会取得你要的内容,看是 JSON 还是 XML 还是其他奇奇怪怪格式,解析完才能用取得的资料。 次一级是用轻量级的 browser emulator 去模拟浏览器产生 DOM,再去爬模拟的 DOM 内容。因为原生语言优势, 这种通常都是直接写 Node.js 配 jsdom 去执行。 这边必须要注意浏览器内的 js 是在沙箱内执行的,可以用 的 API 很少,但用 nodejs 执行外部来源的 js 就要注意 RCE 等安全问题。 最後就是 Selenium 这种用真正的浏览器跑页面渲染, 相容性最好也安全,任意的 js 程式码被浏览器包装在 浏览器内部,不至於轻易爆破主机,只是速度也最慢。 再来就是看它会不会弹出一个浏览器视窗,如果会的话 代表你没有开 headless mode,有开速度也会快不少... 注:先声明我不会写 python,没用过 Selenium, 一路走来用过 PhantomJS、cheerio、puppeteer 直到现在的 jsdom --
QR Code



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.9.185.214 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1674631737.A.F1D.html
1F:推 neo5277: 还是很多 01/25 15:50
2F:推 Belieeve: 推推 01/25 15:55
3F:推 WrongHole: 01/25 16:58
4F:推 lchcoding: 同意一楼;还在过年;推有心 01/25 17:57
5F:推 walker088: 推一个 go-rod + goquery 可以看看, 比Python Selenium 01/25 18:14
6F:→ walker088: 快得多 01/25 18:14
7F:推 Gismudis: 还是打很多 赞赞 01/25 18:24
8F:推 lance70176: 认真推 最近也在看点你说的方式 01/25 19:24
9F:推 holebro: Python+selenium最好写 开心 01/25 22:01
10F:→ superpandal: 很常识 建议还是自己刻轮子以符合需求 01/25 22:49
11F:→ superpandal: 我的话直接用浏览器 01/25 22:53
12F:推 viper9709: 推分享 01/25 23:47
13F:推 kyotouma: 用心推 01/26 00:24
14F:推 vi000246: 我都是抓html用正规表达式硬干 现在有dom parser的lib 01/26 00:26
15F:→ vi000246: 方便多了 01/26 00:26
16F:推 andrew771027: 推 01/26 00:53
17F:推 kurtsgm: 如果回的是明文的json的话倒还是好处理 从浏览器console 01/26 03:21
18F:→ kurtsgm: 都还是看得出个端倪 之前遇过某些网站回来居然是打乱的 01/26 03:21
19F:→ kurtsgm: 猜不出怎麽解密的情况下实在不敢再投入时间下去try 01/26 03:22
20F:→ s25g5d4: 游戏业很爱用 AES 加密,再来有些会用 msgpack 或 protob 01/26 03:24
21F:→ s25g5d4: uf 让你猜不到 encoding,猜到了也拿不到 key 01/26 03:24
22F:→ MoonCode: 为什麽会拿不到 key 阿 @@? 01/26 03:27
23F:→ s25g5d4: protobuf 只有序列号没有 key name,要解栏位还要先拿到 01/26 03:42
24F:→ s25g5d4: proto 档 01/26 03:42
25F:→ s25g5d4: 当然你也可以 argue 前端没有甚麽真的加密,不管 AES 解 01/26 03:43
26F:→ s25g5d4: 密的金钥还是 proto 定义都有办法捞出来,只是做个爬虫有 01/26 03:43
27F:→ s25g5d4: 没有必要逆向工程到这麽深就是了... XD 01/26 03:44
28F:推 vi000246: return 乱码是满常见的反爬虫 在前端加解密只是多了一 01/26 09:54
29F:→ vi000246: 些步骤 现在有能在後端执行js的lib ,这类反爬虫也比较 01/26 09:54
30F:→ vi000246: 好解了 01/26 09:54
31F:→ vi000246: 以前要一行一行执行js的code看乱码是怎麽还原的 然後在 01/26 09:56
32F:→ vi000246: 後端写出一样的演算法 01/26 09:56
33F:推 shibin: 推 01/26 18:01
34F:推 syyu641: 推用心 01/26 18:05
35F:推 CRPKT: jsdom 建议不要,行为比真 DOM 差太远,速度快不了多少 01/26 19:14
36F:推 v86861062: 推推 01/26 21:45
37F:→ MoonCode: 回 s25g5d4 js 的逆向没有倒多复杂吧 01/26 21:53
38F:→ s25g5d4: 没有很难跟要不要花时间拆下去是两回事阿 01/26 23:47
39F:推 timofEE: 推好心 01/27 00:04
40F:推 shter: 怀念PhantomJS,现在用 Node.js + puppeteer 01/27 13:49
41F:→ shter: 说实话 Node.js 去操作 DOM 对前端工程师还是最直觉 01/27 13:50
42F:→ shter: 不管是用来爬虫还是做自动化测试 01/27 13:51
43F:→ s25g5d4: 以前在图书馆打工写过 phantomjs + firefox~ 虽然我本来 01/27 14:08
44F:→ s25g5d4: 就是 fx 使用者,但当时会用 fx 还是因为图书馆电脑还在 01/27 14:08
45F:→ s25g5d4: winXP 没办法装 Chrome XDD 01/27 14:08
46F:推 a82611141: 推 01/29 14:12







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:BabyMother站内搜寻

TOP