Soft_Job 板


LINE

各位 Soft_Job 板友大家好, 在业界混了几年、目前主要在管资讯科技与资安。 对我这种後端工程师宅来说,下班自己开专案、敲指令写 Code,就是最大的休闲。 最近花了一点时间,用业余时间从零手搓了一套云端威胁分析工具(Crackercrack)。 想跟各位同行前辈分享一下这套系统的架构设计、踩坑经验,顺便开放免费公测请大家鞭 策。 一、 为什麽要做这个?(动机) 大家日常应该都收过那种假卖货便、假 Steam 战队投票、或是假 Discord Nitro 的钓鱼 简讯。 很多恶意网站才刚注册几小时,连 Google Safe Browsing 或主流防毒都还没收录。 光看网址外表根本看不出来,而叫一般使用者「肉身点进去确认」又太危险。 因此,我决定做一个「帮大家在云端踩雷」的自动化沙盒系统。 二、 核心架构:五层过滤漏斗 整个系统采用 Django 开发,并部署在 GCP Cloud Run 上。 为了兼顾效能与精准度,处理请求时跑了以下五层过滤: 1. 权威白名单快筛(Tranco Top 1M):热门站点直接放行。 2. 全球开源情报黑名单(URLHaus、OpenPhish、FeodoTracker):比对活跃情资。 3. 生态系联防(Google Safe Browsing API):即时威胁库把关。 4. 启发式特徵引擎:针对 SSL 凭证、网域年龄、URL 结构进行秒级快筛。 5. 动态沙盒与 AI 猎捕:遇到未知可疑网址,直接在云端启动独立隔离的无头沙盒进行 动态渲染,侧录 DOM 与隐藏脚本,最後交由 LLM 产出繁体中文战报。 三、 相比传统工具(如 VirusTotal / urlscan)的差异? 很多同行看到可能会问:「这不就叫现成 API 或用 urlscan 就好?」 其实传统老牌工具强在大而全,主要是给资安分析师深度逆向用的;而这套工具的定位不 同: 1. 本地化与白话文:针对日常钓鱼(假卖货便、假交易)优化,AI 直接产出「繁体中文 白话战报」,一般人也看得懂。 2. 群众举报与动态联防(Crowdsourcing):结合使用者实际遇到的怪连结举报,补足传 统自动化爬虫抓不到的极新「用完即丢」诈骗网址。 四、 实战踩到的坑与技术痛点(自首区) 这套系统目前刚上线第一阶段公测,实作中遇到几个很现实的 ML 与效能痛点,想跟板友 交流: 1. 情资来源偏西方: 目前串接的 OSINT 大多是欧美开源情报源,对於台湾在地化(例如伪造 7-11 卖货便、 在地假网银)且刚冒出来数小时的极新中文钓鱼站,快速快筛有时会有特徵盲区。 2. 中文 OCR 辨识瓶颈: 沙盒截图解析目前为了轻量化先用了 EasyOCR,但实测它对繁体中文的抓取率确实不如 PaddleOCR(目前为了避开环境与相容性坑,还在研究怎麽平滑过渡)。 五、 结语与公测邀请 目前平台刚上线,完全免费、免绑卡、免个资: https://app.crackercrack.com 如果板友手边刚好有收到奇怪的钓鱼连结、怪简讯,欢迎拿去丢进去测试,顺便帮我做个 伺服器压力测试。 如果有遇到误判、Bug,或是对於架构、OCR 选择有建议的,欢迎在底下留言指教或喷我 ,谢谢大家! --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.225.1.57 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1789647875.A.659.html
1F:推 MoonCode: 感觉用起来很麻烦 09/17 20:34
2F:推 dream1124: 要搞这个我建议你找资安公司合作发展为新产品线 09/17 21:08
3F:→ dream1124: 或者去强化暨有产品,不用自己搞。搞出来也难只凭单一 09/17 21:08
4F:→ dream1124: 产品赚钱,而且也难有资源去准备本地的威胁资料库。 09/17 21:09
5F:→ dream1124: 我觉得资安产品产业竞争真的很激烈,单打独斗顶多不赔 09/17 21:10
6F:→ dream1124: 但也很难坐大,因此带展示去找厂商谈入职或合作比较好 09/17 21:10
7F:→ dream1124: 另外,LLM会错也会误判,复杂的状况跑出来也是半信半疑 09/17 21:11
8F:→ dream1124: 若想跟使用者报告风险程度那建议设定指标呈现分数即可 09/17 21:12
9F:→ dream1124: 不要叫LLM解读。你帮得上忙的使用者很可能看不懂报告。 09/17 21:14
10F:推 KyuubiKulama: 分享给鼓励 但这个solution 业界里面一堆人在搞… 09/17 21:32
11F:→ KyuubiKulama: .早点转向可能好一些些 而且痛点不是能不能判读了 09/17 21:32
12F:→ KyuubiKulama: …. 09/17 21:32
13F:→ pangdingking: 感谢前辈建言!情资库跟在地化确实是目前最大痛点, 09/17 21:49
14F:→ pangdingking: LLM 评分与指标化这点非常实用,会再好好调整架构与 09/17 21:50
15F:→ pangdingking: 方向,感谢! 09/17 21:51
16F:推 dream1124: 找资安公司展示作品应徵到senior或staff的职缺领较高薪 09/17 22:02
17F:→ dream1124: 然後再拿薪水买指数ETF之类的方式投资股票。 09/17 22:03
18F:→ dream1124: 这样依然能相当赚钱,而且工作和生活还较平衡。 09/17 22:03
19F:→ pangdingking: 感谢前辈建言!商业模式确实以 B2B 为主 09/17 22:14
20F:→ pangdingking: B2C 免费版(未来朝 App/插件发展)当作情资网保护 09/17 22:14
21F:→ pangdingking: 普罗大众。介面之後尝试导入风险评分避免 LLM 误导 09/17 22:15
22F:→ pangdingking: 收获良多,会继续优化架构! 09/17 22:15
23F:推 shadow0326: 第五层的难点在於anti-evasion,headless browser很容 09/17 22:16
24F:→ shadow0326: 易就被反侦测到然後装成安全软体 09/17 22:16
25F:→ Obama19: 做浏览器插件比较方便吧 不然光要复制网站这个动作就筛 09/17 23:26
26F:→ Obama19: 掉很多人了 09/17 23:26
27F:嘘 USD5566: 这篇介绍是ai代写吗 09/18 01:29
28F:→ guanting886: 光会想要查的人就已经不在受众名单内了 09/18 02:56
29F:推 guanting886: 另外就是…开始用就要登入,不知道你这个网站怎麽运 09/18 02:59
30F:→ guanting886: 作就要登入我觉得也不想用QQ 09/18 02:59
31F:→ guanting886: 一种就是你要做成更专业的资安工具 去卖给有类似的 09/18 03:03
32F:→ guanting886: 需求公司,但是现在有Ai 要刻这类的东西就是时间的 09/18 03:03
33F:→ guanting886: 问题 09/18 03:03
34F:→ guanting886: 另一种是做成插件绑在浏览器上,可是问题在於你的这 09/18 03:05
35F:→ guanting886: 个速度大概能多快,而且跟AdGuard这类功能会太类似 09/18 03:05
36F:推 guanting886: 会被骗的人终究还是会被骗,别人讲也讲不听,没那个 09/18 03:09
37F:→ guanting886: 敏感度被建立起来你就是会需要被骗一次才会学习起来 09/18 03:09
38F:→ guanting886: 有些东西我认为是社群平台自己该解决的 也不是你该 09/18 03:11
39F:→ guanting886: 做的 因为不少收黑钱的广代在社群平台做操作 平台检 09/18 03:11
40F:→ guanting886: 举机制跟大便一样 09/18 03:11
41F:推 guanting886: 有兴趣也可以在你的专案再加一个可以追Certificate 09/18 03:18
42F:→ guanting886: Transparency Logs的去提前分析,因为藏IP,所以优 09/18 03:18
43F:→ guanting886: 先躲Cloudflare,但CF加Domain进去时会帮你发SSL凭 09/18 03:18
44F:→ guanting886: 证 09/18 03:18
45F:→ guanting886: Logs就会有这些登记资料 09/18 03:19
46F:→ guanting886: 诈骗网页的Domain都有一定的pattern 你可以尝试让A 09/18 03:21
47F:→ guanting886: i帮你订一下 09/18 03:21
48F:推 guanting886: 纯推你有心,不过这条路很长,做兴趣的大概可以,但 09/18 03:25
49F:→ guanting886: 成本可能会蛮可观的 09/18 03:25
50F:→ pangdingking: 文案的确是ai写的,因为我不太会描述我把我的思维 09/18 11:13
51F:→ pangdingking: 提供给ai请他帮我整理(这也是我第一次用ptt发文) 09/18 11:13
52F:→ pangdingking: 非常感谢guanting886大大的指导,目前我也是边工作 09/18 11:14
53F:→ pangdingking: 边开发,但有打算10月开始育婴留停专职创作看看 09/18 11:15
54F:→ pangdingking: 事实上浏览器插件的功能是有的而且测试上没问题 09/18 11:16
55F:→ pangdingking: 不过我面临到的问题是因为资安是需要被信任的产品, 09/18 11:16
56F:→ pangdingking: 所以在推广时就会遇到用户担心比如个资等问题 09/18 11:17
57F:→ pangdingking: 所以後来就改为先推广平台让大家能先试用看看 09/18 11:18
58F:→ pangdingking: 至於登入墙问题,我周末在调整提供免登入模式 09/18 11:26
59F:→ pangdingking: 至於端点端原本想法就是透过黑白名单+启发式特徵+ 09/18 11:27
60F:→ pangdingking: 云端平台情资快取来保护用户,不走沙盒 09/18 11:28
61F:→ pangdingking: 原本设想可以解决AdGuard无法处理零日攻击的部分 09/18 11:29
62F:→ pangdingking: 至於CT Logs 监控的部分我完全没经验,我去研究看看 09/18 11:30
63F:→ pangdingking: 真的太感谢大大给的建议了 09/18 11:31
64F:推 w2sw2sw2s: 有心推一个 09/18 12:03
65F:→ asadman1523: 不错,但一开始要登入我就退了 09/18 15:30
66F:→ asadman1523: 至少你有勇气发上来我没有XD 09/18 15:33
67F:→ asadman1523: 另外光要请用户主动复制东西过去就一堆人嫌麻烦了 09/18 15:35
68F:→ asadman1523: 我自己开发的外挂就是给周围的长辈用而已 被动帮他们 09/18 15:43
69F:→ asadman1523: 挡诈骗邮件,我跟你讲他们也不会主动去查 09/18 15:43
70F:→ pangdingking: 我尽快把免登入功能开发起来,我觉得有上来发问真是 09/18 19:31
71F:→ pangdingking: 太棒了。很多我用後端工程师的思维角度都想不到 09/18 19:31
72F:→ pangdingking: 想请教asadman1523大大,目前您有办法做到所以恶意 09/18 19:33
73F:→ pangdingking: 网站都抓的到吗?像很多网站我没有品牌情资或者DOM 09/18 19:33
74F:→ pangdingking: Tree中的一些常见黑产手法,YOLO可能就抓不太到,所 09/18 19:34
75F:→ pangdingking: 以想请教您是怎麽帮长辈抓新的黑产类型的网页的? 09/18 19:34







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:Boy-Girl站内搜寻

TOP