作者tonglie (世界真奇妙)
看板Python
标题[问题] 超新手如何建立知识架构
时间Mon Nov 2 13:22:16 2015
小妹(想用关键字减少被批的情形XD)完全是与coding无关的财会背景
因缘际会之下听闻了python可以下载网页的数据库
最近因为兴趣想要做个副业来兼差
想要加速进货速度(进货来源目前是日本的雅虎拍卖)
朋友说python可以存取资料库
原本想要花钱请人写个程式
然後又听另外的朋友建议有可能我买了一个程式
可能日本雅虎端那边更改设定变成我程式只能用一次
才突发奇想想自己学写看看(主要也是想省点钱囧)
後来上了cousera的课,但发现莱斯的课比较像教写游戏
因为毫无基础,也很难从游戏举一反三变成资料库存取
原本想报名台大的python课,想说有老师的话还可以顺便偷问几招额外的
但朋友一直用我根本不知道要学几年才能学会爬虫打压我的信心QQ
叫我还是赶快找个专业人士合作比较实在(但我这idea这麽low怎麽吸引专业人士XD)
想问一下如果要自学的话,要达成上述目标我能做什麽呢?
实在没有相熟的朋友是资工背景且娴熟爬虫的提供我协助
所以才想上版来请教大家
我有看一些书单,但也爬了很多文有说应该要再懂OOXX才可以XXOO
不晓得是否有热心的版友让我请教请教
谢谢大家
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.44.181.94
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1446441740.A.731.html
1F：→ walelile: 你的需求不用全部自己写，有爬虫套件scrapy 11/02 14:42
2F：→ tonglie: 谢谢楼上再度指引!! 我真的太无知了什麽都不懂 11/02 15:15
3F：→ tonglie: 我再研究研究该套件内容QQQQQQ 感谢感谢 11/02 15:15
5F：→ tonglie: 谢谢N大:D! 11/02 19:34
6F：→ MOONY135: 跟你想的不太依样 不是存取资料库 只是抓资料下来 11/02 20:21
7F：→ MOONY135: 另外就是 拍卖的东西 他设定的关键字很不一定 11/02 20:22
8F：→ MOONY135: 所以跟你想的东西到最後会有误差是一定的 11/02 20:22
9F：→ bigpigbigpig: 我是用 lxml 模组啦，还蛮方便的，Google 一下吧 :) 11/02 21:27
10F：→ tonglie: 喔喔 原来是这样 我再研究研究 有误差没关系 因为一页页 11/02 22:56
11F：→ tonglie: 点真的好漫长囧> 才想说要怎麽提高效率 11/02 22:56
12F：→ tonglie: 谢谢b大M大的建议! 11/02 22:58
13F：推 gagalala: coursera有另一堂programming for everyone(Python)系列 11/03 02:25
14F：→ gagalala: 教的非常好 11/03 02:25
15F：→ MOONY135: 举例来讲 你去露天查"洛克人"就好了 11/03 10:19
16F：→ MOONY135: 然後注意一样商品 在去看同样商品 其他卖家的描述 11/03 10:20
17F：→ MOONY135: 你就会知道困难点在哪边了...最终还是要回归到人来辨识 11/03 10:20
18F：→ MOONY135: 如果你是要固定同一个卖家 那就当我没说 11/03 10:21
19F：→ tonglie: 谢谢g大建议 来去看看该堂课 我这两天也有看到python有门 11/03 11:00
20F：→ tonglie: 新课程 看起来似乎比较贴近我想做的事 11/03 11:00
21F：→ tonglie: 谢谢m大 其实我当初就是想说先下载下来再人工辨识每一样 11/03 11:01
22F：→ tonglie: 商品 因为日本雅虎的商品量是台湾的好几百倍了 滑鼠都点 11/03 11:01
23F：→ tonglie: 到要起火了XD 我会再试试看的 谢谢QQ (虽然那步可能还很 11/03 11:02
24F：→ tonglie: 远 我现在连爬都不会爬 现在还很难想像障碍赛的未来 11/03 11:02
25F：推 Thisisnotptt: 可不可以简易叙述一下需求呢?说不定有适合度很高的 11/03 16:47
26F：→ Thisisnotptt: 套件可以用 11/03 16:47
谢谢T大
因为目前想从日本购买某些品牌的单品,所以想说可以设定关键字之後
ex: エルメス スカーフ 下去单品有4,391件
虽然旁边有一些检索工具可以让范围缩小
但还是需要一个页面一个页面点开 看该物品的物品状况
比如其中一个
http://page8.auctions.yahoo.co.jp/jp/auction/h212480074
商品说明有关键字 未使用
那可能我就会优先看这项物品的照片 评价 等资料
然後想精简这部分的动作(一样样点真的很累<囧>)
我想增加效率这个应该是可以透过python完成的吧@@??
※ 编辑: tonglie (42.70.124.202), 11/03/2015 17:13:57
28F：→ Neisseria: 用 API 应该会比自已爬网页再 parse 来得快 11/03 20:59
29F：→ Neisseria: 不过，自已爬网页比较灵活就是了 11/03 21:00
30F：→ mirage7714: 推programming for everyone的python课程 基础教很多 11/03 22:26
31F：推 jokebbs: 推密西根大学的那个秃头教授+1 讲得很好 11/06 23:39
32F：推 enjoyloli: 快来加入DrChuck神教XD 11/08 22:50
33F：推 Tr3e: udacity的intro to CS就是用写爬虫来入门，你可以试试 11/17 17:33
34F：推 new122851: Requests beautiful soup4 12/05 02:01