作者allen511081 (蓝)
看板Python
标题[问题]关於scrapy 和pandas 的问题
时间Thu Mar 12 22:35:09 2015
各位好，小弟最近有两个小问题，需要各位帮小弟解答一下
1.scrapy爬虫程式有没有办法在同一个程式码里批次输出网页资料?
EX:我有11万个网页，我想要分成3万3万输出成CSV
2.pandas的to_csv有没有办法将多个dataframe的CSV合并成一个?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 59.127.51.220
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1426170911.A.DB2.html
1F：推 ccwang002: 回 2：pandas.concat pandas.merge，看是什麽方向 03/13 01:17
2F：推 ug945: 在Spider内记录笔数 到了就写到不同的档案去 03/13 01:23
3F：→ allen511081: 谢谢，我照你们的方法处理完了 03/14 10:21