作者allen511081 (蓝)
看板Python
标题[问题]scrapy如何把抓到的资料存成这样格式?
时间Mon Feb 9 21:56:13 2015
各位好,小弟上次抓的资料格式已经如我上次发问的样子
title birdName count
XXX yyy zzz
XXX yyy zzz
XXX yyy zzz
XXX yyy zzz
我的程式码连结:
https://drive.google.com/open?id=0B6SUWnrBmDwSVmlYeWhNMDVCeFU&authuser=0
但是我现在想要把格式改成以下的样子,这样可以方便以後的处理
title title title title birdName count birdName count birdName count
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>为一笔
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>为一笔
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>为一笔
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>为一笔
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>为一笔
XXX XXX XXX XXX yyy zzz yyy zzz yyy zzz =>为一笔
.
.
.
.
後面的birdName和count是依据网页资料的笔数决定,每个网页的笔数不一定,
但是都要存成这样的格式,请问各位大大,我该如何做?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.162.172.186
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1423490176.A.3F5.html
1F:→ ccwang002: 可以用 pandas.DataFrame.pivot 02/10 12:32
2F:→ ccwang002: 然後最後用 pd.concat 把每个网页接起来,会自动 join 02/10 12:32
3F:→ ccwang002: 你给的 code 用 BirdItem 存但我看了还是不懂整个流程 02/10 12:35
4F:→ ccwang002: 转换如果能给个更实际的例子会比较好懂,现在都是 xyz 02/10 12:35