作者localhostphp (A动动)
看板Python
标题Re: [问题]pandas重复分割，重复存档
时间Sun Apr 12 12:58:38 2015
# -*- coding: utf-8 -*-
import pandas as pd
from geocodequery import GeocodeQuery
df = pd.read_csv('./birdsIwant3.csv',low_memory=False)
def addrs(location):
gq = GeocodeQuery("zh-tw", "tw")
gq.get_geocode(location)
print location
return pd.Series({"lat": gq.get_lat(), "lng": gq.get_lng()})
def test(location):
return pd.Series({"lat" :5, "lng":10})
df['lat'] = 0
df['lng'] = 0
query_count = 2
loop_count = int(df.shape[0]/query_count)
for lc in range(2):
df.loc[lc*query_count: (lc+1)*query_count, ['lat','lng']] = df[lc*query_count: (lc+1)*query_count]['location'].apply(addrs) ##the problem##
df.to_csv('./birdsIwant3_1.csv',index=False)
print pd.read_csv('./birdsIwant3_1.csv', low_memory=False)
query_count 是每次回圈查询的次数
loop_count 是计算总共需要跑几次回圈
我跑了两个回圈，print只截取有lat lng的
count.317 birdName.317 lat lng
0 NaN NaN 24.373316 121.310400
1 NaN NaN 24.205938 121.010132
2 NaN NaN 24.373316 121.310400
3 NaN NaN 24.774906 120.970782
是有存进去的
因为档案很大，每次写回去都有点久
如果记忆体充足或者api不会被google挡掉的话，可以考虑看看全部查完再写回去
或者试试看每个回圈拆成一个档案最後合并起来
不知道有没有解决你的问题，有问题在一起讨论～
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 122.116.217.21
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1428814721.A.B09.html
1F：推 allen511081: 可以考虑每个回圈拆成一个档案，但这後续合并 04/12 14:14
2F：→ allen511081: 会不会有问题? 04/12 14:15
3F：→ allen511081: 现在剩下只要超过300笔就会没办法跑的问题 04/12 14:16
4F：→ localhostphp: 合并会有什麽问题吗?超过300笔个人认为是google的 04/12 15:15
5F：→ localhostphp: 问题，如果没经过申请或者购买，短时间要大量资料 04/12 15:16
6F：→ localhostphp: 会被google认为是攻击的行为，所以会被挡住 04/12 15:17
8F：→ localhostphp: 完整错误讯息吗？ 04/12 15:21
10F：推 allen511081: [error:10060]应该是google的问题，但是我的for loop 04/13 09:06
11F：→ allen511081: 在google一天2500笔的限制里，只要超过300笔， 04/13 09:08
12F：→ allen511081: 也是会出现相同错误，"连线尝试失败，因为连线对 04/13 09:11
13F：→ allen511081: 象有一段时间并未正确回应，或是连线建立失败，因为 04/13 09:11
14F：→ allen511081: 连线的主机无法回应" 04/13 09:12
15F：→ localhostphp: 这我比较不确定了，google可能限制短时间内不能连查 04/14 11:27
16F：→ allen511081: 应该也是这样，想请问一下，现在我想将原始资料切成 04/14 12:05
17F：→ allen511081: 抱歉，上面有点发问错 04/14 12:06
18F：→ allen511081: 1.想将原始资料全部分成2500笔为一个档案 04/14 12:08
19F：→ allen511081: 2.因为不能短时间内针对2500笔资料取得经纬度，想要 04/14 12:09
20F：→ allen511081: 加入time的语法进去，做sleep的动作 04/14 12:10
21F：→ allen511081: 请教你，上面两个问题有办法可以在同支程式码解决吗? 04/14 12:11
22F：→ localhostphp: 切档案就把query count 改成2500把查询拿掉就好了， 04/16 00:12
23F：→ localhostphp: 建议查询的资料如果有重复的也可以先滤出来再查 04/16 00:12