有的时候做用户cookie之类的清洗，设计到来源ip，如果埋点数据里没用城市的属性，只有一堆ip地址，这个时候就想根据ip出归属地。

网上提供很多查询ip的网站，因此我们可以写一个爬虫，逐行把ip拼接到url，像服务器提交，然后获取json字符串，再对json清洗。但这样面临一个问题，提供ip库的网站，大多做了反爬措施，而我们的ip地址有比较多的时候，比如十万级，百万级，肯定会被拦截。因此，如果用爬虫的思路，就要把一个简单的urllib的简单爬虫变成一个加随机useragent，加随机ip，加时间延迟。用户代理，增加开发工作量，ip成本太高，延迟影响效率。所以这里提供两种方案。1.爬虫获取

简单一点说就是让程序模仿人去ip网站查询。

import json

from urllib import request

import sys

data = open('ip.txt')

url = r'http://www.lagou.com/zhaopin/Python/?labelWords=label'

def get_data(ip):

API = "http://ip.taobao.com/service/getIpInfo.php?ip="

url = API + ip

headers = {

'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '

r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',

'Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label',

'Connection': 'keep-alive'

}

req = request.Request(url, headers=headers)

page = request.urlopen(req)

jsondata = json.load(page)

if jsondata['code'] == 1:

print("No %s info." % ip)

exit(1)

else:

return jsondata

def process_data(jsondata):

if jsondata['data']['country']:

country = jsondata['data']['country']

else:

country = "NULL"

if jsondata['data']['area']:

area = jsondata['data']['area']

else:

area = "NULL"

if jsondata['data']['region']:

region = jsondata['data']['region']

else:

region = "NULL"

if jsondata['data']['city']:

city = jsondata['data']['city']

else:

city = "NULL"

if jsondata['data']['county']:

county = jsondata['data']['county']

else:

county = "NULL"

if jsondata['data']['isp']:

isp= jsondata['data']['isp']

else:

isp = "NULL"

return (country, area, region, city, county, isp)

def output_data(data):

ret = "%-4s\t%-4s\t%-4s\t%-4s\t%-4s\t%-4s\n" % ("country", "area", "region", "city", "county", "isp")

ret += "%-4s\t%-4s\t%-4s\t%-4s\t%-4s\t%-4s" % data

print(ret)

return(ret)

import time

data1 = data.readlines()

ipresult = open('jieguo.txt','w')

for i in data1:

ret = get_data(i)

time.sleep(10)

result = process_data(ret)

ipdata = output_data(result)

ipresult.write(ipdata+'\n')

ipresult.close()

'''

data1 = data.readlines()

ipresult = open('jieguo.txt','w')

ret = get_data(data1[1])

result = process_data(ret)

ipdata = output_data(result)

ipresult.write(ipdata+'\n')

ipresult.close()

'''

该接口有问题，即使是正常浏览器点击，第一次请求很正常，后面的请求，会返回502或者404，暂时没有找到规律，我设置程序沉睡10秒，大概能爬十几个，后面就会报错

2.利用本地ip库文件离线查(纯真ip)

这是个python的开源工具qqwry，由两部分组成。一个python包，一个是*.dat的离线ip文件库，可百度下载，由网友不断整理，不断更新。

https://github.com/animalize/qqwry-python3​github.com

这是github的开源地址。

用了这个之后是真的爽，两三行代码就解决问题，而且速度快，就是飞一样的感觉。

from qqwry import QQwry

q = QQwry()

q.load_file('E:\data\programfile\qqwry-python3-master\qqwry.dat')

data = open('IP1.txt')

data1 = data.readlines()

ipresult = open('jieguo.txt','w')

for i in data1:

result = q.lookup(i.strip())

city = result[0]

typenet = result[1]

ipresult.write(i.strip()+'\t' + city + '\t' + typenet + '\n')

ipresult.close()