整体爬虫逻辑：

1.获取省份和城市的定位，然后定位出各个城市和相对应的url

2.获取到 130 xx号段 (共317个)中的xxx个

3.获取最终的号段号码

先贴上源码

#抓取省份及城市

import requests

from lxml import etree

url='http://www.51hao.cc/'

req=requests.get(url)

req.encoding='gb2312'

html=req.text

select=etree.HTML(html)

infos=select.xpath('//div[@class="fkce"]/div[@class="fkt"][position()>1]')

#print(len(infos)) #核对下省的数量是否一致

for info in infos:

#定位省的地址

province=info.xpath('div[@class="fkbj"]/p/a/text()')[0]

#print(province)

#定位城市

citys=info.xpath('div[@class="fklk"]/p/a/text()')

#print(citys)

#城市的url

city_urls = info.xpath('div[@class="fklk"]/p/a/@href')

#print(province,citys,city_urls)

city_infos = zip(citys, city_urls) #zip函数接受任意多个(包括0个和1个)序列作为参数，返回一个tuple列表。

#print(city_infos)

for city_info in city_infos:

city=city_info[0]

#print(city)

city_url=city_info[1]

#print(province,city,city_url)

url2 = 'http://www.51hao.cc/city/beijing/beijing.php'

req2 = requests.get(url2)

req2.encoding = 'gb2312'

html2 = req2.text

selector2 = etree.HTML(html2)

infos = selector2.xpath('//div[@class="all"]//div[@class="num_bg"]')

num = len(infos)

# print(num) #打印出共有多少个

for i in range(num):

first_3 = selector2.xpath('//div[@class="all"]/div[%s]/div[1]/span[@class="nums"]/text()' % str(i + 2))[

0] # 号码段前三位

# print(first_3)

types = selector2.xpath('//div[@class="all"]/div[%s]/div[1]/text()' % str(i + 2))[0] # xx号段 (共xxx个)

# print(types)

mobiles = selector2.xpath('//div[@class="all"]/ul[%s]/li/a/text()' % str(i + 1)) # 号码段内的号码

# print(mobiles)

type1 = types.split(" ")[0] # 获取xx号段 (共xxx个)中xx号段

# print(type1)

total = types.split(' ')[1].replace('(共', '').replace('个)', '') # 获取(共xxx个)中的xxx

# print(total)

# print(i+2,first_3,type1,total,mobiles)

for mobile in mobiles:

#print(i + 2, first_3, type1, total, mobile)

print(province, city, first_3, type1, total, mobile)

爬虫结果

关于定位的问题：

1. infos=select.xpath('//div[@class="fkce"]/div[@class="fkt"][position()>1]')

第一个div[class="fkce"]下可以找到省份和城市，可是div[@class="fkce"]下第一个div[@class="fkt"]下的第一个为各省市号段的那一列，要过滤掉第一个div，这里用到position()过滤第一div内的内容。

2. city_infos = zip(citys, city_urls) #把city是，和city_urls返回一个元祖，再去取里面的值

zip函数接受任意多个(包括0个和1个)序列作为参数，返回一个tuple列表。只能在循环中打印出来。在循环中元祖中选出城市与相对应的url打印出来

城市的获取

在循环中元祖中选出城市与相对应的url打印出来

3. infos=selector.xpath('//div[@class="all"]//div[@class="num_bg"]') #在这个范围内找到 获取到 130 xx号段 (共317个)中的xxx个

WX20170904-170305@2x.png

4. first_3 = selector.xpath('//div[@class="all"]/div[%s]/div[1]/span[@class="nums"]/text()'%str(i+2))[0] #号码段前三位

用到了【 】方法

div[%s] %str(i+2))过滤第一个

5. types = selector.xpath('//div[@class="all"]/div[%s]/div[1]/text()' % str(i + 2))[0] #xx号段 (共xxx个)

mobiles = selector.xpath('//div[@class="all"]/ul[%s]/li/a/text()' % str(i + 1)) #号码段内的号码

6. type1=types.split(" ")[0] #获取xx号段 (共xxx个)中xx号段

total = types.split(' ')[1].replace('(共', '').replace('个)', '') #获取(共xxx个)中的xxx

最后把获取的连接到一起打印出来

for mobile in mobiles:

print(province, city, first_3, type1, total, mobile)