工作这么多年一直想学习一下爬虫技术，各种尝试之后发现学习的最好方式就是直接开干：那就找一个想爬的东西开始爬啊！

从模仿用正则表达式爬取，到现在通过网络课程学习使用BeatifulSoup库来爬取信息，大概花了一个月左右的零散时间，感觉还是有些进步的，得记录一下，现在就分享一下58同城二手物品信息的爬取过程。

1.分析爬取目标页面与目标

以58同城二手物品页面开始，爬取该页面中二手物品详细信息。

详细信息分布在子页面中，故，需要先从主页面获取子页面的链接，再从子页面中获取我们的目标信息。这样把爬取过程分成了两部分：

- 爬主页面获取二手物品子页面的信息；

-爬取子页面(页面示例)获取对应二手物品的标题、价格、成色、区域、发布日期、类别等信息。

对应的，我们查看对应的页面，**确定所需要爬取的元素在对应页面中所处的位置、确定获取方式。

2. 爬取主页面中的二手物品链接

通过chrome检查

复制结果即是对应的链接位置表述：

infolist > table:nth-child(7) > tbody > tr:nth-child(2) > td.t > a

由于网页构成中td标签、t样式下的a标签对应的内容都是子页面链接，故可以用‘td.t > a’作为筛选条件，通过BeautifulSoup中的select方法对其进行筛选。代码见最后部分。(注：代码中对业面中的一些特殊物品类别进行了剔除，包括转转页面、推荐信息部分等)

3. 爬取子页面中物品详细信息

将上一步获取的子页面链接传递给

过程与提取主页面中链接是一样的，不过这次需要提取的元素多了一些，我们按上述过程逐个检查，确定元素对应的筛选表述。

最后通过get_text等方式，将所需信息从爬取的元素中提取出来。

4.完整的python代码

from bs4 import BeautifulSoup

import time

import requests

url_58 = 'http://bj.58.com/pbdn/0/'

def get_url_list(url):

web_data = requests.get(url)

soup = BeautifulSoup(web_data.text,'lxml')

url = soup.select('td.t > a[class="t"]')

url_list = ''

for link in url:

link_i = link.get('href')

if 'zhuanzhuan'in link_i:

pass

else:

if 'jump' in link_i:

pass

else:

url_list = url_list + '\n'+link_i

print('urllist',url_list)

return url_list

def get_info():

url_list = get_url_list(url_58)

for url in url_list.split():

time.sleep(1)

web_data = requests.get(url)

soup = BeautifulSoup(web_data.text,'lxml')

type = soup.select('#header > div.breadCrumb.f12 > span:nth-of-type(3) > a')

title = soup.select('div.col_sub.mainTitle > h1')

date = soup.select('li.time')

price = soup.select('div.person_add_top.no_ident_top > div.per_ad_left > div.col_sub.sumary > ul > li:nth-of-type(1) > div.su_con > span.price.c_f50')

fineness = soup.select('div.col_sub.sumary > ul > li:nth-of-type(2) > div.su_con > span')

area = soup.select('div.col_sub.sumary > ul > li:nth-of-type(3) > div.su_con > span')

#print(type,title,date,price,fineness,area)

for typei,titlei,datei,pricei,finenessi,areai in zip(type,title,date,price,fineness,area):

data = {

'type':typei.get_text(),

'title':titlei.get_text(),

'date':datei.get_text(),

'price':pricei.get_text(),

'fineness':(finenessi.get_text()).strip(),

'area':list(areai.stripped_strings)

}

print(data)

get_info()

5.最终结果样例

{'area': ['通州', '-', '物资学院路'], 'title': 'iPad mini 2 Wi-Fi 16G 白色 港版', 'date': '2016-05-07', 'type': '北京二手平板电脑', 'fineness': '-', 'price': '1200'}

{'area': ['西城', '-', '西单'], 'title': 'iPad2 16G 国行 WiFi 平板电脑', 'date': '2016-05-07', 'type': '北京二手平板电脑', 'fineness': '-', 'price': '900'}

6.总结

其实从网页中提取对应元素并不复杂，麻烦的是反爬、对目标信息进行提取(get_text、stripped_strings等等方法还需要继续研究一下)，以及对整个爬取过程的控制：通常我们要获取的信息都不止在一个页面上，这就需要一个好的过程调度，保证爬取效率。

以上仅供学习，请勿用于商业用途。