python爬虫爬取58网站数据_python实战学习笔记：爬取58同城平板电脑数据

学习爬虫一周后独立完成的第一个作业项目：爬取58同城平板电脑数据。

1、首先确定URL，并抓取详情页中需要的信息

首先我们确定好需要爬取的网页URL是:http://zhuanzhuan.58.com/detail/762548881638506498z.shtml ,需要爬取网页中商品的标题、浏览量、价格、地区，通过下面的代码获取需要的信息并打印出来，代码如下：

url = 'http://zhuanzhuan.58.com/detail/762548881638506498z.shtml'

wb_data = requests.get(url)

soup = BeautifulSoup(wb_data.text, 'lxml')

title = soup.title.text

price = soup.select('span.price_now > i')

city = soup.select('.palce_li > span > i')

browse = soup.select('.look_time')

data = {

'title': title,

'price': price[0].text,

'city': city[0].text,

'browse': browse[0].text

}

print(data)

2、提取每页中所有的商品链接

首先需要观察网页的信息，确认分页情况。URL：http://bj.58.com/pbdn/pn2 中的数字2代表第二页，这样我们可以传入不同的数值获取相应的页面，然后抓取出每个页面中的商品链接，代码如下：

urls = ['http://bj.58.com/pbdn/pn{}'.format(num) for num in range(1, 10)]

wb_data = requests.get(url)

soup = BeautifulSoup(wb_data.text, 'lxml')

links = soup.select('tr.zzinfo > td.img > a')

for link in links:

href = link.get('href').split('?')[0]

3、爬取所有页面中的商品信息

通过上面的步骤已经获取到所有商品的链接，然后就可以爬取每个商品的详细信息，将每部分代码构造成函数，并将各个函数调用即可完成。

为了避免网站发现是爬虫行为，添加浏览器访问的headers,并设置爬取间隔，整合后的代码如下，这样就完成了所有商品的爬取。

源码如下：

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# @Time : 2016/8/5 10:12

# @Author : flyme

# @Site :

# @File : homework1.py

# @Software: PyCharm Community Edition

import time

from bs4 import BeautifulSoup

import requests

import json

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36',

'Cookie': 'f=n; f=n; id58=c5/nn1eVynx77ecIKaUkAg==; als=0; myfeet_tooltip=end; bj58_id58s="QWxzSUIwVjVyT210NDk2Nw=="; bdshare_firstime=1470115696241; bangbigtip2=1; 58home=sh; __utma=253535702.1191797781.1469434512.1470108831.1470209645.3; __utmz=253535702.1470209645.3.3.utmcsr=sh.58.com|utmccn=(referral)|utmcmd=referral|utmcct=/; bangtoptipclose=1; city=bj; ipcity=sh%7C%u4E0A%u6D77; sessionid=38925ed6-e5d5-4fad-bb41-047d705569a9; final_history=21972416366734%2C26851497575235%2C26727826953024%2C26097540789057%2C26062681492781; f=n; bj58_new_session=1; bj58_init_refer=""; bj58_new_uv=9; 58tj_uuid=1cc76a99-48fd-4337-b2c2-f0788d3b59c5; new_session=0; new_uv=11; utm_source=; spm=; init_refer='

}

# 获取每个页面中所有的链接

def get_links(url):

wb_data = requests.get(url, headers=headers)

time.sleep(2)

soup = BeautifulSoup(wb_data.text, 'lxml')

links = soup.select('tr.zzinfo > td.img > a')

for link in links:

href = link.get('href').split('?')[0]

key = 'zhuanzhuan'

get_detail_info(href)

# 获取详情页内容

def get_detail_info(url):

wb_data = requests.get(url)

soup = BeautifulSoup(wb_data.text, 'lxml')

title = soup.title.text

price = soup.select('span.price_now > i')

city = soup.select('.palce_li > span > i')

browse = soup.select('.look_time')

data = {

'title': title,

'price': price[0].text,

'city': city[0].text,

'browse': browse[0].text

}

print(data)

save_to_text(data)

# 保存数据到文本文件

def save_to_text(content):

content = json.dumps(content, ensure_ascii=False)

with open('58.txt', 'a', encoding='utf-8') as f:

f.write(content)

f.write('\r\n')

urls = ['http://bj.58.com/pbdn/pn{}'.format(num) for num in range(1, 10)]

# 从链接列表中，用for一个个取出来

for single_url in urls:

# 把得到的列表页面链接，传给函数，这个函数可以得到详情页链接

get_links(single_url)

总结：

1、在获取商品详情信息中需注意获取商品的方式，多分析抓取内容的diamond，尽量使用最简便的方式

2、在获取所有商品链接时需注意商品中的推广信息，分析链接的不同之处使用相应的方法来筛选并剔除推广数据

python爬虫爬取58网站数据_python实战学习笔记：爬取58同城平板电脑数据相关推荐

Python爬虫编程思想（6）：实战案例：抓取所有的网络资源
Python爬虫编程思想(7):实战案例:抓取博客文章列表到现在为止,我们已经对网络爬虫涉及到的基本知识有了一个初步的了解.本文会编写一个简单的爬虫应用,以便让读者对爬虫有一个基本的认识.本节要编写 ...
python分析鸢尾花数据_python数据挖掘学习笔记】十六.逻辑回归LogisticRegression分析鸢尾花数据...
但是很多时候数据是非线性的,所以这篇文章主要讲述逻辑回归及Sklearn机器学习包中的LogisticRegression算法 #2018-03-28 16:57:56 March Wednesday ...
阿里云天池 Python训练营Task4: Python数据分析：从0完成一个数据分析实战学习笔记
本学习笔记为阿里云天池龙珠计划Python训练营的学习内容,学习链接为:https://tianchi.aliyun.com/specials/promotion/aicamppython?spm=5 ...
Redis核心技术与实战-学习笔记（十四）：时间序列数据
一.时间序列数据时间序列数据:没有严格的关系模型,记录的信息可以表示成键和值的关系. (例如,一个设备ID对应一条记录): 时间序列数据的读写特点持续高并发写入,需要连续记录数万个设备的实时状态值 ...
python爬虫搜特定内容的论文_python基于BeautifulSoup实现抓取网页指定内容的方法...
python基于BeautifulSoup实现抓取网页指定内容的方法更新时间:2015年07月09日 10:12:50 作者:光索与诺这篇文章主要介绍了python基于BeautifulSoup实 ...
零基础入门python爬虫之《青春有你2》选手信息爬取
零基础入门python爬虫之<青春有你2>选手信息爬取完成<青春有你2>选手图片爬取,生成选手图片的绝对路径并输出,统计爬取的图片总数量.使用工具:requests模块.Be ...
Python爬虫学习笔记 -- 爬取糗事百科
Python爬虫学习笔记 -- 爬取糗事百科代码存放地址: https://github.com/xyls2011/python/tree/master/qiushibaike 爬取网址:https ...
Python语言入门这一篇就够了-学习笔记(十二万字)
Python语言入门这一篇就够了-学习笔记(十二万字) 友情提示:先关注收藏,再查看,12万字保姆级 Python语言从入门到精通教程. 文章目录 Python语言入门这一篇就够了-学习笔记(十二万字 ...
OpenCV学习笔记（四十一）——再看基础数据结构core OpenCV学习笔记（四十二）——Mat数据操作之普通青年、文艺青年、暴力青年 OpenCV学习笔记（四十三）——存取像素值操作汇总co
OpenCV学习笔记(四十一)--再看基础数据结构core 记得我在OpenCV学习笔记(四)--新版本的数据结构core里面讲过新版本的数据结构了,可是我再看这部分的时候,我发现我当时实在是看得太马 ...

python爬虫爬取58网站数据_python实战学习笔记：爬取58同城平板电脑数据

python爬虫爬取58网站数据_python实战学习笔记：爬取58同城平板电脑数据相关推荐

最新文章

热门文章