python简单爬虫代码-使用Python3.5写简单网络爬虫

<一>用urllib库访问URL并采集网络数据

-1. 直接采集

发送请求，打开URL，打印传回的数据（html文件）

- 2. 模拟真实浏览器访问

1）发送http头信息（header）

浏览器在访问网站服务器时，会发送http header头信息。因为有些网站可能会限制爬虫的访问，在写爬虫是如果加上合适的header，伪装成一个浏览器就会更容易访问成功。http header包含很多信息，用浏览器开发者工具可以看到访问网站时浏览器发送给服务器的请求信息（开发者工具——Network——Doc），写爬虫的时候根据需要加上适当的信息即可。

方法如下：

先用Request方法先把url放入一个request对象req中，然后用add_header方法给req加入头信息

语法：req.add_header(key1,value1) req.add_header(key2,value2) #一条语句加入一对信息

从浏览器找到的这些成对的头信息，都可以逐个用以上的方法加入

例如最常用的就是的User-Agent信息，它的作用就是表面浏览器的身份。内容包括浏览器名称，版本，系统信息等等。

add_header方法传入的是一个字典，我们需要把User-Agent 传给key，把查到的User-Agent：后面的内容（各种浏览器访问的身份信息等）传给value。

代码实例：

from urllib import request

req=request.Request("https://en.wikipedia.org")

req.add_header("user-agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36")

response=request.urlopen(req)

print(response.read())

2) 发送data表单数据

发送post请求，需给urlopen()传入两个参数，第一个是包含url地址的（Request方法生成的）请求对象req，第二个是编码后的data表单信息。就是要把需要发送的表单信息通过urlencode（）方法编码，生成规定格式的数据传送给Request对象。

这种data表单一般是处理需要动态响应的网页时用的，比如需要用户名和密码登录的，或者需要根据搜索条件查询的（火车票查询等等）

具体方法如下：

可以用http协议调试代理工具（如：fiddler，postman）方便的分析http发送的各种请求数据，这些工具可以模拟向服务器发送请求并取得响应的过程，在写程序之前用它调试一下，就可以知道自己的方法能否访问成功。

要更好的理解这部分内容，需要去系统学习一下htttp表单的知识，目前可以先看一下W3C的HTML表单详解教程：http://www.w3school.com.cn/html/html_forms.asp

小结1：urllib.request模块有两个重要的方法：

urlopen（）和Request( )

Request()的参数是一个合法的url地址，返回的是一个Request请求对象

（req），这个对象可以用add_header方法加入头信息。

urlopen（）的参数可以直接用url地址，也可以用Request对象，如果在发送访问请求时需要额外加入一些信息（http

header，data表单之类）就用第二种，urlopen（）传回的就是一个类文件对象，可以用read( )方法读取网页的HTML文件

<二>用beautifulsoup库解析采集到的数据

python简单爬虫代码-使用Python3.5写简单网络爬虫相关推荐

python urllib.request 爬虫数据处理-使用Python3.5写简单网络爬虫
<一>用urllib库访问URL并采集网络数据 -1. 直接采集发送请求,打开URL,打印传回的数据(html文件) - 2. 模拟真实浏览器访问 1)发送http头信息(header) ...
python网络爬虫程序_Python写的网络爬虫程序（很简单）
Python写的网络爬虫程序(很简单) 这是我的一位同学传给我的一个小的网页爬虫程序,觉得挺有意思的,和大家分享一下.不过有一点需要注意,要用python2.3,如果用python3.4会有些问题出现 ...
Python学习教程（Python学习路线）：Python3之递归函数简单示例
Python学习教程(Python学习路线):Python3之递归函数简单示例概述递归函数即直接或间接调用自身的函数,且递归过程中必须有一个明确的递归结束条件,称为递归出口.递归极其强大一点就是能 ...
玩转python网络爬虫黄永祥pdf下载_Python网络爬虫从入门到实践pdf
Python网络爬虫从入门到实践内容简介本书将介绍如何使用Python编写网络爬虫程序获取互联网上的大数据.本书包括三部分内容:基础部分.进阶部分和项目实践.基础部分(第1~6章)主要介绍爬虫的三 ...
python网络爬虫与信息提取_北京理工大学_Python网络爬虫与信息提取（一）
学习北京理工大学嵩天课程笔记课程体系结构: 1.Requests框架:自动爬取HTML页面与自动网络请求提交 2.robots.txt:网络爬虫排除标准 3.BeautifulSoup框架:解 ...
用c语言写一个网络爬虫
(同步个人博客 http://sxysxy.org/blogs/28 到csdn 写一个网络爬虫写一个网络爬虫,来获取一个网站上感兴趣的信息. 最基本的模型就是图.每个页面看作一个节点,若页面A有 ...
python网络爬虫的方法有几种_Python网络爬虫过程中5种网页去重方法简要介绍
一般的,我们想抓取一个网站所有的URL,首先通过起始URL,之后通过网络爬虫提取出该网页中所有的URL链接,之后再对提取出来的每个URL进行爬取,提取出各个网页中的新一轮URL,以此类推.整体的感觉就 ...
Python可以这样学（第十季：网络爬虫实战）-董付国-专题视频课程
Python可以这样学(第十季:网络爬虫实战)-83人已学习课程介绍陆续介绍和分享一些网络爬虫方面的案例,Python基础知识可以参考前面的"Python可以这样学&qu ...
Java网络爬虫入门：第01课：网络爬虫原理
引言随着互联网的迅速发展,网络资源越来越丰富,信息需求者如何从网络中抽取信息变得至关重要.目前,有效的获取网络数据资源的重要方式,便是网络爬虫技术.简单的理解,比如您对百度贴吧的一个帖子内容特别感兴 ...

python简单爬虫代码-使用Python3.5写简单网络爬虫

python简单爬虫代码-使用Python3.5写简单网络爬虫相关推荐

最新文章

热门文章