用pycharm进行python爬虫的步骤_使用Pycharm写一个网络爬虫

在初步了解网络爬虫之后，我们接下来就要动手运用Python来爬取网页了。

我们知道，网络爬虫应用一般分为两个步骤：

1.通过网页链接获取内容；

2.对获得的网页内容进行处理

这两个步骤需要分别使用不同的函数库：requests和beautifulsoup4。所以我们要安装这两个第三方库。

我所用的编辑器是 Pycharm，它带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成等。本次安装第三方库是在Pycharm下进行安装的。

Pychram安装第三方库：

安装第三方库有很多方法，我这里用的是Pycharm自带功能进行下载安装：（当然也可以用pip方法进行安装）

打开：File→Settings→Project: cc(这里的文件名是cc)→Project Interpreter ，就会显示你已经安装好的库。

这里我已经安装好了requests和beautifulsoup4库，所以下图显示出来了。

点击“+”，在弹出的搜索框中输入要安装第三方库的名称，例如“requests”。

在弹出的选项中选中需要安装的库后，点击“Install Package”。待下载完成后就安装成功了。

同理，安装beautifulsoup4时，在搜索框里搜索“beautifulsoup4”，进行安装就可以了、

下面介绍一下第三方库：

requests库

requests库是一个简洁且简单的处理HTTP请求的第三方库，它的最大优点是程序编写过程更接近正常URL访问过程。这个库建立在Python语言的urllib3库的基础上，类似这种在其他函数库之上再封装功能、提供更友好函数的方式在Python 语言中十分常见。

requests库支持非常丰富的链接访问功能，包括国际域名和URL获取、HTTP长连接和连接缓存、HTTP会话和Cookie保持、浏览器使用风格的SSL验证、基本的摘要认证、有效的键值对Cookie记录、自动解压缩、自动内容解码、文件分块上传、HTTP(S)代理功能、连接超时处理、流数据下载等。

如何使用requests库？requests库提供了一些常用函数如下：

requests库中的网页请求函数

函数

描述

get(url, [timeout=n])

对应于HTTP的GRT方式，获取网页最常用的方法，可以增加timeout=n参数，设定每次请求超时时间为n秒

post(url,data={''key}:''value)

对应于HTTP的DELETE方式

delete(url)

对应于HTTP的HEAD方式

head(url)

对应于HTTP的HEAD方式

option(url)

对应于HTTP的OPTION方式

put(url,data={'key':'value'})

对应于HTTP的PUT方式，其中字典用于传递客户数据

一般运用这些函数的方法是requests.函数名()，不同的函数有不同的功能。

importrequests

r=requests.get("http://www.baidu.com/")

r.encoding="utf-8"　　#编码方式为utf-8,不加的话会出现中文乱码

print(r.text)

代码运行结果为：

和浏览器的交互过程一样，用requests.get()代表请求，它返回的Response代表响应。返回的内容作为一个对象更便于操作，下面是Response对象的属性

Response对象的属性

属性

描述

status_code

HTTP请求的返回状态，整数，200表示连接成功，404表示失败

text

HTTP响应内容的字符串形式，即url对应的页面内容

encoding

HTTP响应内容的编码方式

content

HTTP响应内容的二进制形式

importrequests

r=requests.get("http://www.baidu.com/")print(r.status_code)print(r.text)print(r.encoding)print(r.content)

运行结果如下，可以看到爬取网页的一系列信息。

Response对象还有一些方法。

Response对象的方法

方法

描述

json()

如果HTTP响应内容包括JSON格式数据，则该方法解析JSON数据

raise_for_status()

如果不是200，则产生异常

使用requests 库获取HTML页面并将其转换成字符串后，需要进一步解析HTML页面格式，提取有用信息，这需要处理HTML和XML的函数库。

beautifulsoup4库

beautifulsoup4库，也称为Beautiful Soup 库或bs4库，用于解析和处理HTML和XML。需要注意的是，它不是BeautifulSoup库。它的最大优点是能根据HTML和XML语法建立解析树，进而高效解析其中的内容。

HTML建立的Web页面一般非常复杂，除了有用的内容信息外，还包括大量用于页面格式的元素，直接解析一个Web网页需要深入了解HTML语法，而且比较复杂。beautifulsoup4 库将专业的Web页面格式解析部分封装成函数，提供了若干有用且便捷的处理函数。

beautifulsoup4库采用面向对象思想实现，简单地说，它把每个页面当作一个对象，通过.的方式调用对象的属性(即包含的内容)，或者通过

例如：

from bs4 import BeautifulSoup

HTML中主要结构都变成了BeautifulSoup对象的一个属性，可以通过.获得，下面是BeautifulSoup中常用的一些属性：

BeautifulSoup对象的常用属性

属性

描述

head

HTML页面的

内容

title

HTML页面标题，在

之中，由标记

body

HTML页面的

内容

HTML页面中第一个

内容

strings

HTML页面所有呈现在Web上的字符串，即标签上的内容

stripped_strings

HTML页面所有呈现在Web上的非空格字符串

importrequestsfrom bs4 importBeautifulSoup

r=requests.get("http://www.baidu.com/")

r.encoding="utf-8"soup=BeautifulSoup(r.text)print(soup.head)print(soup.title)print(soup.strings)

结果如下：

BeautifulSoup属性与HTML属性的标签名称相同。每一个Tag标签在beautifulsoup4库中也是一个对象，成为Tag对象。所以可以通过Tag对象的属性多的相应的内容，Tag对象的属性如下所示：

标签对象的常用属性

属性

描述

name

字符串，标签的名字，比如div

attrs

字典，包含了原来页面Tag所有的属性，比如href

contents

列表，这个Tag下所有子Tag的内容

string

字符串，Tag所包围的文本，网页中真实的文字

importrequestsfrom bs4 importBeautifulSoup

r=requests.get("http://www.baidu.com/")

r.encoding="utf-8"soup=BeautifulSoup(r.text)print(soup.a)print(soup.a.string)

结果如下：

由于HTML语法可以在标签中嵌套其他标签，所以，string 属性的返回值遵循如下原则。

(1)如果标签内部没有其他标签，string 属性返回其中的内容。

(2)如果标签内部还有其他标签，但只有一个标签，string 属性返回最里面标签的内容。

(3)如果标签内部有超过1层嵌套的标签，string 属性返回None (空字符串)。HTML语法中同一个标签会有很多内容，例如标签,百度首页一共有13处，直接调用soup.a只能返回第一个。

遇到的问题：

1.在Pycharm使用Python爬取网页时，爬取的网页源码显示在一行，网页源码没有换行。

例如：

importrequests

r=requests.get("http://www.baidu.com/")

r.encoding="utf-8"

print(r.text)

运行上述代码，你会发现你爬取的网页源码显示在一行内。

解决办法：点击箭头所指的按钮，控制台就会自动换行了。

2.Pycharm在安装好第三方库时，在新建一个项目时，你会发现之前已经安装的第三方库不能使用。

新建一个项目，你会发现它没有之前安装的第三方库了

这时，你可以点击下拉框，再在下拉框中选择“show all”

这时，你可以找到上一个你已经安装好第三方库的项目，选中然后确认

再点击确定

然后运行代码，你就会发现可以使用第三方库了

用pycharm进行python爬虫的步骤_使用Pycharm写一个网络爬虫相关推荐

用c语言写一个网络爬虫
(同步个人博客 http://sxysxy.org/blogs/28 到csdn 写一个网络爬虫写一个网络爬虫,来获取一个网站上感兴趣的信息. 最基本的模型就是图.每个页面看作一个节点,若页面A有 ...
用pycharm进行python爬虫的步骤_在Pycharm中运行Scrapy爬虫项目的基本操作
目标在Win7上建立一个Scrapy爬虫项目,以及对其进行基本操作.运行环境:电脑上已经安装了python(环境变量path已经设置好), 以及scrapy模块,IDE为Pycharm .操作如下: ...
用Python写一个网络爬虫爬取网页中的图片
写一个爬虫爬取百度贴吧中一个帖子图片网址:壁纸用谷歌浏览器的开发工具检查网页,可以发现其每一张图片都有如下格式 <img class="BDE_Image" src=&q ...
java用爬虫爬一个页面_使用Java写一个简单爬虫爬取单页面
使用Java爬虫爬取人民日报公众号页面图片使用Java框架Jsoup和HttpClient实现,先看代码爬取目标页面 1.使用Maven构建一个普通Java工程加入依赖: org.jsoup j ...
python数字华容道算法_用React写一个数字华容道，你需要知道的秘密
还在上班?很无聊? 这个叫前言年末了.哦,不,要过年了.以前只能一路站到公司的我,今早居然是坐着过来的.新的一年,总要学一个新东西来迎接新的未来吧,所以选择了一直未碰的那个据说是全宇宙最牛逼的前端框 ...
用python制作勒索病毒_用c写一个小勒索病毒（用B站来学习）
前言: 这里是根据B站上的一个视频,看着教学写的,一下是我对代码的分块解析记录,方便想入门写病毒和反病毒小工具的人学习. 准备 vc++2013 b站学习视频新建项目我就是一开始新建项目都不清楚, ...
python迷宫万花筒代码_用Python3写一个走迷宫的小程序（图形化：matplotlib,dfs,prim）...
先看一下动态效果图(慢放): 首先生成迷宫: 主要用了两个算法:Prim和dfs 总结:Prim生成的比较像真正的迷宫,所以默认用了Prim生成迷宫先输入n,m,会生成一个迷宫(prim生成),然后 ...
【nodejs爬虫】使用async控制并发写一个小说爬虫
最近在做一个书城项目,数据用爬虫爬取,百度了一下找到这个网站,以择天记这本小说为例. 爬虫用到了几个模块,cheerio,superagent,async. superagent是一个http请求模块 ...
Python安装教程步骤3：Pycharm和Anaconda3安装及环境配置相关问题汇总
本文针对Pycharm和Anaconda的安装和Windows中创建虚拟环境安装Pytorch并在PyCharm中配置虚拟环境两个帖子出现的主要问题进行了汇总和解决. Pycharm和Anaconda ...

用pycharm进行python爬虫的步骤_使用Pycharm写一个网络爬虫

用pycharm进行python爬虫的步骤_使用Pycharm写一个网络爬虫相关推荐

最新文章

热门文章