【系列一之爬虫系列】爬取信息

2024-05-12 20:21:39

1 爬取京东某化妆品页面图片

1.1 源代码

1.2 解析

1.2.1 urllib库

运用urllib库中的request模块,它是最基本的HTTP请求模块，用来模拟发送请求。

(1) urlopen()函数

urlopen函数完成了最简单的网页的GET的请求抓取，其响应类型是HTTPResponse类型，HTTPResponse类型包含了read()、readinto()、getheader(name)、getheaders()响应的头部信息、fileno()等方法。

(2)request.Request()函数

request.Request()函数可以构建一个完整的请求，通过添加headers,可以模拟浏览器来获取数据。

(3request.urlretrieve()函数

request.urlretrieve()函数可以将URL表示的网络对象复制到本地文件。

1.2.2 BeautifulSoup

BeautifulSoup是python的一个库，最主要的功能是从网页抓取数据。

(1) find_all()函数

find_all()函数搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件。

(2)find()函数

find()方法与find_all()方法类似，唯一的区别就是find_all()方法的返回结果是值包含一个元素的列表,而 find()方法直接返回结果。

2 爬取网易云音乐

2.1 源代码

2.2解析

2.2.1 etree模块

etree.HTML()可以用来解析字符串格式的HTML文档对象，将传进去的字符串转变成_Element对象；xpath()可以获取html源码中的内容。

2.2.2 requests库

requests.get() 获取HTML网页的主要方法，对应于HTTP的GET

【系列一之爬虫系列】爬取信息相关推荐

四小时学python爬虫爬取信息系列（第一天）
四小时学python爬虫爬取信息系列(第一天)(全是干货) 1.安装requests库(可以在电脑python,我是进入anaconda我建的虚拟环境) anaconda虚拟环境法流程: conda ...
爬虫系列4：Requests+Xpath 爬取动态数据
爬虫系列4:Requests+Xpath 爬取动态数据 [抓取]:参考前文爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]:参 ...
Python爬虫系列（二）：爬取中国大学排名丁香园-用户名和回复内容淘宝品比价
Python爬虫系列(二):爬取中国大学排名&丁香园-用户名和回复内容&淘宝品比价目录 Python爬虫系列(二):爬取中国大学排名&丁香园-用户名和回复内容&淘宝品 ...
爬虫系列（四）--全站爬取
爬虫系列(四)--全站爬取全站爬取需要的数据基于一个这样的假设:某网站的页面上存在该网站其他页面的连接,通过这些连接跳转的新的页面进行数据的爬取.在开始这个之前,要先明白栈和队列.本篇中介绍的是单线 ...
[python爬虫] 招聘信息定时系统 (一).BeautifulSoup爬取信息并存储MySQL
这系列文章主要讲述,如何通过Python爬取招聘信息,且爬取的日期为当前天的,同时将爬取的内容保存到数据库中,然后制作定时系统每天执行爬取,最后是Python调用相关库发送短信到手机. ...
Python爬虫实战爬取租房网站2w+数据-链家上海区域信息（超详细）
Python爬虫实战爬取租房网站-链家上海区域信息(过程超详细) 内容可能有点啰嗦大佬们请见谅后面会贴代码带火们有需求的话就用吧正好这几天做的实验报告就直接拿过来了,我想后面应该会有人用的到吧 ...
爬虫之爬取易班推文信息
简介趁着周末有空,最近又在做爬虫相关的功能,想将易班的推文信息放到自己的小程序里,奈何网上没有找到合适的文章,于是就自己研究了一下易班推文的爬取,使用Springboot设置定时任务去爬取,在爬取信 ...
Python爬虫，爬取51job上有关大数据的招聘信息
Python爬虫,爬取51job上有关大数据的招聘信息爬虫初学者,练手实战最近在上数据收集课,分享一些代码. 分析所要爬取的网址 https://search.51job.com/list/000 ...
python爬虫实现爬取网页主页信息（html代码）
python爬虫实现爬取网页主页信息(html代码) 1.爬取网站源码 urllib整体介绍: urllib是一个包,收集几个模块来处理网址 urllib.request打开和浏览url中内容 url ...
【Python爬虫】爬取微信公众号文章信息准备工作
有一天发现我关注了好多微信公众号,那时就想有没有什么办法能够将微信公众号的文章弄下来,而且还想将一些文章的精彩评论一起搞下来.参考了一些文章,通过几天的研究基本上实现了自己的要求,现在记录一下自己的一 ...

最新文章

热门文章