准备工作

编程语言: python3(本人用的是3.6版本)
IDE(集成开发环境): 萌新推荐使用pycharm或python自带的IDLE.
操作系统: Windows(考虑到多数小伙伴都是windows系统,后面的爬虫也都是在windows环境下操作)
安装python的第三方库: requests
1. 以管理员身份运行cmd
2. 在终端中输入: pip install request

第一个小爬虫

我们先写一个从网站上下载视频或图片的简单小爬虫.

import os
import requests# 此处填写要获取的链接地址
url = 'http://img.hb.aicdn.com/225a5f3f75d1d4c59532704782eebd25d323fd801e57a-VlY5c4_fw658'
root = 'D://pics//'try:
# 判断路径下是否有这个文件夹,如果没有就创建文件夹if not os.path.exists(root):os.mkdir(root)path_filename = root + url.split('/')[-1] + '.png'  # 根据文件类型和链接可以选择修改后缀或不添加后缀# 使用requests,发送get请求.r = requests.get(url)if not os.path.exists(path_filename):with open(path_filename, 'wb')as f:# 图片视频等是二进制数据组成,所以我们用r.content将返回的数据转为bytes类型.f.write(r.content)f.close()print('文件保存成功')else:print('文件已存在')
except:print('下载失败')

我们也可以尝试获取多个视频或图片,只需要将url设置成列表,然后遍历它就可以实现.

将上述代码中的url设置成列表类型: url_list = [” 资源链接 “,” 资源链接 “,” 资源链接 “]
然后使用for循环遍历获取每个url,再用requests.get方法发送请求
如果有兴趣的小伙伴们可以动手尝试一下

下一章节我们会讲述一些requests库的基本语法.

入坑爬虫(二)编写第一个python小爬虫相关推荐

python爬虫入门教程(二)：开始一个简单的爬虫
2019/10/28更新使用Python3,而不再是Python2 转载请注明出处:https://blog.csdn.net/aaronjny/article/details/77945329 爬 ...
【（Python解释器、Pycharm）安装教程】【使用PyCharm编写第一个Python程序】
视频.源码.课件.软件.笔记:超全面Python基础入门教程[九天课程]博客笔记汇总表[黑马程序员] 目录 1.Python 解释器安装 1.1.手动配置环境变量步骤 2.PyCharm 程序 ...
微信小程序入坑教程二十一：使用wx.saveImageToPhotosAlbum保存图片时通过检测scope.writePhotosAlbum权限来提醒用户是否需要授权
摘要: 在昨天的文章<微信小程序入坑教程二十:生成海报前使用wx.downloadFile或wx.getImageInfo时潜在的坑>中提到了用户授权一事,scope.writePhoto ...
编写python程序一年365天_编写第一个Python程序
无论读者使用的是哪种操作系统,相信都已经安装好了 Python 环境,可以通过命令行窗口或者 Python 自带的 IDLE 成功启动交互式解释器(如图所示). 本节将带领读者正式编写第一个 Pyth ...
【Python基础】告别枯燥，60 秒学会一个 Python 小例子（文末下载）
本文推荐一个python的傻瓜式的学习资源,内容简单易懂,让人可以在60 秒学会一个 Python 小例子当前库已有 300多个实用的小例子本文来源:https://github.com/jac ...
【爬虫】基于R与Python的爬虫基本功（Imdb速8演员表）
忙到脑废, 刚给老师上交了毕业论文的初稿,趁着这段空闲给我这个人blog开个张. 对于任何数据控来说,网络爬虫约等于一个必要技能.现在上百度一搜,爬虫的代码(尤其是Python的)基本上占满了前三页. ...
python如何运行一个python程序_python如何运行？第一个python小程序示范
我们想要用python编程首先要做的就是安装一些工具,随后学会应用.那么问题来了,我们需要安装什么?python又是怎样运行的呢? 安装什么工具? 1.Python 3.6.5(我安装的,还有很多版本 ...
python如何运行？第一个python小程序示范
我们想要用python编程首先要做的就是安装一些工具,随后学会应用.那么问题来了,我们需要安装什么?python又是怎样运行的呢? 安装什么工具? 1.Python 3.6.5(我安装的,还有很多版本 ...

入坑爬虫(二)编写第一个python小爬虫

准备工作

第一个小爬虫

入坑爬虫(二)编写第一个python小爬虫相关推荐

最新文章

热门文章