python爬取知乎话题_python爬取知乎话题图片
前言
什么是网络爬虫(也叫网络蜘蛛)?简单来说,是一种用来自动浏览万维网程序或脚本(网络爬虫的典型应用就是我们所熟知的搜索引擎)。既然如此,那么我们也可以写一个程序,用来自动浏览或者获取网页上的信息。本文将介绍利用python自带库编写一个简单的爬虫程序来获取网络信息。
准备
本次爬取实例可能涉及以下知识:python基础知识
urllib库使用
http基本知识
html/js基本知识
正则表达式
环境准备:linux(windows基本适用)
python3
chrome浏览器
爬取目标
本次爬取的目标是知乎话题下的图片。
分析
以知乎话题你有哪些压箱底的表情包?为例
(链接地址:https://www.zhihu.com/question/48132860):
用chrome浏览器打开该链接。鼠标右键-检查元素,在elements页移动鼠标,当鼠标移动到某元素时,页面会被选中,因此我们可以找到第一张图片的img标签,而在标签中,我们可以找到图片的url地址,复制url地址,在浏览器打开,我们就看到了需要下载的表情包了。
至此,整体思路就很简单了:访问话题页--找到img标签--获取图片url地址--下载图片。
查找链接
代码#!/usr/bin/python3
#coding=utf-8
import urllib.request as request
import urllib.parse as parse
import string
import sys
import re
import os
import urllib.error as error
'''
获取url中的图片
url:链接地址
dirpath:保存路径
'''
def getUrlImage(url,dirpath):
dldNum=0
#存储目录不存在时,创建目录
if not os.path.isdir(dirpath):
os.makedirs(dirpath)
data = request.urlopen(url).read()
page_data = data.decode('gbk','ignore')
#获取img标签数据
page_image = re.compile('
#循环获取img标签中的图片
for image in page_image.findall(page_data):
#匹配数据中的图片
pattern = re.compile(r'^https://.*.(jpg|png|gif|jpeg)$')
if pattern.match(image):
print (image)
try:
extension = GetFileNameAndExt(image)
#读取图片内容
image_data = request.urlopen(image).read()
image_path = dirpath+'/'+str(dldNum)+extension
dldNum += 1
print(image_path)
#保存图片
with open(image_path, 'wb') as image_file:
image_file.write(image_data)
image_file.close()
except error.URLError as e:
print('Download failed')
'''
获取文件名中的扩展名
'''
def GetFileNameAndExt(filename):
(filepath,tempfilename) = os.path.split(filename);
(shotname,extension) = os.path.splitext(tempfilename);
return extension
'''
入口函数
带两个参数
参数1:话题链接地址
参数2:图片保存路径
'''
if __name__ == "__main__":
if(len(sys.argv) < 2):
print("usage:./download_spider.py url savePath")
else:
print("the url is "+str(sys.argv[1]))
print("the save path is "+str(sys.argv[2]))
url = sys.argv[1]
savePath = sys.argv[2]
getUrlImage(url,savePath)
运行
有两个参数,第一个参数是url,即话题的链接,第二个参数是所要保存图片的路径。
在linux下运行,可以看到正在不断保存话题图片./getZhiHuImage.py https://www.zhihu.com/question/48132860 ./test
程序执行完成后可以在目的目录下发现下载好的图片,接下来就可以开心地去斗图啦。
下载结果
下载结果2
最后说两句
本文仅简单利用了python自带urllib库完成了话题图片的获取工作,但更多时候,爬取网络资源要更困难得的多,要获取的内容也不像本文例子中那么明显易得到,比如可能需要模拟登录,验证码识别,伪装成浏览器,去重等等,这里不再展开。但是Python中自带urllib及urllib2 库,基本上能满足一般的页面抓取了。
python爬取知乎话题_python爬取知乎话题图片相关推荐
- python爬取虎扑评论_Python爬取NBA虎扑球员数据
虎扑是一个认真而有趣的社区,每天有众多JRs在虎扑分享自己对篮球.足球.游戏电竞.运动装备.影视.汽车.数码.情感等一切人和事的见解,热闹.真实.有温度. 受害者地址 https://nba.hupu ...
- python百度贴吧 发帖时间_python爬取贴吧帖子
一.介绍 我们常遇到一些很长的贴吧连载帖子想存到本地再看 此文就是运用python爬取指定百度贴吧的帖子并存到本地满足需求 环境:python2.7 目标网页:[长篇连载]剑网3的正史和野史--从头开 ...
- python爬取音乐并保存_Python爬取网易云音乐上评论火爆的歌曲
前言 网易云音乐这款音乐APP本人比较喜欢,用户量也比较大,而网易云音乐之所以用户众多和它的歌曲评论功能密不可分,很多歌曲的评论非常有意思,其中也不乏很多感人的评论.但是,网易云音乐并没有提供热评排行 ...
- python爬取b站用户_python爬取b站排行榜
爬取b站排行榜并存到mysql中 目的 b站是我平时看得最多的一个网站,最近接到了一个爬虫的课设.首先要选择一个网站,并对其进行爬取,最后将该网站的数据存储并使其可视化. 网站的结构 目标网站:bil ...
- python爬取知乎标题_python爬知乎热榜
爬项目:知乎热榜标题.热度.简介. 第一步浏览网页源代码 确认在哪html 还是js里 标题和热度在html 标签内容在js 需要用到正则表达式: 第二先爬html 里的内容调用模块-再请求一下url ...
- python爬取知乎问题_python爬取知乎首页问题
我的代码如下:importurllib.requestimporthttp.cookiejarurl_a="https://www.zhihu.com/"url_a="h ...
- python爬取知乎文章_Python爬取知乎日报,推送到kindle
最近刷知乎上瘾,刚好手头有一台kindle,搞一波事情. 1.分析页面 知乎日报 的网页端结果比较清晰,每篇的文章的链接都在 link-button 这个 a 标签中.用requests + Beau ...
- python爬取网页json数据_python爬取json数据库
手把手教你使用Python抓取QQ音乐数据(第一弹) [一.项目目标] 获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 由浅入深,层层递进,非常适合刚入门的同学练手. [二. ...
- python写一个爬虫、爬取网站漫画信息_python爬取漫画
原博文 2017-05-31 00:56 − 抓取漫画的网址是:sf互动传媒 抓取漫画的由来也是看了知乎上有人说用爬取漫画,然后自己也玩玩 首页中每个漫画的url是类似这样存储的: 相关推荐 2019 ...
最新文章
- CLR 4.0 有哪些新东西? -- 类型等价
- 配置数据库引擎BDE(Borland DataBase Engine)
- Python函数定义变量报错:local variable ‘a‘ referenced before assignment
- 微信小程序入门三:轮播图
- vue中的状态管理 vuex store
- 第一次冲刺阶段(五)
- 找一份高薪的AI工作有多难?
- 在.net中使用鼠标手势的讲述
- Android 开发——环境搭建
- numpy.dot()和x.dot(y)函数介绍和示例
- 【硬件通信协议】4. 详细解析CAN总线通信协议
- 前端HTML页面实现批量下载
- python柱状图纵轴刻度_Python数据分析:Matplotlib
- php如何判断emoji字符串,PHP实现识别带emoji表情的字符串
- 高斯白噪声的统计特性
- NVL、NVL2、NULLIF、COALESCE的区别是什么?
- 如何退出Vi或Vim编辑器
- C/C++编程学习 - 第19周 ⑩ 派
- 杂谈之Java命名规范与注释
- 工业相机的机械快门与电子快门有什么区别?