python爬虫知乎图片_Python爬虫入门教程 25-100 知乎文章图片爬取器之一
1. 知乎文章图片爬取器之一写在前面
今天开始尝试爬取一下知乎,看一下这个网站都有什么好玩的内容可以爬取到,可能断断续续会写几篇文章,今天首先爬取最简单的,单一文章的所有回答,爬取这个没有什么难度。
找到我们要爬取的页面,我随便选了一个
https://www.zhihu.com/question/292393947
1084个回答,数据量可以说非常小了,就爬取它吧。
2. 知乎文章图片爬取器之一选取操作库和爬取地址
爬取使用requests 存储使用 mongodb 就可以了
爬取地址经过分析之后,找到了一个可以返回json的数据接口
提取链接,看一下各参数的意思,方便我们程序模拟
https://www.zhihu.com/api/v4/questions/292393947/answers?include=data%5B%2A%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%3Bdata%5B%2A%5D.mark_infos%5B%2A%5D.url%3Bdata%5B%2A%5D.author.follower_count%2Cbadge%5B%2A%5D.topics&limit=5&offset=10&sort_by=default
上面的连接进行了URL编码,去找个解码工具解析一下,编程下面的URL就比较好解释了,answers后面跟了一堆的参数,应该是返回的关键字,找到limit每页显示的数据量,offset偏移量,我们下拉滚动条,发现这个在不断的叠加+5,sort_by 就是排序。
https://www.zhihu.com/api/v4/questions/292393947/answers?include=data[*].is_normal,admin_closed_comment,reward_info,is_collapsed,annotation_action,annotation_detail,collapse_reason,is_sticky,collapsed_by,suggest_edit,comment_count,can_comment,content,editable_content,voteup_count,reshipment_settings,comment_permission,created_time,updated_time,review_info,relevant_info,question,excerpt,relationship.is_authorized,is_author,voting,is_thanked,is_nothelp;data[*].mark_infos[*].url;data[*].author.follower_count,badge[*].topics&limit=5&offset=10&sort_by=default
做好上面的工作,接下来就是爬取了,我简化了一下爬取的地址,只保留了一些关键的信息
https://www.zhihu.com/api/v4/questions/292393947/answers?include=comment_count,content,voteup_count,reshipment_settings,is_author,voting,is_thanked,is_nothelp;data[*].mark_infos[*].url;data[*].author.follower_count,badge[*].topics&limit=5&offset=0&sort_by=default
3. 知乎文章图片爬取器之一编写代码
分析完毕之后,发现代码非常简单了
import requests
from fake_useragent import UserAgent
############## 数据存储
import pymongo
import time
DATABASE_IP = '127.0.0.1'
DATABASE_PORT = 27017
DATABASE_NAME = 'sun'
client = pymongo.MongoClient(DATABASE_IP,DATABASE_PORT)
db = client.sun
db.authenticate("dba", "dba")
collection = db.zhihuone # 准备插入数据
##################################
class ZhihuOne(object):
def __init__(self,totle):
self._offset = 0
self._totle = totle
#self._ua = UserAgent()
def run(self):
print("正在抓取 {} 数据".format(self._offset))
headers = {
"upgrade-insecure-requests":"1",
"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"
}
with requests.Session() as s:
try:
with s.get("https://www.zhihu.com/api/v4/questions/292393947/answers?include=comment_count,content,voteup_count,reshipment_settings,is_author,voting,is_thanked,is_nothelp;data[*].mark_infos[*].url;data[*].author.follower_count,badge[*].topics&limit=5&offset={}&sort_by=default".format(self._offset),headers=headers,timeout=3) as rep:
data = rep.json()
if data:
collection.insert_many(data["data"])
except Exception as e:
print(e.args)
finally:
if self._offset <= self._totle:
self._offset = self._offset + 5 # 每次+5
print("防止被办,休息3s")
time.sleep(3)
self.run()
else:
print("所有数据获取完毕")
if __name__ == '__main__':
# 偏移量是0,5,10 i=1 (i-1)*5
zhi = ZhihuOne(1084)
zhi.run()
上面主程序入口中,我写了个1084 ,这个偷懒,就硬编码了,数据当然也可以通过爬取获取,没有任何问题
4. 知乎文章图片爬取器之一写在后面
本篇文章是知乎文章爬取器之一,接下来完善的功能 1. 爬取地址用户可以输入 2. 自动答案总数 3. 文章中图片自动下载 4. 等功能
python爬虫知乎图片_Python爬虫入门教程 25-100 知乎文章图片爬取器之一相关推荐
- android 编辑9图片,Android基础入门教程——1.6 .9(九妹)图片怎么玩
Android基础入门教程--1.6 .9(九妹)图片怎么玩 Android基础入门教程 1.本节引言: 可能有的一些疑问: 1.什么是.9图片? 答:图片后缀名前有.9的图片,如pic1.9.png ...
- python 喜马拉雅_Python爬虫入门教程14:喜马拉雅有声书音频爬取
基本开发环境????Python 3.6 Pycharm 相关模块的使用????import requests import os 安装Python并添加到环境变量,pip安装需要的相关模块即可. 一 ...
- WebMagic爬虫入门教程(二)一个完整的爬取动漫之家的实例
(一)前言 我的上一篇博客已经说明如何爬取某一个网页的动漫数据,这里重点说一下一个完整的爬虫实例. 和上一篇文章相比,多了的就是动画种类,日文名什么的. 推荐这个爬取博客的:http://blog.c ...
- python手机开发的软件_Python新手入门教程_在手机上就能学习编程的软件
Python新手入门教程_在手机上就能学习编程的软件 很多小伙伴会问:我在学编程,想利用坐地铁坐公交吃饭间隙学编程,在手机上能学编程的软件有哪些?毕竟时间宝贵啊!!哈哈哈!!! 这个问题,在悟空回答的 ...
- Python爬虫入门教程 15-100 石家庄政民互动数据爬取
写在前面 今天,咱抓取一个网站,这个网站呢,涉及的内容就是 网友留言和回复,特别简单,但是网站是gov的.网址为 http://www.sjz.gov.cn/col/1490066682000/ind ...
- Python爬虫入门教程15:音乐网站数据的爬取
前言
- Python爬虫入门教程07:腾讯视频弹幕爬取
前言
- Python爬虫入门教程14:喜马拉雅有声书音频爬取
基本开发环境
- python soup歌词_python从入门到放弃篇35(BeautifulSoup库)爬取A神waiting for love歌词
今天,在研究BeautifulSoup库的使用方法和技巧,我看了一下BeautifulSoup库函数,觉得BeautifulSoup库没有lxml库的xpath函数那么好用,各有优势吧. 案例网址:h ...
- Python爬取入门教程16:音频素材网站的爬取
前言
最新文章
- 在“DNS管理器”中手工增加DNS主机(A)或者别名(CNAME)记录时,出现被拒绝的错误...
- 皮一皮:原来骑骆驼要求这么高。。
- 期末复习、化学反应工程科目(第二章)
- 软件测试 测试停止标准_停止正常测试
- matlab判断电话播键音,MATLAB电话拨号音的合成与识别
- 利用反射实现工厂模式
- ubuntu安装宝塔界面
- 进程的同步、互斥、通信的区别,进程与线程同步的区别
- 史上最全idea插件开发入门实战(傻瓜式教程)
- win7系统和银行驱动安装
- Arduino+WZ指令+Onenet
- Android Studio控件属性大全
- 大白菜Ghost备份还原系统-人人都会重装系统
- ESP32产品系列之智能插座(一),框架及硬件设计
- 计算机基础知识试题答案6,计算机基础知识试题及答案
- 西方科学家依然对互联网的进化表示质疑
- java序列化3-序列化设计防坑点
- 多张连续帧图片转为视频,万能转换工具!(Ubuntu系统下亲测有效!)
- 关于Windows Paint的基础图层透明背景的操作说明
- cml sml区别_.CML与SML有何联系和区别?