python下载保存_使用Python下载保存扬叔文章

2020/6/2 好像知乎架构又有改动，作废 4月时下载了500+篇

import requests

from pyquery import PyQuery as pq

# 扬叔文章页面的网址 F12-Network-XHR 刷新 Headers-General-Request URL

url = 'https://www.zhihu.com/api/v4/members/fu-lan-ke-yang/answers...by created'

# 添加请求头浏览器类型同上F12寻找

headers ={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/'}

# 加上请求头对网址进行请求

response = requests.get(url,headers=headers).json()

# 取出字典中以data为键对应的数据

data =response["data"]

# 因为得到的数据是一个列表，所以用for遍历提取

qdata = requests.get(response["question"]).json

for x in data:

# 提取出question键

# 新建一个空字典

dict={}

qdict={}

# 遍历后得到的数据是一个字典，取出字典中以question为键对应的数据，得到文章的标题，并把数据装进新建的字典里

dict["aid"]=x["id"]

# 取出字典中以url为键对应的数据，得到文章的网址，并把数据装进新建的字典里

dict["qid"]= qdata["id"]

# 对文章网址进行请求

durl = 'https://www.zhihu.com/question/'+dict['qid']+'/answer/'+qdata['aid']

res =requests.get(durl,headers=headers).text

# 数据初始化

doc = pq(res)

# .是按类选择器选取数据

contnent = doc(".Post-RichTextContainer").items()

print(contnent)

# 遍历文章数据

for x in contnent:

v = x.text()

# 打开文件夹“知乎”，保存为“标题名.txt”，以“a”追加的方式写入，编码为“utf-8”

f = open("c:/Users/白非立/Desktop/扬叔文章/" + dict["question"] + ".txt", "a", encoding="utf-8")

# 写入

f.write(v)

# 关闭写入

f.close()

python下载保存_使用Python下载保存扬叔文章相关推荐

python 时间序列预测_使用Python进行动手时间序列预测
python 时间序列预测 Time series analysis is the endeavor of extracting meaningful summary and statistical ...
python 概率分布模型_使用python的概率模型进行公司估值
python 概率分布模型 Note from Towards Data Science's editors: While we allow independent authors to publis ...
python根据url下载数据_利用Python如何实现根据URL地址下载并保存文件至对应目录...
利用Python如何实现根据URL地址下载并保存文件至对应目录发布时间:2020-11-16 14:23:11 来源:亿速云阅读:58 作者:Leah 这篇文章将为大家详细讲解有关利用Python ...
如何用python批量下载数据_使用Python批量下载数据
这次依旧是,不过下载的是Australian Bureau of Statistics的数据,都是xls的表格,网址为:http://www.abs.gov.au.网页打开左边有棵树目录,里面记录的澳 ...
爬虫python下载视频_用python做爬虫下载视频
用python有一段时间了,对python是十二分喜爱,在我看来python是个好工具,可以轻松简洁的帮我完成一些我想要完成的工作.下面和大家分享一下我用python爬取某网站视频的案例.用pytho ...
python免费下载歌曲_实现python批量下载网易云音乐的免费音乐
python视频教程栏目介绍实现下载免费音乐相关免费学习推荐:python视频教程运行效果代码# -*- coding:utf-8 -*- import requests, hashlib, s ...
aaynctask控制多个下载进度_使用 Python 下载的 11 种姿势，一种比一种高级
点击上方"Python编程时光",选择"加为星标"第一时间关注Python技术干货! 原文链接:http://dwz.date/cQjK 在本教程中,你将学习如 ...
mac用python爬虫下载图片_利用Python爬虫采集mac电脑皮肤|简明python教程|python入门|python教程...
https://www.xin3721.com/eschool/pythonxin3721/ blessing skin网站介绍:blessing skin网址为 https://skin.prinz ...
python无水印下载视频_用 Python 下载抖音无水印视频
说起抖音,大家或多或少应该都接触过,如果大家在上面下载过视频,一定知道我们下载的视频是带有水印的,那么我们有什么方式下载不带水印的视频呢?其实用 Python 就可以做到,下面我们来看一下. 首先,我 ...

python下载保存_使用Python下载保存扬叔文章

python下载保存_使用Python下载保存扬叔文章相关推荐

最新文章

热门文章