07 爬取知乎张佳玮文章

# Author:Nimo_Dingimport requests
from bs4 import BeautifulSoup
import csv
import openpyxl# 使用headers是一种习惯
headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
url='https://www.zhihu.com/api/v4/members/zhang-jia-wei/articles?'f=open('zjw.csv','w',encoding='utf-8')
wb=openpyxl.Workbook()
sheet=wb.active
sheet.title='zjw_articles'
sheet['A1']='标题'
sheet['B1']='链接'
sheet['C1']='摘要'for i in range(2):params={'include': 'data[*].comment_count,suggest_edit,is_normal,thumbnail_extra_info,thumbnail,can_comment,comment_permission,admin_closed_comment,content,voteup_count,created,updated,upvoted_followees,voting,review_info,is_labeled,label_info;data[*].author.badge[?(type=best_answerer)].topics','offset': (i+1)*20, # 第一页为20，第二页为40'limit': 20,'sort_by': 'created'}res=requests.get(url,params=params,headers=headers)res_json=res.json()for i in res_json['data']:print('标题为：{}\n链接为：{}\n摘要为：{}\n'.format(i['title'],i['url'],i['excerpt']))f.write('标题为：{}\n链接为：{}\n摘要为：{}\n'.format(i['title'],i['url'],i['excerpt']))sheet.append([i['title'],i['url'],i['excerpt']])f.close()
wb.save('zjw.xlsx')

07 爬取知乎张佳玮文章相关推荐

知乎python练手的_Python—爬虫之初级实战项目：爬取知乎任一作者的文章练手
爬虫之初级实战项目:爬取知乎任一作者的文章练手在正式上代码之前,先过一遍之前所学知识的框架内容,温故而知新!!! 接下来我们直接上代码,一定要手敲代码.手敲代码.手敲代码!!! import req ...
怎样成为知乎大V？爬取张佳玮138w+知乎关注者：数据可视化
一.前言作为简书上第一篇文章,先介绍下小背景,即为什么爬知乎第一大V张公子的138w+关注者信息? 其实之前也写过不少小爬虫,按照网上各种教程实例去练手,"不可避免"的爬过妹子图 ...
爬取张佳玮138w+知乎关注者：数据可视化
前言作为博客上第一篇文章,先介绍下小背景,即为什么爬知乎第一大V张公子的138w+关注者信息? 其实之前也写过不少小爬虫,按照网上各种教程实例去练手,"不可避免"的爬过妹子图.爬 ...
16、爬取知乎大v张佳玮的文章“标题”、“摘要”、“链接”，并存储到本地文件...
爬取知乎大v张佳玮的文章"标题"."摘要"."链接",并存储到本地文件 1 # 爬取知乎大v张佳玮的文章"标题".&qu ...
Scrapy实战：爬取知乎用户信息
思路:从一个用户(本例为"张佳玮")出发,来爬取其粉丝,进而爬取其粉丝的粉丝- 先来观察网页结构: 审查元素: 可以看到用户"关注的人"等信息在网页中用json ...
如何用python爬取数据_如何使用python爬取知乎数据并做简单分析
原标题:如何使用python爬取知乎数据并做简单分析一.使用的技术栈: 爬虫:python27 +requests+json+bs4+time 分析工具: ELK套件开发工具:pycharm 数据 ...
python xpath爬取新闻标题_爬取知乎热榜标题和连接（python，requests，xpath）
用python爬取知乎的热榜,获取标题和链接. 环境和方法:ubantu16.04.python3.requests.xpath 1.用浏览器打开知乎,并登录 2.获取cookie和User-Agen ...
python爬虫知乎图片_python爬虫（爬取知乎答案图片）
python爬虫(爬取知乎答案图片) 1.⾸先,你要在电脑⾥安装 python 的环境我会提供2.7和3.6两个版本的代码,但是本⽂只以python3.6版本为例. 安装完成后,打开你电脑的终端(T ...
scrapy实战项目（简单的爬取知乎项目）
本项目实现了对知乎用户信息的爬取,并没有用数据库等,只是简单地用一些提取了一些字段然后存储在了一个csv文件中,但是同样可以实现无线爬取,理论上可以实现万级数据的爬取(当然取决于网速了) 其实想爬取知 ...

07 爬取知乎张佳玮文章

07 爬取知乎张佳玮文章相关推荐

最新文章

热门文章