Python爬取微信公众号文章、标题、文章地址
前言
本文的文字及图片过滤网络,可以学习,交流使用,不具有vb.net教程任何商业用途,如有问题请及时联系我们以作处理。
Python爬虫、数据分析、网站开发等c#教程案例教程视频免费在线观看
https://space.bilibili.com/523606542
基本开发环境
Python 3.6
皮查姆
爬取两个公众号的文章:
1,爬取青灯编程公众号所有的文章
2,爬取所有关于python的公众号文章
爬取青灯编程公众号所有的文python基础教程章
1,登陆公众号之后点击图文
2,打开开发者工具
3,点击超链接
相关的数据加载出来,就有关于数据包,包含了文章标题,链接,摘要,发布时间等等,也可以选择其他的公众号也可以爬取的,但是这需要你有一个微信公众号。
要加cookie
import pprint
import time
import requests
import csvf = open('青灯公众号文章.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '文章发布时间', '文章地址'])
csv_writer.writeheader()for page in range(0, 40, 5):url = f'https://mp.weixin.qq.com/cgi-bin/appmsg?action=list_ex&begin={page}&count=5&fakeid=&type=9&query=&token=1252678642&lang=zh_CN&f=json&ajax=1'headers = {'cookie': '加cookie','referer': 'https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit_v2&action=edit&isNew=1&type=10&createType=0&token=1252678642&lang=zh_CN','user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',}response = requests.get(url=url, headers=headers)html_data = response.json()pprint.pprint(response.json())lis = html_data['app_msg_list']for li in lis:title = li['title']link_url = li['link']update_time = li['update_time']timeArray = time.localtime(int(update_time))otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)dit = {'标题': title,'文章发布时间': otherStyleTime,'文章地址': link_url,}csv_writer.writerow(dit)print(dit)
爬取所有关于python的公众号文章
1,搜狗搜索python选择微信
注意:如果不登陆只能爬取前十页数据,登陆之后可以爬取2W多篇文章。
2,爬取标题,公众号,文章地址,发布时间静态网页直接爬取即可
import time
import requests
import parsel
import csvf = open('公众号文章.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '公众号', '文章发布时间', '文章地址'])
csv_writer.writeheader()for page in range(1, 2447):url = f'https://weixin.sogou.com/weixin?query=python&_sug_type_=&s_from=input&_sug_=n&type=2&page={page}&ie=utf8'headers = {'Cookie': '自己的cookie','Host': 'weixin.sogou.com','Referer': 'https://www.sogou.com/web?query=python&_asf=www.sogou.com&_ast=&w=01019900&p=40040100&ie=utf8&from=index-nologin&s_from=index&sut=1396&sst0=1610779538290&lkt=0%2C0%2C0&sugsuv=1590216228113568&sugtime=1610779538290','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',}response = requests.get(url=url, headers=headers)selector = parsel.Selector(response.text)lis = selector.css('.news-list li')for li in lis:title_list = li.css('.txt-box h3 a::text').getall()num = len(title_list)if num == 1:title_str = 'python' + title_list[0]else:title_str = 'python'.join(title_list)href = li.css('.txt-box h3 a::attr(href)').get()article_url = 'https://weixin.sogou.com' + hrefname = li.css('.s-p a::text').get()date = li.css('.s-p::attr(t)').get()timeArray = time.localtime(int(date))otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)dit = {'标题': title_str,'公众号': name,'文章发布时间': otherStyleTime,'文章地址': article_url,}csv_writer.writerow(dit)print(title_str, name, otherStyleTime, article_url)
Python爬取微信公众号文章、标题、文章地址相关推荐
- html如何获取请求头变量的值。_如何使用 Python 爬取微信公众号文章
我比较喜欢看公众号,有时遇到一个感兴趣的公众号时,都会感觉相逢恨晚,想一口气看完所有历史文章.但是微信的阅读体验挺不好的,看历史文章得一页页的往后翻,下一次再看时还得重复操作,很是麻烦. 于是便想着能 ...
- python 微信公众号发文章_如何使用 Python 爬取微信公众号文章
我比较喜欢看公众号,有时遇到一个感兴趣的公众号时,都会感觉相逢恨晚,想一口气看完所有历史文章.但是微信的阅读体验挺不好的,看历史文章得一页页的往后翻,下一次再看时还得重复操作,很是麻烦. 于是便想着能 ...
- 如何用python爬取公众号文章_如何使用 Python 爬取微信公众号文章
我比较喜欢看公众号,有时遇到一个感兴趣的公众号时,都会感觉相逢恨晚,想一口气看完所有历史文章.但是微信的阅读体验挺不好的,看历史文章得一页页的往后翻,下一次再看时还得重复操作,很是麻烦. 于是便想着能 ...
- python爬虫爬取微信_如何使用 Python 爬取微信公众号文章
我比较喜欢看公众号,有时遇到一个感兴趣的公众号时,都会感觉相逢恨晚,想一口气看完所有历史文章.但是微信的阅读体验挺不好的,看历史文章得一页页的往后翻,下一次再看时还得重复操作,很是麻烦. 于是便想着能 ...
- 如何使用 Python 爬取微信公众号文章
我比较喜欢看公众号,有时遇到一个感兴趣的公众号时,都会感觉相逢恨晚,想一口气看完所有历史文章.但是微信的阅读体验挺不好的,看历史文章得一页页的往后翻,下一次再看时还得重复操作,很是麻烦. 于是便想着能 ...
- python爬虫实战-爬取微信公众号所有历史文章 - (00) 概述
http://efonfighting.imwork.net 欢迎关注微信公众号"一番码客"获取免费下载服务与源码,并及时接收最新文章推送. 最近几年随着人工智能和大数据的兴起,p ...
- Python爬取微信公众号文章、点赞数
代码还是热乎的,只要你细心一步步的慢慢调试,绝壁没问题 前期准备 订阅号: Python: Fiddler: 微信账号: 流程 使用用微信公众号生成cookie 使用Fiddler抓取微信公众号数据, ...
- python爬取正确但不出文件_使用Python爬取微信公众号文章并保存为PDF文件(解决图片不显示的问题)...
前言 第一次写博客,主要内容是爬取微信公众号的文章,将文章以PDF格式保存在本地. 爬取微信公众号文章(使用wechatsogou) 1.安装 pip install wechatsogou --up ...
- Python 爬取微信公众号文章
获取任何你想爬取的微信公众号文章 本程序通过输入关键字(如CSDN)就会获取到所有包含关键字(如CSDN)的公众号.在逐一获取所有公众号下所有文章.当然,这只是理想情况,腾讯的反爬不是一般的厉害,他会 ...
- python爬取微信公众号文章
爬取微信公众号文章 获取微信公众号的url 获取每一篇文章的url 选择一个公众号进入,选择一个目录进入后点复制链接,然后去浏览器打开.按F12打开检查的模式,在Console中输入$x('标签路 ...
最新文章
- python zookeeper_ZooKeeper的安装以及客户端Kazoo(Python语言)的安装与使用
- 实现Java集合迭代的高性能
- Linux使用parted进行分区及拓展实验
- 如何启用SAP CRM text的html编辑器
- python采用编译型方式执行_Python程序的执行过程 解释型语言和编译型语言
- Vue/Angular中父窗口新开的子窗口关闭的时候刷新父窗口
- 【DP】【线段树】基站选址(luogu 2605/金牌导航 数据结构优化DP-2)
- java虚拟机编译文件,理解Java虚拟机(1)之一个.java文件编译成.class文件发生了什么...
- C/C++开发者必不可少的15款编译器+IDE
- OpenCV3学习(11.6) ORB特征检测器及BRIEF描述符
- ASP.NET Core 使用MySQL(Database First)
- iSPRINT:Google 最高能的创新加速课程,绝不允许产品走弯路!
- 关于自定义异常中为什么带参构造器需要显示调用父类异常的带参构造器
- 吸猫就吸Tomcat之Pipeline-Valve巧妙设计
- android gradle abi mips x86,APP_ABI := armeabi armeabi-v7a mips x86与= armeabi armeabi-v7a区别是?...
- python数据建模python_Python 数据建模总结和实战(共两万字)
- 三星手机「我的文件」应用闪退问题的解决方法
- 咖啡,为什么有些比较甜?
- Cocos精品《地下城堡2》:从挂机到RPG 唯有暗黑始终如一
- android list 快速查找
热门文章
- Openstack中用keypair生成和访问虚机的方法
- docker-sync 加速 Laravel Sail 代码同步
- 基于Nodejs+vue开发实现高校学院网站系统
- JPBC实现非对称双线性配对:typeF型曲线
- jq 下拉列表选中事件_JQuery select各种事件
- 转-快找个程序员做老公吧
- matlab彩色图像的R、G、B三个分量以灰色和彩色的形式显示
- [x64dbg] 实战01 - 参数打印/修改参数内容(条件断点、命令、脚本)
- input[type='radio'] 自定义样式___通过label标签重置input[radio]样式
- mne plot出错_MNE-Python 环境配置 | win 10