python爬取微信公众号推送_微信公众号推送信息爬取---python爬虫
问题描述
利用搜狗的微信搜索抓取指定公众号的最新一条推送,并保存相应的网页至本地。
注意点
搜狗微信获取的地址为临时链接,具有时效性。
公众号为动态网页(JavaScript渲染),使用requests.get()获取的内容是不含推送消息的,这里使用selenium+PhantomJS处理
代码
#! /usr/bin/env python3
from selenium import webdriver
from datetime import datetime
import bs4, requests
import os, time, sys
# 获取公众号链接
def getAccountURL(searchURL):
res = requests.get(searchURL)
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, "lxml")
# 选择第一个链接
account = soup.select('a[uigs="account_name_0"]')
return account[0]['href']
# 获取首篇文章的链接,如果有验证码返回None
def getArticleURL(accountURL):
browser = webdriver.PhantomJS("/Users/chasechoi/Downloads/phantomjs-2.1.1-macosx/bin/phantomjs")
# 进入公众号
browser.get(accountURL)
# 获取网页信息
html = browser.page_source
accountSoup = bs4.BeautifulSoup(html, "lxml")
time.sleep(1)
contents = accountSoup.find_all(hrefs=True)
try:
partitialLink = contents[1]['hrefs']
firstLink = base + partitialLink
except IndexError:
firstLink = None
print('CAPTCHA!')
return firstLink
# 创建文件夹存储html网页,以时间命名
def folderCreation():
path = os.path.join(os.getcwd(), datetime.now().strftime('%Y-%m-%d_%H-%M-%S'))
try:
os.makedirs(path)
except OSError as e:
if e.errno != errno.EEXIST:
raise
print("folder not exist!")
return path
# 将html页面写入本地
def writeToFile(path, account, title):
pathToWrite = os.path.join(path, '{}_{}.html'.format(account, title))
myfile = open(pathToWrite, 'wb')
myfile.write(res.content)
myfile.close()
base ='https://mp.weixin.qq.com'
accountList = ['央视新闻', '新浪新闻','凤凰新闻','羊城晚报']
query = 'http://weixin.sogou.com/weixin?type=1&s_from=input&query='
path = folderCreation()
for index, account in enumerate(accountList):
searchURL = query + account
accountURL = getAccountURL(searchURL)
time.sleep(10)
articleURL = getArticleURL(accountURL)
if articleURL != None:
print("#{}({}/{}): {}".format(account, index+1, len(accountList), accountURL))
# 读取第一篇文章内容
res = requests.get(articleURL)
res.raise_for_status()
detailPage = bs4.BeautifulSoup(res.text, "lxml")
title = detailPage.title.text
print("标题: {}\n链接: {}\n".format(title, articleURL))
writeToFile(path, account, title)
else:
print('{} files successfully written to {}'.format(index, path))
sys.exit()
print('{} files successfully written to {}'.format(len(accountList), path))
参考输出
Terminal输出
Terminal输出
Finder
写入的html文件
分析
链接获取
首先进入搜狗的微信搜索页面,在地址栏中提取需要的部分链接,字符串连接公众号名称,即可生成请求链接
针对静态网页,利用requests获取html文件,再用BeautifulSoup选择需要的内容
针对动态网页,利用selenium+PhantomJS获取html文件,再用BeautifulSoup选择需要的内容
遇到验证码(CAPTCHA),输出提示。此版本代码没有对验证码做实际处理,需要人为访问后,再跑程序,才能避开验证码。
文件写入
使用os.path.join()构造存储路径可以提高通用性。比如Windows路径分隔符使用back slash(\), 而OS X 和 Linux使用forward slash(/),通过该函数能根据平台进行自动转换。
open()使用b(binary mode)参数同样为了提高通用性(适应Windows)
使用datetime.now()获取当前时间进行命名,并通过strftime()格式化时间(函数名中的f代表format),具体使用参考下表(摘自 Automate the Boring Stuff with Python)
strftime()
参考链接:
python爬取微信公众号推送_微信公众号推送信息爬取---python爬虫相关推荐
- python 微信公众号 语音推送_微信公众平台消息接口开发(40)语音识别
微信公众平台开发模式 微信 语音识别 公众平台 消息接口 语音识别 微信公众平台开发 语音识别 作者:方倍工作室 地址:http://www.cnblogs.com/txw1958/archive/2 ...
- 批量关闭公众号推送_微信推出“一键拒收”长期未读公众号推送功能
近期已经写了不少关于微信的消息了,本来想换个话题休息一下,谁知道微信不休息啊,又开始内测了.7月25日,部分iOS内测微信用户会收到系统对长时间未读订阅号的提醒,并可通过提醒入口选择不接收这部分订阅号 ...
- 批量关闭公众号推送_微信喊你「批量屏蔽公众号」啦!还有其他新功能!!
原标题:微信喊你「批量屏蔽公众号」啦!还有其他新功能!! 小派有可能会迟到 但尽量不缺席 昨天 公众号被爆出大大大的功能 「可批量取消长期不阅读公众号的推送」 虽然这个功能目前还是内测 部分长时间不阅 ...
- php公众号提现功能,微信公众号打赏的钱怎么提现_微信公众号打赏功能_微信公众号打赏从哪里取出来...
微信公众号打赏的钱怎么提现,微信公众号打赏功能.微信公众号之前打赏功能可以立即取现,但是最近出现了一些变动,会有人问微信公众号打赏为什么不能立刻取现?小编为大家带来了微信公众号打赏取现时间调整. 微信 ...
- 微信有电脑客户端吗_微信公众号文章下载、打印、精确搜索定位与交流方式分享...
点"考研竞赛数学"↑可每天"涨姿势"哦! 封面图来源:pexels.com [注]以下操作适用于所有公众号 一.电子文档下载打印 咱号一直不赞成积累电子文档,而 ...
- java公众号互推联盟_写公众号15个月以来,这一路上的学习与收获
之前写了一篇自己大学经历的文章普普通通,我的三年大学,里面说到了公众号,之后就有很多人问我公众号要怎么开通,怎么运营,各种问题.说实话,要是我详细跟你说,估计得花我很多时间,而且我的公众号也不算是运营 ...
- 微信订阅号签到功能_微信公众号积分签到功能怎么添加,怎么制作微信签到赚积分...
导读:在公众号里做每日签到的好处是可以提高粉丝的活跃度和粘性,签到送积分,可以换礼物,这样比较能留住粉丝,该怎么设置呢,因为这个是会员卡里的一个插件,首先我们需要先添加好会员卡功能,下面分享具体教程. ...
- 注册一个公众号多少钱_微信公众号申请注册收费吗?要钱吗?多少钱?
[导读]微信公众号申请注册收费吗?要钱吗?多少钱?很多企业或个人在申请微信公众号之前都会存在这样的疑问,都不清楚具体是否需要收费,因此我们小编专门对此问题进行了详细解答. 微信公众号申请注册收费吗?要 ...
- 个人公众号注销方法_微信公众号怎么注销,注销方法
[导读]2017年微信公众号怎么注销?注销方法有哪些?根据最新消息,2017年4月12日起,微信公众号可以自主注销,用户在核实身份信息或者验证帐号主体后,可以在公众号后台-"公众号设置&qu ...
- 微信用户绑定java实例_微信开放平台 帐号管理 绑定在同一个开放平台帐号下的公众号及小程序让用户unionid一致...
第三方平台在获得此权限后,可以代替已授权的公众号/小程序创建开放平台帐号或进行绑定/解绑操作. 绑定在同一个开放平台帐号下的公众号及小程序,用户unionid一致.开发者可调用"获取用户基本 ...
最新文章
- 计算整型数的二进制中包含多少个1
- 网站打开速度多少毫秒为正常_诠网科技|网站优化中跳出率多少才是合理的?...
- SpringBoot出现Request method ‘GET‘ not supported
- Ecshop:后台添加新功能栏目以及管理权限设置
- AI算法连载03:数学基础之数值计算
- golang关键字和程序语句
- 推荐中文分词:腾讯文智
- [IM002] [Microsoft][ODBC 驱动程序管理器] 未发现数据源名称并且未指定默认驱动程序...
- HBase简介及使用
- python实例 输出你好
- MySQL简明教程-下
- win10系统Qt配置海康HCSadpSDK局域网设备搜索
- 程序猿面试八股文分享~
- 1041 考试座位号 (15 分)
- 计算机辅助英语教学 研究背景,精选:信息时代背景下的英语教学原稿
- 直播http-flv小调研
- php的lumen框架,Lumen框架“服务容器”源码解析
- 【Javascript 基础】课堂笔记1
- 计算机游戏性能测评,游戏性能测试
- 大学必备算法,求最大公约数