python抓取微信_python抓取搜狗微信公众号文章
初学python,抓取搜狗微信公众号文章存入mysql
mysql表:
代码:
import requests
import json
import re
import pymysql
# 创建连接
conn = pymysql.connect(host='你的数据库地址', port=端口, user='用户名', passwd='密码', db='数据库名称', charset='utf8')
# 创建游标
cursor = conn.cursor()
cursor.execute("select * from hd_gzh")
effect_row = cursor.fetchall()
from bs4 import BeautifulSoup
socket.setdefaulttimeout(60)
count = 1
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:65.0) Gecko/20100101 Firefox/65.0'}
#阿布云ip代理暂时不用
# proxyHost = "http-cla.abuyun.com"
# proxyPort = "9030"
# # 代理隧道验证信息
# proxyUser = "H56761606429T7UC"
# proxyPass = "9168EB00C4167176"
# proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
# "host" : proxyHost,
# "port" : proxyPort,
# "user" : proxyUser,
# "pass" : proxyPass,
# }
# proxies = {
# "http" : proxyMeta,
# "https" : proxyMeta,
# }
#查看是否已存在数据
def checkData(name):
sql = "select * from gzh_article where title = '%s'"
data = (name,)
count = cursor.execute(sql % data)
conn.commit()
if(count!=0):
return False
else:
return True
#插入数据
def insertData(title,picture,author,content):
sql = "insert into gzh_article (title,picture,author,content) values ('%s', '%s','%s', '%s')"
data = (title,picture,author,content)
cursor.execute(sql % data)
conn.commit()
print("插入一条数据")
return
for row in effect_row:
newsurl = 'https://weixin.sogou.com/weixin?type=1&s_from=input&query=' + row[1] + '&ie=utf8&_sug_=n&_sug_type_='
res = requests.get(newsurl,headers=headers)
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
url = 'https://weixin.sogou.com' + soup.select('.tit a')[0]['href']
res2 = requests.get(url,headers=headers)
res2.encoding = 'utf-8'
soup2 = BeautifulSoup(res2.text,'html.parser')
pattern = re.compile(r"url \+= '(.*?)';", re.MULTILINE | re.DOTALL)
script = soup2.find("script")
url2 = pattern.search(script.text).group(1)
res3 = requests.get(url2,headers=headers)
res3.encoding = 'utf-8'
soup3 = BeautifulSoup(res3.text,'html.parser')
print()
pattern2 = re.compile(r"var msgList = (.*?);$", re.MULTILINE | re.DOTALL)
script2 = soup3.find("script", text=pattern2)
s2 = json.loads(pattern2.search(script2.text).group(1))
#等待10s
time.sleep(10)
for news in s2["list"]:
articleurl = "https://mp.weixin.qq.com"+news["app_msg_ext_info"]["content_url"]
articleurl = articleurl.replace('&','&')
res4 = requests.get(articleurl,headers=headers)
res4.encoding = 'utf-8'
soup4 = BeautifulSoup(res4.text,'html.parser')
if(checkData(news["app_msg_ext_info"]["title"])):
insertData(news["app_msg_ext_info"]["title"],news["app_msg_ext_info"]["cover"],news["app_msg_ext_info"]["author"],pymysql.escape_string(str(soup4)))
count += 1
#等待5s
time.sleep(10)
for news2 in news["app_msg_ext_info"]["multi_app_msg_item_list"]:
articleurl2 = "https://mp.weixin.qq.com"+news2["content_url"]
articleurl2 = articleurl2.replace('&','&')
res5 = requests.get(articleurl2,headers=headers)
res5.encoding = 'utf-8'
soup5 = BeautifulSoup(res5.text,'html.parser')
if(checkData(news2["title"])):
insertData(news2["title"],news2["cover"],news2["author"],pymysql.escape_string(str(soup5)))
count += 1
#等待10s
time.sleep(10)
cursor.close()
conn.close()
print("操作完成")
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
python抓取微信_python抓取搜狗微信公众号文章相关推荐
- QQ群文件无法正常显示/微信(PC)电脑端公众号文章打开后显示一片空白的解决办法
QQ群文件无法正常显示/微信(PC)电脑端公众号文章打开后显示一片空白的解决办法: [解决办法] 1.打开ie浏览器,右上角类似齿轮的图标,找到Internet选项,打开 2.找到局域网设置 3.把下 ...
- 微信灰度测试“相关阅读”功能 公众号文章下推荐延伸内容
近日,有部分微信用户反映,在公众号文章的底部看到了"相关阅读"模块,该模块会推荐与正在阅读的文章相关的其他内容.腾讯方面向媒体确认,正在灰度测试"相关阅读"功能 ...
- 微信小程序中如何打开公众号文章(node版)
1. 技术要求 微信开发经验+小程序开发经验+会一点node 2. 思路 在6月份的一次更新,webview组件增加新的能力,webview 指向网页的链接.可打开关联的公众号的文章,其它网页需登录小 ...
- python爬虫爬取微信网页_python下爬虫爬取微信公众号文章给网站的相关操作与问题...
一.出发点 在dodo团队知乎号开刊文章中已介绍过本团队平常的实际工作,我们是一个从事游戏与金融结合的项目开发与运营团队.技术上主要是从事游戏分期.玩后付支付插件.游戏充值app等前后端开发,主要使用 ...
- 如何用python爬取公众号文章搜狗微信搜索_python抓取搜狗微信公众号文章
初学python,抓取搜狗微信公众号文章存入mysql mysql表: 代码: import requests import json import re import pymysql # 创建连接 ...
- python公众号文章_Python 抓取微信公众号文章
起因是刷微信的时候看到一篇文章,Python 抓取微信公众号文章保存成pdf,很容易搜到,就不贴出来了 先用chrome登陆微信公众号后台,先获取一下自己的cookie,复制下来就行,解析一下转换成 ...
- python抓取搜狗微信公众号文章
初学python,抓取搜狗微信公众号文章存入mysql mysql表: 代码: import requests import json import re import pymysql# 创建连接 c ...
- python 公众号文章发布_Python 抓取微信公众号文章
版权声明:此文章转载自 Yushneng PyHub 如需转载请联系听云College团队成员阮小乙,邮箱:ruanqy#tingyun.com 微信公众号的文章链接有些是具有时效性的,过一段时间会变 ...
- python wechatsougou_python抓取搜狗微信公众号文章
初学python,抓取搜狗微信公众号文章存入mysql mysql表: 代码: import requests import json import re import pymysql # 创建连接 ...
最新文章
- 让瘫痪失语患者「说话」,脑机接口首次从大脑活动解码完整句子,登上新英格兰医学杂志...
- Linux基础-6性能监控
- Windows API一日一练(86)GetClipboardData函数
- Angular Component的加载触发时机
- 前端学习(2153):Vue的终极解决方案
- python if else格式_Python if else条件语句详解
- LeetCode 12. Integer to Roman
- python爬取json简单吗_Python爬取Json数据的示例
- mac python 图_Python之图片OCR识别(Mac)
- OAF_开发系列18_实现OAF页面跳转setForwardURL / forwardImmediately(案例)
- .NET利用委托实现动态查询
- nodejs写的HTTP静态文件的引擎(轻量级)
- 用visio2003画简单流程图
- 设备\Device\Harddisk1\DR1 有一个不对的区块
- 如何使用spring2.0
- 苹果录屏没声音_苹果手机扬声器没声音是怎么回事?
- matlab 三角函数 积化和差,三角函数积化和差与和差化积公式
- 【原理图】电路中的VCC VDD VSS VEE GND含义 以及STM32电源
- Linux内核- KSM
- python tell方法_Python3 File tell() 方法
热门文章
- Backbone,Bottlenect,Head等术语
- dvcs-ripper安装教程
- 下雨了,我一个人撑伞
- 戴尔7040linux改装win7,戴尔OptiPlex 3060台式机win10改win7系统(完美支持usb)
- ios ReplayKit RPScreenRecorder获取屏幕录制的每一帧数据startCaptureWithHandler
- 范美忠的逃生本能需要一种理性伪饰吗?
- 应届毕业生,让人欢喜让人忧
- Jeremy Bearimy CodeForces - 1281E 贪心
- [转载]中国最致命的薄弱环节!(一个机械类毕业生的心声)
- Flutter 应用开发之Bloc模式