python微信爬虫
微信网站为http://weixin.sogou.com/
微信爬虫,使用代理服务器爬一个网址。注意设置代理服务器时,该代理服务器有可能失效,需要换成新的有效代理服务器。代理服务器可以百度到。
import urllib.request
import re
import time
import urllib.error# 自定义函数,功能为使用代理服务器爬一个网址
def use_proxy(proxy_addr, url):# 异常处理机制try:req = urllib.request.Request(url) # Request模拟浏览器req.add_header = ('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/63.0')proxy = urllib.request.ProxyHandler({'http': proxy_addr}) # 代理服务器opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)urllib.request.install_opener(opener)data = urllib.request.urlopen(req).read()return dataexcept urllib.error.URLError as e:if hasattr(e, 'code'): # 判断是否有状态码print(e.code)if hasattr(e, 'reason'): # 判断是否有原因这个属性print(e.reason)# 若为URLError异常,延时10秒执行time.sleep(10)except Exception as e:print('exception:' + str(e))# 若为Exception异常,延时1秒执行time.sleep(1)# 设置关键词
key = 'Python'
# 设置代理服务器,该代理服务器有可能失效,读者需要换成新的有效代理服务器
proxy = '127.0.0.1:8888'
# 爬多少页
for i in range(0, 10):key = urllib.request.quote(key)thispageurl = 'https://weixin.sogou.com/weixin?query=' + key + '&type=2&page=' + str(i)thispagedata = use_proxy(proxy, thispageurl)pat1 = '<a target="_blank" href="(.*?)"'rs1 = re.compile(pat1, re.S).findall(str(thispagedata))if (len(rs1) == 0):print('此次(' + str(i) + '页)没成功')continuefor j in range(0, len(rs1)):thisurl = rs1[j]thisurl = thisurl.replace('amp;', '')file = 'e:/image/第' + str(i) + '页第' + str(j) + '篇文章.html'thisdata = use_proxy(proxy, thisurl)print(len(thisdata))try:fh = open(file, 'wb')fh.write(thisdata)fh.close()print('第' + str(i) + '页第' + str(j) + '篇文章成功')except Exception as e:print(e)print('第' + str(i) + '页第' + str(j) + '篇文章失败')
python微信爬虫相关推荐
- Python 微信爬虫完整实例【单线程与多线程】
本文实例讲述了Python 实现的微信爬虫.分享给大家供大家参考,具体如下: 单线程版: import urllib.request import urllib.parse import urllib ...
- python 微信爬虫_python3简单实现微信爬虫
使用ghost.py 通过搜搜 的微信搜索来爬取微信公共账号的信息 # -*- coding: utf-8 -*- import sys reload(sys) import datetime imp ...
- 如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...
- python朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...
- python展示全部好友_利用Python网络爬虫抓取微信好友的签名及其可视化展示
前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所 ...
- python抓取朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)...
原标题:如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下) 前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往 ...
- python爬虫微信朋友圈怎么发文字_如何利用Python网络爬虫抓取微信朋友圈的动态(上)...
今天小编给大家分享一下如何利用Python网络爬虫抓取微信朋友圈的动态信息,实际上如果单独的去爬取朋友圈的话,难度会非常大,因为微信没有提供向网易云音乐这样的API接口,所以很容易找不到门.不过不要慌 ...
- python爬虫好友聊天记录_利用Python网络爬虫抓取微信好友的签名及其可视化展示...
前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所 ...
- python抓取微信朋友圈动态_2018最全如何利用Python网络爬虫抓取微信朋友圈的动态...
今天小编给大家分享一下如何利用Python网络爬虫抓取微信朋友圈的动态信息,实际上如果单独的去爬取朋友圈的话,难度会非常大,因为微信没有提供向网易云音乐这样的API接口,所以很容易找不到门.不过不要慌 ...
- python爬虫能爬取微信密码吗_如何利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例...
今天我们继续focus on微信,不过这次给大家带来的是利用Python网络爬虫抓取微信好友总数量和微信好友男女性别的分布情况.代码实现蛮简单的,具体的教程如下. 相信大家都知道,直接通过网页抓取微信 ...
最新文章
- tensorflow学习笔记————分类MNIST数据集
- Python实现递归算法
- P4016 负载平衡问题
- 西南交大计算机机试题,西南交大 土木茅以升班 计算机应用基础试题(2004年) B卷...
- 数据结构——数组、单向链表、双向链表
- Dart 语言不如 Kotlin?这里列了 13 个原因
- 【外传】前端开发——elementUI使用方法
- mac及idea常用快捷键
- 通达OA流程中心触发器使用实例
- jpa执行插入报error performing isolated work错误
- Candence学习篇(4)allegro软件中class 和subclass的概念
- 一条命令实现树莓派摄像头直播推流哔哩哔哩
- 三菱FX系列PLC以太网连接西门子wincc软件
- 溢出overflow和空间定位z-index
- HC32F005 国产低功耗华大MCU芯片介绍
- 数值分析-题目3-龙贝格和高斯求解牛顿迭代节点
- 让Linux支持手机,让linux支持qq手机音乐播放
- 8-CSS布局之浮动布局
- Vue 非父子组件通信
- 智能时代,我们何去何从?