QQ好友列表获取导出类:爬虫爬取QQ号
QQ好友列表获取类:爬虫爬取QQ号,这个个爬虫是拿来练手的,可以爬取网络中的QQ号,然后存储到本地
import urllib.request
import ssl
import re
import os
from collections import deque #导入队列库def writeFileBytes(htmlBytes,topath):with open(topath,'wb') as f:f.write(htmlBytes)
def writeFileStr(htmlBytes,topath):with open(topath, 'w') as f:f.write(str(htmlBytes))def QQCrawler(url, topath):headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)"} #修改一下浏览器表头(User-Agent)req = urllib.request.Request(url, headers=headers) # 请求体context = ssl._create_unverified_context() #加上此行可以爬取https格式response = urllib.request.urlopen(req, context=context)HTMLStr = response.read()# writeFileBytes(HTMLStr,r"G:\python代码\爬虫\QQ号.html")# writeFileStr(HTMLStr,r"G:\python代码\爬虫\QQ号.txt")htmlStr=str(HTMLStr)pat=r'\b(([\w-]+://?|www[.])[^\s()<>]+(?:[\w\d]+[\w\d]+|([^[:punct:]\s]|/)))' #网址的正则表达式re_url=re.compile(pat)urlsList=re_url.findall(htmlStr)urlsList = list(set(urlsList))#找到所有的QQpat=r"[1-9][\d]{5,9}" #QQ号的正则表达式re_q=re.compile(pat) #编译qqList=re_q.findall(htmlStr)qqList=list(set(qqList)) #过滤重复QQ号f=open(topath,'a')#写入文件for qq in qqList:f.write(qq+"\n")f.close()return urlsList #返回一个存储这个网页中的超链接#队列,得到一页中的网址,然后加入队列,爬取每个网页的QQ号
def center(url,topath):queue=deque()queue.append(url)while len(queue)!=0:targetUrl=queue.popleft()urlList=QQCrawler(targetUrl, path)for item in urlList:tempUrl=item[0]queue.append(tempUrl)url = r"https://www.douban.com/group/topic/17359302/" #爬取链接
path = r"G:\python代码\爬虫\QQ号.txt" #存储路径
# QQCrawler(url,path)
center(url,path)
还存在一些问题:url的正则表达式存在问题,不能匹配所有的链接。运行时也存在问题,爬取到本地的数据只有2M多,程序就停止运行了。更多请看:qq好友列表获取软件
QQ好友列表获取导出类:爬虫爬取QQ号相关推荐
- qq好友列表获取之动态爬虫清洗爬取好友列表数据 - 获取qq好友、群、群成员列表
qq好友列表获取之动态爬虫清洗爬取qq好友列表数据 - 获取qq好友ip.群.群成员列表.我们的好友列表要从 qzone 获取,现在打开 qzone 的链接 https://h5.qzone.qq.c ...
- qq好友列表获取导出,利用QQ协议实现好友数据备份,包含:qq好友、QQ分组、QQ群、qq群成员【附code源码】
qq好友列表获取导出,利用QQ协议实现qq好友数据备份,包含:qq好友.QQ分组.QQ群.qq群成员. 我们是在浏览器中的操作,接下来看看数据到底怎么获取的,我们通过Fiddler的查找功能,就可以查 ...
- qq好友列表获取数据并导出 - 用curl类 模拟QQ好友列表获取
qq好友列表获取数据并导出 - 用cur类l 模拟QQ好友列表获取 这里我们利用curl类去实现这个功能. 代码如下: //模拟浏览器查找好友列表 $url = "http://cgi.fi ...
- 利用web端接口实现QQ好友列表获取、QQ群成员获取列表的实例分析
当开放API成为历史潮流不可阻挡之时,腾讯亦只能与时俱进,但腾讯为了保持江湖的垄断地位,不会随意公开像QQ号这样的客户资源,于是乎,你能通过webQQ查询到的,也只能是用户或群的昵称,绝非QQ号码或群 ...
- qq好友列表获取,利用curl 模拟获取qq好友列表获取接口
qq好友列表获取,利用curl 模拟获取qq好友列表获取接口 代码如下: //模拟浏览器查找好友列表$url = "http://cgi.find.qq.com/qqfind/buddy/s ...
- QQ爬虫-爬取QQ空间
背景: 在一篇个人博客看到了相关的爬虫的知识,个人比较有兴趣,就花了点时间研究了一下,主要通过好友空间的互动(相互访问量,点赞,评论,以及其他互动),以及好友之间聊天的活跃度,日常点赞量,好友之间的关 ...
- python爬虫爬取qq空间说说_用python爬取qq空间说说
环境:PyCharm+Chorme+MongoDB Window10 爬虫爬取数据的过程,也类似于普通用户打开网页的过程.所以当我们想要打开浏览器去获取好友空间的时候必定会要求进行登录,接着再是查看说 ...
- python爬虫爬取qq音乐热歌榜的歌曲到本地
文章目录 项目目标 具体实现步骤 完整代码 运行结果 项目目标 爬取qq音乐热歌榜https://y.qq.com/n/yqq/toplist/26.html到本地文件夹 具体实现步骤 程序思路:用s ...
- python爬取加密qq空间_python3爬虫爬取QQ好友空间说说
开发环境Win10 python 3.6.3 pycharm 2018.1 第三方库csv requests pymysql selenium 无头浏览器 PhantomJS 主要思路通过QQ邮箱导出 ...
最新文章
- CentOS 7 安装Boost 1.67及boost_python
- POJ1741 Tree(树分治——点分治)题解
- 【转】linux tar.gz zip 解压缩 压缩命令
- deletion in request load scenario
- 使用Event Message 对 Package 进行Troubleshoot
- tableau度量值计算_Tableau可视化(雷达图):漫威英雄能力值
- TCP/UDP的接收缓冲区和发送缓冲区
- 使用SCM管理jenkinsfile
- 用3Ds Max做三维场景建模
- 【解读基金-我的投资观与实践】阅读笔记
- win10任务管理器中的专用GPU内存 vs 共享GPU内存
- 性能调优需要考虑的三大方面
- Ubuntu 20.04 从零开始安装MySQL 8.0并重置root密码
- JavaScript中的eval函数
- android市场低迷,销量低迷 安卓厂商mini产品或面临策略调整
- Allegro中的测试点 Test Point
- 解决项目无法读取src/main/java目录下面的配置文件问题
- 【STM32学习】基于STM32F411CEU6的USB储存设备
- 利用c51进行数模转换并在液晶屏上显示_单片机数模转换
- 2021-10-28 集训第三天 神奇的Tom猫