使用wireshark抓取聊天信息与爬虫入门
文章目录
- 1、聊天准备
- 2聊天并进行抓包
- 2.1、疯狂聊天
- 2.2、使用wireshark抓取聊天信息
- 2、初识网络爬虫
- 2.1、什么是爬虫
- 2.2、爬取南阳理工学院ACM题目网站信息
- 2.3、爬取重庆交通大学新闻网站中近几年所有的信息通知
- 3、总结
1、聊天准备
1、关闭计算机的防火墙
2、关闭不需要的虚拟网络和其他不必要的以太网,只留下一个网络聊天的通道
3、两台计算机连接同一个手机热点,打开疯狂聊天程序
2聊天并进行抓包
2.1、疯狂聊天
1、首先为自己命名一个聊天昵称,并且两台计算机(也可以多台计算机一起)输入同一个聊天房间号
2、进行消息的发送,即聊天
2.2、使用wireshark抓取聊天信息
1、打开wireshark,进行wlan(无线网络)下的聊天信息抓取,不会的可参考:https://blog.csdn.net/qq_46689721/article/details/121167497
2查看聊天信息的Dst地址为255.255.255.255
3、查找Destination为255.255.255.255的记录
可以看到,该网络是通过UDp协议来连接的
4、查看英语聊天信息
5、查看数字聊天信息
6、查看文字聊天信息
7、通过上面抓取结果来看,聊天使用的端口为17345,使用的协议是UDP
2、初识网络爬虫
2.1、什么是爬虫
1、简介:网络爬虫也叫作网络蜘蛛、网络蚂蚁、网络机器人等,其英文名叫Web Crawler或Web Spider,可以自动地浏览网络中的信息,当然浏览信息的时候需要按照我们制定的规则去浏览,这些规则我们将其称为网络爬虫算法。使用Python可以很方便地编写出爬虫程序,进行互联网信息的自动化检索。
2、爬虫的基本流程:发起请求:通过url向服务器发起request请求,请求可以包含额外的header信息。获取响应内容:如果服务器正常响应,那我们将会收到一个response,response即为我们所请求的网页内容,或许包含HTML,Json字符串或者二进制的数据(视频、图片)等。
3、URL管理模块:发起请求。一般是通过HTTP库,对目标站点进行请求。等同于自己打开浏览器,输入网址。
下载模块:获取响应内容(response)。如果请求的内容存在于服务器上,那么服务器会返回请求的内容,一般为:HTML,二进制文件(视频,音频),文档,Json字符串等。
解析模块:解析内容。对于用户而言,就是寻找自己需要的信息。对于Python爬虫而言,就是利用正则表达式或者其他库提取目标信息。
存储模块:保存数据。解析得到的数据可以多种形式,如文本,音频,视频保存在本地。
2.2、爬取南阳理工学院ACM题目网站信息
1、打开南阳理工学院ACM题目网站 http://www.51mxd.cn/ ,然后按下F12进入工作模式,点击source,可以看到网页的源代码,这时可以看到我们需要的题目信息是在TD标签内的,即我们要爬取TD标签里的内容
2、我使用的是jupyter,打开进去使用python编程
import requests# 导入网页请求库
from bs4 import BeautifulSoup# 导入网页解析库
import csv
from tqdm import tqdm# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']# 题目数据
subjects = []# 爬取题目
print('题目信息爬取中:\n')
for pages in tqdm(range(1, 11 + 1)):# 传入URLr = requests.get(f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)r.raise_for_status()r.encoding = 'utf-8'# 解析URLsoup = BeautifulSoup(r.text, 'html5lib')#查找爬取与td相关所有内容td = soup.find_all('td')subject = []for t in td:if t.string is not None:subject.append(t.string)if len(subject) == 5:subjects.append(subject)subject = []# 存放题目
with open('D:\word\protice.csv', 'w', newline='') as file:fileWriter = csv.writer(file)fileWriter.writerow(csvHeaders)fileWriter.writerows(subjects)print('\n题目信息爬取完成!!!')
3、然后运行程序
4、查看生成的爬取数据
2.3、爬取重庆交通大学新闻网站中近几年所有的信息通知
1、打开重庆交通大学的信息通知网站:http://news.cqjtu.edu.cn/xxtz.htm
2、同样F12打开进入开发者模式,在emelents下可以找到网页源代码,可以看到我们需要爬取的信息处于div标签内
3、再找到需要爬取的数据的页数
4、接下来就在jupyter里面进行代码代码的编写
# -*- coding: utf-8 -*-
"""
Created on Wed Nov 17 14:39:03 2021@author: 86199
"""
import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm
import urllib.request, urllib.error # 制定URL 获取网页数据# 所有新闻
subjects = []# 模拟浏览器访问
Headers = { # 模拟浏览器头部信息"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53"
}# 表头
csvHeaders = ['时间', '标题']print('信息爬取中:\n')
for pages in tqdm(range(1, 65 + 1)):# 发出请求request = urllib.request.Request(f'http://news.cqjtu.edu.cn/xxtz/{pages}.htm', headers=Headers)html = ""# 如果请求成功则获取网页内容try:response = urllib.request.urlopen(request)html = response.read().decode("utf-8")except urllib.error.URLError as e:if hasattr(e, "code"):print(e.code)if hasattr(e, "reason"):print(e.reason)# 解析网页soup = BeautifulSoup(html, 'html5lib')# 存放一条新闻subject = []# 查找所有li标签li = soup.find_all('li')for l in li:# 查找满足条件的div标签if l.find_all('div',class_="time") is not None and l.find_all('div',class_="right-title") is not None:# 时间、爬取的标签for time in l.find_all('div',class_="time"):subject.append(time.string)# 标题for title in l.find_all('div',class_="right-title"):for t in title.find_all('a',target="_blank"):subject.append(t.string)if subject:print(subject)subjects.append(subject)subject = []# 保存数据
with open('D:/word/new.csv', 'w', newline='',encoding='utf-8') as file:fileWriter = csv.writer(file)fileWriter.writerow(csvHeaders)fileWriter.writerows(subjects)print('\n信息爬取完成!!!')
5、运行代码
6、爬取到的数据
3、总结
刚刚接触爬虫,还不是非常的熟悉,但是同参考网上的资料,还是能够做到一些简单信息的爬取。对网站的信息爬取首先需要分析网站的源代码,进行爬取信息的分析,找到其属于的标签内容,然后进行爬取。通过本次的实践操作,我意识到爬虫对我们的帮助还是很大的,可以很好的帮我们随机信息。
参考:
https://zhuanlan.zhihu.com/p/77560712
https://www.php.cn/python-tutorials-373310.html
https://blog.csdn.net/weixin_56102526/article/details/121366806?spm=1001.2014.3001.5501
使用wireshark抓取聊天信息与爬虫入门相关推荐
- 抓取手机https_python爬虫入门02:教你通过 Fiddler 进行手机抓包
哟~哟~哟~ hi起来 everybody 今天要说说怎么在我们的手机抓包 通过 python爬虫入门01:教你在 Chrome 浏览器轻松抓包 我们知道了 HTTP 的请求方式 以及在 Chrome ...
- 使用wireshark抓取聊天信息(局域网内的udp通信)
少年 一.实验目的 二.实验操作 三.总结 四.资源 一.实验目的 1.分析这程序所采用的是udp还是tcp 2.在抓取包中找到窃取到的聊天信息 (英文字符和汉字可能经过了某种编码转换,数据包中不是明 ...
- python数据抓取课程_Python爬虫入门教程 21-100 网易云课堂课程数据抓取
写在前面 今天咱们抓取一下网易云课堂的课程数据,这个网站的数据量并不是很大,我们只需要使用requests就可以快速的抓取到这部分数据了. 你第一步要做的是打开全部课程的地址,找出爬虫规律, 地址如下 ...
- python frame框架抓取_Python抓取框架Scrapy爬虫入门:页面提取
前言 Scrapy是一个非常好的抓取框架,它不仅提供了一些开箱可用的基础组建,还能够根据自己的需求,进行强大的自定义.本文主要给大家介绍了关于Python抓取框架Scrapy之页面提取的相关内容,分享 ...
- python数据抓取课程_Python爬虫入门教程 22-100 CSDN学院课程数据抓取
1. CSDN学院课程数据-写在前面 今天又要抓取一个网站了,选择恐惧症使得我不知道该拿谁下手,找来找去,算了,还是抓取CSDN学院吧,CSDN学院的网站为 https://edu.csdn.net/ ...
- Wireshark抓取网络聊天
Wireshark抓取网络聊天 一.实验要求 二.实验操作 三.数据发送抓包 1. 西文字符 2. 汉字字符 3. 混合发送 四.总结 五.参考 一.实验要求 1)分析此程序网络连接采用的是哪种协议( ...
- wireshark抓取网络聊天数据包
练习wireshark抓取网络数据包.在两台及两台以上的电脑(已知IPv4地址)上运行 "疯狂聊天室"程序,通过wireshark抓包: 1)分析此程序网络连接采用的是哪种协议(T ...
- 使用Wireshark抓取淘宝直播回放源地址并下载
转载自:https://zhuanlan.zhihu.com/p/37365714 写本文的初衷是为了下载江疏影的淘宝直播回放视频,学了一下手机抓包. 现在已经不对直播.直播录制相关内容做探究了,超出 ...
- wireshark抓取聊天网络数据包
wireshark抓取聊天网络数据包 一.实验任务 二.实验步骤 三.总结 总结 一.实验任务 据包.在两台及两台以上的电脑(已知IPv4地址)上运行 "疯狂聊天室"程序,通过wi ...
最新文章
- mac gource_如何使用Gource显示项目的时间表
- Xshell 配置是vi显示多种颜色
- 2022 开工大吉 新的一年新的目标
- 贴吧html标签,html标签3(转载)
- win10 搭载文件服务器,win10远程文件服务器
- Xilinx软硬IP双管齐下解决音视频处理痛点
- “Usage of API documented as @since 1.8+”
- FreeCAD v0.19源码编译与VS2017+Qt5环境搭建
- .NET DateTime,一个关于最佳实践和时间旅行的故事
- 网吧电脑显示连不上服务器,Pubwin客户机连不上服务器怎么办?
- IDEA中配置Junit4
- Java简介:Java是什么?及Java语言的特点
- 关于质性分析软件NVivo更新的问题
- IO设备的控制器 适配器
- python docx 图片_详解用 python-docx 创建浮动图片
- QTimer计时速度不断加快问题和QT中show函数失效问题的思考和处理
- Scratch精通之列表的使用
- 十款经典微信小程序源码分享之二(可作为计算机设计参考)
- 晾衣服,西北大学集训队选拔赛(重现赛)
- html5独立钻石棋,自制独立钻石棋