python 网络页面爬取
4.22 python 网络页面爬取
对国家体育总局(例)页面进行简单爬取
运行结果截图:
代码:
import requests
url="http://www.sport.gov.cn/n316/n336/c947645/content.html"
try:headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36 Edg/90.0.818.42'}r = requests.get(url,headers=headers)r.raise_for_status()r.encoding=r.apparent_encodinghtml=r.textprint(html) #可省略fo=open("output1.html","w+",encoding="utf-8")fo.write(html)fo.close()
except: print("爬取失败!")
以写入的形式open一个文件
然后把爬取的页面html写入进去
!!!备注:
查看浏览器的访问头部信息: 打开浏览器,访问要爬取的网站,在空白处点右键,点击检查(有的浏览器叫审查元素),找到网络(network),刷新页面(浏览器的刷新按钮),然后网络里会出来一串东西,找到第一个,左键点击,切换到标头(headers),拉到请请求标头,最下面就是user-agent。
python 网络页面爬取相关推荐
- 如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...
- python朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...
- python抓取朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)...
原标题:如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下) 前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往 ...
- Python网络数据爬取及分析-智联招聘
python网络数据爬取及分析-智联招聘 一. 数据爬取 智联招聘是一家面向大型公司和快速发展的中小企业提供一站式专业人力资源的公司,可在智联招聘网站上根据不同城市.不同职位需求搜索得到相关招聘信息. ...
- Python:网络爬虫爬取某表情包网站
Python:网络爬虫爬取某表情包网站 参考: 爬虫基础知识点汇总(html文件基础和4个常用库 超级详细长文预警) [爬虫教程]吐血整理,最详细的爬虫入门教程~ HTML的简单介绍 HTML的全称为 ...
- Python网络爬虫爬取虎扑步行街爆照区话题
Python网络爬虫爬取虎扑步行街爆照区话题 作者:郜科科 最近的任务挺多的,但是心情很烦躁,想做一些自己喜欢的东西,前些时候感觉Python爬虫很好玩,就自学了一下.本人比较喜欢逛街--虎扑步行街, ...
- 用python网络爬虫爬取英雄联盟英雄图片
用python爬虫爬取lol皮肤. 这也用python网络爬虫爬取lol英雄皮肤,忘了是看哪个大神的博客(由于当时学了下就一直放在这儿,现在又才拿出来,再加上马上要考二级挺忙的.),代码基本上是没改, ...
- python网络数据爬取及分析从入门到精通pdf_Python网络数据爬取及分析从入门到精通...
这是一套以实例为主.使用Python语言讲解网络数据爬虫及分析的实战指南.本套书通俗易懂,涵盖了Python基础知识.数据爬取.数据分析.数据预处理.数据可视化.数据存储.算法评估等多方面知识,每一部 ...
- 使用python网络爬虫爬取新浪新闻(一)
使用python网络爬虫爬取新浪新闻 第一次写博客,感觉有点不太习惯!不知道怎么突然就想学学爬虫了,然后就用了一天的时间,跟着教程写了这个爬虫,!不说废话了,我将我从教程上学习的东西整个写下来吧,从头 ...
最新文章
- 如何重新划分swap分区
- Oracle Study--Oracle RAC CacheFusion(MindMap)
- ElementUI自定义icon步骤条
- Ubuntu 18的中文界面切换《图解教程》亲测成功
- python判断对象是否实例化_Python判断对象是否相等及eq函数的讲解
- GitHub 5.9K,目标检测、跟踪、关键点全覆盖的年度开源项目来了!
- MySQL--REPALCE INTO操作
- 关于Kubernetes的常见问题
- oracle sql语句中有关null使用的一点理解
- 香港学计算机,香港求学计算机专业集锦
- inotifywait监听php,inotifywait 是一个可以实时监控文件变动的工具
- 有关STL使用上的一些注意事项。关于某些函数的参数问题。
- linux新建mysql用户命令_使用MySQL命令行新建用户并授予权限
- java 购物系统代码_java购物系统源代码
- markdown特殊用法(三) 脚注的输入
- html网页挂马,浏览器安全之网页挂马实战 ——合天网安实验室学习笔记
- 拼多多API接口介绍
- [corefx注释说]-System.Collections.Generic.StackT
- 今日头条适配方案_ 今日头条大改版,小程序强势登场
- 手机用户对手机游戏的偏好调查
热门文章
- memcpy与memmove的区别
- 随想录(canvas学习)
- 随想录(windows和linux进行socket通信)
- 多线程的那点儿事(之自旋锁)
- 电脑键盘下划线怎么打_电脑键盘失灵怎么办?你应该学会的四种方法
- springboot添加webmagic_SpringBoot+Solr + webmagic JD商品爬取数据,放入solr中做搜索
- #计算长方形的周长和面积公式_Animate如何制作动态计算长方形面积及周长
- excel数据库_EXCEL憋出大招,逆袭大数据的黑马出现了
- html正方形相册,3D正方体旋转相册.html
- Ubuntu16安装GTK+2.0教程