python网络爬虫与信息提取视频_Python网络爬虫与信息提取入门5
Part19 实例5:IP地址归属地的自动查询
怎么查询一个IP地址的归属呢?比如说某一个IP地址他是来自于北京、上海还是美国呢?我们用一个python 程序来判断。当然你要判断一个地址的归属地,你必须要有一个库,那么我们的程序没有这样的库,我们可以在网上寻找相关的资源,事实上,一个叫IP138的网站提供了这样的功能,我们看一下这个界面:
实际这个界面呢,包含两个输入框,我们可以在输入框中输入IP地址,并通过点击按钮查询来提交这个IP地址并获取这个IP地址的所在地,这样的东西适合人的使用,因为这是一种人适合结构方式,到那时他不适合程序。那么在程序中怎么去提交IP地址呢?这里边教大家一个小技巧:你可以尝试着在界面中输入一下IP地址,并且点击查询,看一下浏览器的变化。在某些网站中他对提交的IP地址并没有相关的处理,所以我们能看到通过IP138网站提交一个IP地址的一个URL链接是这样的一个接口形式,这个接口形式其实很好理解:
它是一个以http开头的一个链接,然后通过ip = ipaddress这样的一个形式,将ipadress作为一个参数提交到前面的网页中,那么这个网页根据这个参数会返回一个数据内容,就是这个地址对应的所在的物理位置。那么我们利用这样的URL接口就可以通过提交IP地址来找到IP地址的归属地。下面我们来用一段代码来试试:
首先我们import requests库,然后呢我们将刚才解析出来的接口用URL的变量来表示,然后我们用requests的方法提交一个IP地址,然后我们来检测一下状态码,200,说明我们提交的信息被成功的返回了,然后我们看一下返回文本的相关内容,这里面我们查询的内容是返回文本的最后500个字节,我们可以看到这个IP地址是北京理工大学教育网的IP地址。
事实上,如果大家访问这个网站,这个网站是北京理工大学首页的IP地址。这里面有一个小技巧,如果你尝试一下,当你获取一个URL链接返回的内容非常多的时候,r.text会导致IDLE的失效,所以我们建议大家如果在编写程序去检测访问数据的时候,尽量约束一个范围空间,比如像刚刚写的r.text[-500:],也就是说最后的500,或者说我们经常使用的[0:1000],显示一千个字符,这样的方式可以保证不会影响IDLE的使用。下面我们给出IP地址查询的全代码:
与之前的例子相比,这个例子比较简单,但是这个例子其实告诉了大家一个道理:我们有的时候在网站上看到的人机交互方式,比如说图形的、文本框的、需要点击按钮的这种方式在正式的向后台服务器提交的时候,其实都是以链接的形式来提交的。只要你能够去通过浏览器的解析知道向后抬提交的链接的形式,那你就可以用python代码模拟后者是用python代码去向服务器做正式的提交,而不需要人来做这样的事情。所以当你需要自动向网站提交的时候,建议大家去挖掘一下这个网站后台的API是什么。
Part 20 单元小结
在这个单元中,我们讲解了5个request库的爬取实例,那经过这些实例大家是不是知道request库的强大功能呢?现在我们在看一看这些实例。
第一个实例:京东商品页面的爬取,我们用我们的网络爬虫框架获得京东商品的页面的信息。
第二个实例:我们做的是亚马逊商品页面的爬取,他与京东商品页面爬取不同,亚马逊的商品对来源做了审查,所以我们可以利用request库的功能来模拟浏览器向亚马逊提出相关的请求并且正确的获取商品页面的信息。
第三个实例:同时我们可以向百度、360这样的搜索引擎提交关键字并获得他返回的结果。
第四个例子:是网络图片的爬取和存储,事实上它不只是图片,对网上所有的二进制的资源格式,图片、视频、动画等等,都可以用同样的代码获取它。
第五个例子:我们看一下对一些网站怎么去人工的分析他的接口并利用接口来实现IP地址归属地的查询。事实上,这些例子不仅检测和证明了request库的强大,同时其实也让我们去思考我么该怎么去看待网络内容。所以我们人类看到网络内容是通过浏览器,通过敲击URL,并且通过鼠标去点击一个一个的链接,但是如果你想要成为网络爬虫方面的专家,你就要通过网络爬虫的视角来看待网络内容。那么对于网络上的内容,什么是网络爬虫的视角呢?那就是网络上的任何一个内容它都有一个URL与它对应。而对网络内容的获取、查询都是通过构造URL来实现的。我们知道HTTP协议中,他有两个很重要的基础,一个是网络资源定位的URL,一个是对资源操作各种操作。只要我们勤加思考去练习,能够学会以爬虫角度来看待网络内容,你就能成为网络爬虫方面的专家。
大家一起努力!
python网络爬虫与信息提取视频_Python网络爬虫与信息提取入门5相关推荐
- python网络爬虫爬取视频_Python网络爬虫——爬取小视频网站源视频!自己偷偷看哦!...
学习前提1.了解python基础语法 2.了解re.selenium.BeautifulSoup.os.requests等python第三方库 1.引入库 爬取网站视频需要引入的第三方库: impor ...
- python网络通信的几种方式_python网络-计算机网络基础(23)
一.网络简介 网络是由节点和连线构成,表示诸多对象及其相互联系. 一个人玩: 两个人玩: 多个人玩: 说明 网络就是一种辅助双方或者多方能够连接在一起的工具 如果没有网络可想单机的世界是多么的孤单 使 ...
- python爬虫库的功能_Python学习爬虫掌握的库资料大全和框架的选择的分析
学Python,想必大家都是从爬虫开始的吧.毕竟网上类似的资源很丰富,开源项目也非常多. Python学习网络爬虫主要分3个大的版块:抓取,分析,存储 当我们在浏览器中输入一个url后回车,后台会发生 ...
- 爬虫取中间文本_Python Scrapy爬虫框架学习!半小时掌握它!
Scrapy 是用Python实现一个为爬取网站数据.提取结构性数据而编写的应用框架. 一.Scrapy框架简介 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数 ...
- python爬虫微博热搜_Python网络爬虫之爬取微博热搜
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 url= https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&am ...
- python如何爬有道翻译_Python网络爬虫(八) - 利用有道词典实现一个简单翻译程序...
目录: 1.爬虫前的分析 因为要实现有道翻译的翻译功能,就需要找到它的接口,打开审查元素,来到网络监听窗口(Network),查看API接口. 我们可以找到有道翻译的API接口,同时是以Post方式提 ...
- python爬虫程序详解_Python网络爬虫之三种数据解析方式
指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指定数据解析.因为大多数情况下的需求,我们都会指 ...
- python爬虫怎么爬小说_python从爬虫基础到爬取网络小说实例
一.爬虫基础 1.1 requests类 1.1.1 request的7个方法 requests.request() 实例化一个对象,拥有以下方法 requests.get(url, *args) r ...
- python爬虫解析数据包_Python网络爬虫之三种数据解析方式
引入 回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指 ...
最新文章
- 实现基于Spring框架应用的权限控制系统(转)
- 学习android 画板源代码,Android实现画画板案例
- java整数翻转_Java程序反转数字
- Druid的外网访问异常
- 虚拟机无法联网解决方法
- asp.net core 系列 19 EFCore介绍
- 医疗大数据技术与应用
- LeetCode 之 JavaScript 解答第98题 —— 验证二叉搜索树(Validate Binary Search Tree)
- weblogic解析web.xml问题
- 揭秘井井有条的流水线(ZooKeeper 原理篇)
- 《操作系统原理及应用》题库-选择题
- 国际反垃圾邮件组织有哪些?
- 尚硅谷nodejs入门教程_笔记
- mysql中没有utf8字符集_mysql之坑–UTF8字符集
- 开源可协作在线文档(ShowDoc)
- 做ppt课件直播(课堂直播)使用云课堂直播软件的教程
- android源码编译出现No private recovery resources for TARGET_DEVICE解决方法
- 校招总结(华为、远景、新美大、百度、腾讯、网易游戏)
- onload与ready方法的区别
- 解密最接近人脑的智能学习机器——深度学习及并行化实现
热门文章
- python语言原理_梯度下降算法的原理用Python语言实现,易于理解,python,更
- 如何绘制逻辑图— 4. 要素的属性:黑盒与白盒
- 第一届大数据科学与工程国际会议,聚焦国际大数据技术最新进展
- 《大数据》第1期“研究”——大数据管理系统评测基准的 挑战与研究进展(上)...
- 洛谷 P5708、P5714、P5720、P5725、P5726、P5732、P5738 题解
- HTML5 入门详解
- AOS V0.8 发布,JavaEE 应用基础平台
- linux下svn常用指令(转)
- windows 临界区
- Ubuntu 11.04 二进制包安装 flashget 显示 libexpat.so no...