1.什么是爬虫

爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。

比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起的大网对这之蜘蛛来说触手可及，分分钟爬下来不是事儿。

2.浏览网页的过程

在用户浏览网页的过程中，我们可能会看到许多好看的图片，比如 http://image.baidu.com/ ，我们会看到几张的图片以及百度搜索框，这个过程其实就是用户输入网址之后，经过DNS服务器，找到服务器主机，向服务器发出一个请求，服务器经过解析之后，发送给用户的浏览器 HTML、JS、CSS 等文件，浏览器解析出来，用户便可以看到形形色色的图片了。

因此，用户看到的网页实质是由 HTML 代码构成的，爬虫爬来的便是这些内容，通过分析和过滤这些 HTML 代码，实现对图片、文字等资源的获取。

3.URL的含义

URL，即统一资源定位符，也就是我们说的网址，统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。

URL的格式由三部分组成：①第一部分是协议(或称为服务方式)。②第二部分是存有该资源的主机IP地址(有时也包括端口号)。③第三部分是主机资源的具体地址，如目录和文件名等。爬虫爬取数据时必须要有一个目标的URL才可以获取数据，因此，它是爬虫获取数据的基本依据，准确理解它的含义对爬虫学习有很大帮助。

环境的配置

学习Python，当然少不了环境的配置，最初我用的是Notepad++，不过发现它的提示功能实在是太弱了，于是，在Windows下我用了 PyCharm，在Linux下我用了Eclipse for Python，另外还有几款比较优秀的IDE，大家可以参考这篇文章 学习Python推荐的IDE 。好的开发工具是前进的推进器，希望大家可以找到适合自己的IDE

python从ip端口 获取数据_python 如何获得Ip地址和端口啊？相关推荐

  1. python调用第三方接口获取数据_python调用接口,python接收post请求接口(附完整代码)...

    与Scala语言相比,Python有其独特的优势和广泛的应用,python调用接口,因此Spark也推出了PySpark,它在框架上提供了一个使用Python语言的接口,python接收post请求接 ...

  2. python怎么从excel获取数据_python如何读取excel表数据

    python读取excel表数据的方法:首先安装Excel读取数据的库xlrd:然后获取Excel文件的位置并且读取进来:接着读取指定的行和列的内容,并将内容存储在列表中:最后运行程序即可. pyth ...

  3. python调用api接口获取数据_python批量爬取NCBI基因注释并调用谷歌API批量翻译

    作者:沙雕学习小组 这里有视频教程:https://www.bilibili.com/video/av87724182 今天想实现这个功能: 差异分析得到了200多个基因(甚至更多) 我要一个一个把基 ...

  4. python怎么从excel获取数据_python怎么从excel中读取数据？/python 读取 excle

    如何通过python快速输出数据库数据到excel 扩展库 xlrd 读excle xlwt 写excle 直接度就能下载 下载后使用 import xlrd 就可excle文件了 打开文件: xls ...

  5. python调用第三方接口获取数据_python 接口实现 供第三方调用的例子

    python 接口实现 供第三方调用的例子 实验环境 1.环境问题 python 2.7 以上自带的pyunit bottle 作为一个python的简易服务器 在python安装目录 打开命令窗口( ...

  6. Python Socket请求网站获取数据

     Python Socket请求网站获取数据 ---阻塞 I/O     ->收快递,快递如果不到,就干不了其他的活 ---非阻塞I/0 ->收快递,不断的去问,有没有送到,有没有送到,. ...

  7. 《Splunk智能运维实战》——1.3　从网络端口获取数据

    本节书摘来自华章计算机<Splunk智能运维实战>一书中的第1章,第1.3节,作者 [美]乔史·戴昆(Josh Diakun),保罗R.约翰逊(Paul R. Johnson),德莱克·默 ...

  8. python 通过ip获取城市_Python根据用户IP判断所属城市 !

    事情源于7月以来,SEO销售额下降比较明显,老板让我想想办法提升SEO销售额. 而销量=流量×转化率×客单价,客单价我这边没法控制,只能从流量和转化率两个方向入手了.但对SEO来讲,短时间大幅度提升S ...

  9. python读取网络端口数据_在Python中从SNMP端口获取数据

    我专门尝试使用PySNMP库从python中的SNMP端口读取数据.我有兴趣仅通过此库获取数据.这是因为我正在从NetSNMP迁移到PySNMP. 这是我为NetSNMP编写的工作代码,它实际上为我提 ...

最新文章

  1. SQL Server 2005 Service Broker 初探
  2. ExtJS 动态增加与删除items，动态设置textField可见与否
  3. python包导入方式_python导包的几种方法(自定义包的生成以及导入详解)
  4. [洛谷P4430]小猴打架
  5. Ubuntu 配置 Go 语言开发环境（Sublime Text+GoSublime）
  6. 判断给定的二叉树是否为二叉排序树
  7. 一站式云原生智能告警运维平台——SLS新版告警发布！
  8. 中国的电商发展迅速，有了取代实体的趋势
  9. 敏捷外包工程系列之二：人员结构（敏捷外包工程，敏捷开发，产品负责人，客户价值）...
  10. c语言中分号存在的意义,问什么C程序里总是提示缺少分号;,而明明有分号？
  11. Xcode 5设置Deployment Target
  12. 用Jekyll生成网页部署的若干问题
  13. LifecycleBeanPostProcessor的作用
  14. 亚马逊AWS EC212个月免费计划及连接问题
  15. 2026 年全球开源数目将超 3 亿！中国开源爆发进行时，关于中国开源生态的答案都在这里了
  16. 电脑调分辨率黑屏了怎么办_电脑调分辨率黑屏了怎么办
  17. CSS | width、height中auto与100%与固定值有什么不同
  18. hdu_5620_KK's Steel(水题)
  19. 694. Number of Distinct Islands
  20. 语音信号处理疑惑与解答

热门文章

  1. sql server 主从数据库同步 利用发布 订阅是实现
  2. unlink与close关系
  3. 王超：奇虎360MongoDB
  4. 【sas proc sql】coalesce
  5. Cloud.com今天正式上线了
  6. iOS模块器截屏闪退
  7. windows mysql 自动备份的几种方法
  8. 个人易遗忘的代码记录(6) 汉字转拼音
  9. GMP：了解GMF引擎功能Graphical Modeling Framework
  10. 【转载】SAP表修改概览