Python 网络爬虫 001 (科普) 网络爬虫简介
Python 网络爬虫 001 (科普) 网络爬虫简介
1. 网络爬虫是干什么的
我举几个生活中的例子:
例子一:
我平时会将 学到的知识 和 积累的经验 写成博客发送到CSDN博客网站上,那么对于我写的Blender 3D 建模方面的博文,里面有很多的图片。如果我要发布一篇 Blender 3D 建模的博文的话,图片要一张一张的上传,上传的速度有时也是很慢,整个发表一遍这样的博文,我光 上传图片 就要操作半个多小时,这样效率太低了。
我能不能写一个程序,让它自动在后台帮我上传图片?
例子二:
我这个人比较懒,懒到什么程度呢:我不愿意出去吃饭,基本上 一日三餐 都是网上订外卖。其实我每次定的外卖都是那几道菜。(因为好吃的外卖太少了。)那我就是很懒,定外卖我都不愿意自己定,我就希望一到吃饭时间,就有人主动过来给我送饭。因为我有选择障碍,每次饿的时候,定外卖我都要选很久,最后还是定了经常吃的菜,不但浪费时间,而且重点是:我现在肚子是饿的,外卖最快的都要半个小时之后才送到。
我能不能写一个程序,它自动帮我订一日三餐的外卖?
例子三:
如果你开了一家淘宝网店,你想及时了解竞争对手们的商品价钱,好做相应的对策。我每天都要访问他们的淘宝网店,再与我自家的网店商品价钱做对比,如果发现竞争对手的商品的价钱有改动,我自家的网店里同样的商品的 价钱也要跟着进行相应的改动。这是要发费大量的时间的。一个大写的 “烦” 字表达了我现在的心情。我都开网店了,大大小小也是个老板啊,老板的时间多宝贵啊,我要是每天都做这样的事情,那我一天都得损失好几个亿啊!
我能不能写一个程序,让它来实时监视竞争对手网店里面商品的价钱,并且自动对自家网店里的商品的价钱做相应的修改呢?
这些现实生活中的问题,最终的答案都是:是的,你可以写这样的程序,来帮助你提高工作效率。
通过本博客专栏的教程,你可以用网络爬虫技术实现这些重复性任务的自动化处理。
2. 网络爬虫是否合法
是的,对于像我这种懒人来说,网络爬虫真的是偶的救星啊!我不但可以帮助你提高工作效率,而且可以帮你爬取到任何一个网站上的所有信息。那么问题来了:网络爬虫是否合法?
怎么说呢,现在(2016-9-2 21:34:06)中国还没有相关的法律规定。
不过万事万物都要有一个度,如果你肆无忌惮的进行自己的抓取行为,你可能会犯法。
3. 网络爬虫 官方介绍
最后,还是要贴出官方对网络爬虫的介绍:
网络爬虫(Web crawler)也叫网络蜘蛛(Web spider),蚂蚁(ant),自动检索工具(automatic indexer),或者(在FOAF软件概念中)网络疾走(WEB scutter),是一种“自动化浏览网络”的程序,或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站,以获取或更新这些网站的内容和检索方式。它们可以自动采集所有其能够访问到的页面内容,以供搜索引擎做进一步处理(分检整理下载的页面),而使得用户能更快的检索到他们需要的信息。
总结:
这一节,我了解了什么是网络爬虫。下一节,我们来介绍:在爬取一个网站前,首先要对目标站点的规模和结果进行一定程度的了解。
转载于:https://www.cnblogs.com/aobosir/p/5928579.html
Python 网络爬虫 001 (科普) 网络爬虫简介相关推荐
- Python网络爬虫——1、网络爬虫简介
什么是网络爬虫 网络爬虫又称网络蜘蛛.网络蚂蚁.网络机器人,它可以自动化浏览网络中的信息,当然浏览信息的时候需要按照我们制定的规则进行,这些规则我们称之为网络爬虫算法.使用Python可以方便的编写出 ...
- 目前网络上开源的网络爬虫以及一些简介和比较
2019独角兽企业重金招聘Python工程师标准>>> 目前网络上开源的网络爬虫以及一些简介和比较 目前网络上有不少开源的网络爬虫可供我们使用,爬虫里面做的最好的肯定是google ...
- python sub 不区分大小写_Python网络爬虫入门篇
1. 预备知识 学习者需要预先掌握Python的数字类型.字符串类型.分支.循环.函数.列表类型.字典类型.文件和第三方库使用等概念和编程方法. Python入门篇:https://www.cnblo ...
- Python 网络爬虫笔记9 -- Scrapy爬虫框架
Python 网络爬虫笔记9 – Scrapy爬虫框架 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Py ...
- python 爬虫框架_Python网络爬虫-scrapy框架的使用
1. Scrapy 1.1 Scrapy框架的安装 Scrapy是一个十分强大的爬虫框架,依赖的库比较多,至少需要依赖的库有Twisted .lxml和pyOpenSSL.在不同的平台环境下,它所依赖 ...
- Python实训day06am【网络爬虫(爬取接口)】
Python实训-15天-博客汇总表 目录 1."from bs4 import BeautifulSoup"解析 2.字体反爬虫 3.网络爬虫 3.1.直接爬取页面html-爬取 ...
- python爬虫设计模式_Python3网络爬虫(一):利用urllib进行简单的网页抓取
点击蓝色字免费订阅,每天收到这样的好信息 前言:最近有不少粉丝关注本公众号.并且我已经成功开通了流量主同时会赚一点点广告费,我打算每个月把这部分钱拿出来给大家买点书刊,算是给大家一点福利吧.大家想买什 ...
- 使用Python爬虫爬取网络美女图片
代码地址如下: http://www.demodashi.com/demo/13500.html 准备工作 安装python3.6 略 安装requests库(用于请求静态页面) pip instal ...
- python 爬虫论_Python网络爬虫(理论篇)
欢迎关注公众号:Python爬虫数据分析挖掘,回复[开源源码]免费获取更多开源项目源码 网络爬虫的组成 网络爬虫由控制节点,爬虫节点,资源库构成. 网络爬虫的控制节点和爬虫节点的结构关系 控制节点(爬 ...
最新文章
- 使用pip安装特定的软件包版本
- vs2010 Qt插件报错Couldn't register all Qt4VSAddin command解决方案
- boost::geometry模块使用变换自定义坐标系示例
- Android怎么结束一个进程,我试了用 ActivityManager.killBackgroundProcesses方法去结束,但是没有反应
- ubuntu下安装chromium及其pepperflash
- LeetCode 45. 跳跃游戏 II(贪心/BFS,难)
- 【script】python自定义时间格式的几种情况
- tkinter Canvas画图片大坑总结
- 使用这个插件,fiddler抓包直接生成httprunner脚本
- ubuntu无法设置亮度,触摸板失效,声音无法调节
- 枚举类型的定义和应用
- 【原创】SSAS-引用维度与多数据源、多数据源视图引发分区错误
- 使用支付宝小程序input组件的坑
- 学习现代化的文章编写方式——关于Markdown语法的使用
- UGC、PGC、OGC
- MATLAB deconvwnr(维纳滤波)应用
- JavaPoet动态生成代码,高薪程序员必会
- java新特性-函数式接口-作为方法参数-作为方法的返回值-常用函数式接口-Supplier-Consumer-Predicate-Function
- 【Linux】环境基础开发工具使用(万字汇总)
- 一个数的亲和数iiic++_世界上最大的数和最小的数是多少?