随着Scrapy等框架的流行，利用编程语言写爬虫已经成为一种时尚，好像每个互联网人都会一点爬虫。

大神利用爬虫将学校所有重要的在线服务集合成了一套JSON API ，然后开发成了App；

爬了知乎12万用户的头像，把长得像的头像放在一起，方便浏览：然后搜集了知友们的点击，预测出来这是你们(平均)最喜欢的人长的样子；

网友写了个爬虫按标签爬下来豆瓣所有的书，按现有标签来分类检索豆瓣图书，并按分数从高到低排序。

......

这些有趣的故事均来自知乎上的一个热门话题：利用爬虫技术能做到哪些很酷很有趣很有用的事情？

人人都会爬虫

初期的互联网，写爬虫是门技术活，往大的方向说，爬虫技术是搜索引擎的组成部分。

随着互联网技术的发展，写爬虫的门槛一降再降，一些编程语言甚至直接提供爬虫框架，例如python的Scrapy框架，它们让写爬虫走入“寻常百姓家”。

我们已经发现，写爬虫是一件炫酷的事情，但即使是这样，学习爬虫仍然有一定的技术门槛。

当前的主流爬虫手段是用Python编程，Python的强大毋庸置疑，但初学者学习Python还是需要一两个月时间的。

有没有一些更简单的爬取数据方法呢？答案是有的。

一些可视化的爬虫工具通过策略来爬取特定的数据， 虽然没有自己写爬虫操作精准，但是学习成本低很多，下面就来介绍几款可视化的爬虫工具。

国内工具

01 Microsoft Excel

首先教大家一个用Excel爬取数据的方法，这里用的Microsoft Excel 2013版本，下面手把手开始教学~

(1)新建Excel，打开它，如下图所示

(2)点击“数据”——“自网站”

(3)在弹出的对话框中输入目标网址，这里以全国实时空气质量网站为例，点击转到，再导入

选择导入位置，确定

(4)结果如下图所示，怎么样，是不是很赞？

(5)如果要实时更新数据，可以在“数据”——“全部更新”——“连接属性”中进行设置，输入更新频率即可

02 八爪鱼

一款可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据，帮助用户实现数据的自动化采集、编辑以及规范化，降低工作成本。

简易模式采集步骤

是一款适合小白用户尝试的采集软件，云功能强大，当然爬虫老手也能开拓它的高级功能。

网址：https://www.bazhuayu.com/

03 火车头

火车头是一款互联网数据抓取、处理、分析，挖掘软件，采集功能完善，不限网页与内容，任意文件格式都可下载，号称能采集99%的网页。

软件定位比较专业而且精准化，使用者需要有基本的HTML基础,能看得懂网页源码,网页结构，但软件提供相应教程，新手也能够学习上手。

网址：http://www.locoy.com/

04 集搜客

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。

操作较简单，适用于初级用户，功能方面没有太大的特色，后续付费要求比较多。

网址：http://www.gooseeker.com/index.html

05 神箭手云爬虫

一款新颖的云端在线智能爬虫/采集器，基于神箭手分布式云爬虫框架，帮助用户快速获取大量规范化的网页数据。

类似一个爬虫系统框架，具体采集还需用户自写爬虫，需要代码基础。

网址：https://www.shenjian.io

06 狂人采集器

一套专业的网站内容采集软件，支持各类论坛的帖子和回复采集，网站和博客文章内容抓取，分论坛采集器、CMS采集器和博客采集器三类。

专注论坛、博客文本内容的抓取，对于全网数据的采集通用性不高。

网址：http://www.kuangren.cc/

国外工具

01 Google Sheet

使用Google Sheet爬取数据前，要保证三点：使用Chrome浏览器、拥有Google账号、电脑已翻墙。如果这三个条件具备了的话，下面我们就开始吧~

(1)打开Google Sheet网站：google.cn/sheets/about/

(2)在首页上点击“转到Google表格”，然后登录自己的账号，可以看到如下界面，再点击“+”创建新的表格

新建的表格如下：

(3)打开要爬取的目标网站，一个全国实时空气质量网站pm25.in/rank，目标网站上的表格结构如下图所示

(4)回到Google sheet页面，使用函数=IMPORTHTML(网址, 查询, 索引)，“网址”就是要爬取数据的目标网站，“查询”中输入“list”或“table”，这个取决于数据的具体结构类型，“索引”填阿拉伯数字，从1开始，对应着网站中定义的哪一份表格或列表

对于我们要爬取的网站，我们在Google sheet的A1单元格中输入函数=IMPORTHTML("pm25.in/rank