当前的主流爬虫手段是用Python编程,Python的强大毋庸置疑,但初学者学习Python还是需要一两个月时间的。有没有一些更简单的爬取数据方法呢?答案是有的,DataCastle为你准备了如下小工具,对于每个小工具你只需要花十几分钟时间,跟着我的步骤走一遍就可以掌握它啦~

一、Microsoft Excel   

首先教大家一个用Excel爬取数据的方法,这里用的Microsoft Excel 2013版本,下面手把手开始教学~

(1)新建Excel,打开它,如下图所示

(2)点击“数据”——“自网站”

(3)在弹出的对话框中输入目标网址,这里以全国实时空气质量网站(http://www.pm25.in/rank)为例,点击转到,再导入

选择导入位置,确定

(4)结果如下图所示,怎么样,是不是很赞?

(5)如果要实时更新数据,可以在“数据”——“全部更新”——“连接属性”中进行设置,输入更新频率即可

二、Google Sheet

使用Google Sheet爬取数据前,要保证三点:使用Chrome浏览器、拥有Google账号、电脑已翻墙。如果这三个条件具备了的话,下面我们就开始吧~

(1)打开Google Sheet网站:http://www.google.cn/sheets/about/

(2)在首页上点击“转到Google表格”,然后登录自己的账号,可以看到如下界面,再点击“+”创建新的表格

新建的表格如下:

(3)打开要爬取的目标网站,一个全国实时空气质量网站http://www.pm25.in/rank,目标网站上的表格结构如下图所示

(4)回到Google sheet页面,使用函数=IMPORTHTML(网址, 查询, 索引),“网址”就是要爬取数据的目标网站,“查询”中输入“list”或“table”,这个取决于数据的具体结构类型,“索引”填阿拉伯数字,从1开始,对应着网站中定义的哪一份表格或列表

对于我们要爬取的网站,我们在Google sheet的A1单元格中输入函数=IMPORTHTML("http://www.pm25.in/rank","table",1),回车后就爬得数据啦

(5)将爬取好的表格存到本地

是不是感觉超级简单?

三、you-get

这是一个程序员基于python 3开发的项目,已经在github上面开源,支持64个网站,包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方,即使是名单上没有的网站,当你输入链接,程序也会猜测你想要下载什么,然后帮你下载。当然you-get要在python3环境下进行安装,用pip安装好后,在终端输入“you get+你想下载资源的链接”就可以等着收藏资源了。

这里给一个you-get的中文使用说明(http://dwz.cn/4rb53l),按照说明上写的按步骤操作就可以啦。

如果你想学更高端的Python爬虫,DataCastle为你准备了一套高效的学习路径。

如何在短时间内入门爬虫,并获得爬取大量数据的能力?

DataCastle学院课程《Python爬虫(入门+进阶)》从具体的案例着手,通过实际操作,学习具体的知识点。

课程中工程化爬虫及分布式爬虫技术,让你有获取大规模数据的可能。此外,你还将了解数据库(Mongodb)、pandas的基本知识,帮你储存爬取的数据,同时可以对数据进行管理和清洗,便于后续分析处理。

来源:DataCastle数据城堡


近期精彩活动(直接点击查看):

福利 · 阅读 | 免费申请读大数据新书 第21期


END


投稿和反馈请发邮件至hzzy@hzbook.com。转载大数据公众号文章,请向原文作者申请授权,否则产生的任何版权纠纷与大数据无关。

大数据


为大家提供与大数据相关的最新技术和资讯。


长按指纹 > 识别图中二维码 > 添加关注

近期精彩文章(直接点击查看):

华为内部狂转好文,大数据,看这一篇就够了!

读完这100篇论文,你也是大数据高手!

如何建立数据分析的思维框架

百度内部培训资料PPT:数据分析的道与术

论大数据的十大局限

打包带走!史上最全的大数据分析和制作工具

数据揭秘:中国姓氏排行榜

程序猿分析了42万字歌词后,终于搞清楚民谣歌手唱什么了

计算机告诉你,唐朝诗人之间的关系到底是什么样的?

数据分析:微信红包金额分配的秘密

2000万人口的大北京,上下班原来是这样的(附超炫蝌蚪图)

大数据等IT职业技能图谱【全套17张,第2版】

不要跟赌场说谎,它真的比你老婆还了解你

如果看了这篇文章你还不懂傅里叶变换,那就过来掐死我吧

不做无效的营销,从不做无效的用户画像开始

更多精彩文章,请在公众号后台点击“历史文章”查看,谢谢。

爬虫小工具合集|不会编程也能爬数据相关推荐

  1. 同等质量下那种图片格式小_最实用的Window小工具合集,总有一款适合你!

    HELLO,我是利兄~ 我们在日常办公的时候,总是被一些小事情难住,这个时候,一些小工具就可以为我们提供帮助. 今天利兄就来推荐一波办公的时候可能会用到的小工具合集,记得收藏哦. 1.图片下载助手 这 ...

  2. 计算机工程师专用小工具,204个联想工程师专用小工具合集

    204个联想工程师专用小工具合集,为联想用户整理了204个常用的小工具,Flash修复工具.Fn+F5快捷键修复工具.Framework修复工具等. 204个联想工程师专用小工具合集简介 204个联想 ...

  3. [转]Windows Sysinternals 微软官方免费的极品实用绿色小工具合集,绝对值得你收藏

    Windows Sysinternals Suite 是一套由微软官方免费提供的系统工具集,其中包含了大量超级实的优秀绿色小软件,譬如 Desktops (虚拟桌面).Process Explorer ...

  4. 【末夜】Java小工具合集一览

    统计一下目前已制作的所有小工具: KeyTest HtmlTail *1 CodeTail *1+ EnChTail *2 EnChXM *2+ MeowPlayer DateTail + RarLi ...

  5. 一个奇鸽 - 免费的软件小工具合集,绝对值得你收藏!

    一个奇鸽船新版本 是一套小奇鸽提供的系统工具集,其中包含了大量超级实的优秀小功能,譬如 文字处理.重复名字 (王者荣耀).特殊网名 (用于网络昵称) 等等,每一个都非常实用,绝对值得你了解.收藏并使用 ...

  6. Windows Sysinternals 微软官方免费的极品实用绿色小工具合集,绝对值得你收藏

    Windows Sysinternals Suite是一套由微软官方免费提供的系统工具集,其中包含了大量超级实的优秀绿色小软件,譬如 Desktops (虚拟桌面).Process Explorer ...

  7. PowerToys,微软开源的超实用小工具合集

    不过现在,微软又重启了这个项目并在github上开源,新版的PowerToys增加了许多让人耳目一新的实用工具.下面阿刚带大家一起来了解一下. PowerRename,批量重命名! 文件重命名尤其是需 ...

  8. iOS生产力之小工具合集

    初识iOS平台已几月有余,作为一个从windows平台转型过来的开发者,曾经有人在微博煞有介事问我转型体验如何? 我想除了全新的平台.开发语言所带更多的挑战和新鲜感,如果能够在不断磨练技能中日益精进做 ...

  9. python自制语音识别_为了满足我的需求,自己用python写了个小工具合集,包括图片、语音识别、翻译pdf等...

    本帖最后由 zhaoyun007 于 2019-6-29 20:10 编辑 V2.0版更新: 加入免费的音频转文字接口,免费的有普通话.英文.粤语.四川话识别,速度慢些,但准确率还可以. QQ截图20 ...

最新文章

  1. 【sql】实现分页查询
  2. 黄仁勋把自己做成了虚拟娃娃
  3. Hibernate工作原理
  4. 线上Slave报1062的案例
  5. Linux监控工具介绍系列——smem
  6. 小学奥数 7648 蓄水池水管问题 python
  7. Android 手游闪屏极简方案
  8. linux下自动补全问题: autocomplete sh: ( compgen -d — ” ): No such file or directory
  9. 关于分块思想的个人理解
  10. Python 于 webgame 的应用
  11. Python游戏之运动物体寻路——A星算法与扩展
  12. 支付宝个人支付接口,无需营业执照
  13. .NET Framework各个版本(4.5)
  14. 维特比算法在隐马尔可夫模型中的应用
  15. sklearn.neighbors 最近邻相关算法,最近邻分类和回归
  16. 商汤公开IPO上市,估值1026亿,创始人汤晓鸥教授身家220亿
  17. Storj白皮书v3最全面解读,Docker创始人的加入能否扳倒AWS S3
  18. 使用FFMPEG——4.2.2版本实现提取视频编码解码文件,ffmpeg基础学习。
  19. 静电场边值问题及其求解
  20. Packet Tracer - 使用 CLI 配置并验证站点间 IPsec VPN

热门文章

  1. Linux学习笔记-使用gdb调试
  2. Qt工作笔记-主界面传输数据到附属界面(通过信号与槽非构造函数)
  3. C++ STL string的属性
  4. android实现日志列表,【Android开发】listview+popupwindow实践:日志列表
  5. python自动化元素定位_Appium+Python自动化 4 -appium元素定位
  6. macosx php环境,MacOSX环境下MAMP安装配置PHP的开发环境
  7. 多层数组如何遍历_带你从零学大数据系列之Java篇---第五章:数组
  8. asc码转换 linux_Linux终端下将图片转换ASCII Art代码图案
  9. java.lang.math.abs_java.lang.StrictMath.abs(int a)方法实例
  10. transporter上传卡正在交付_Xcode11,Transporter上传卡在——正在验证 APP - 正在通过App Store进行认证...