你每年能读几本书？

2018年，我国人均数字阅读量为12.4本；

2019年，我国成年人均纸质图书阅读量为4.65本。

粗略计算，我国人均每年可以读17本书，平均每月1.5本。按照从18岁成年到77岁的人均寿命计算，人的一生可以读1020本书。

当当网上的图书数量是多少？

• 经济类：614873 本

• 管理类：1049148 本

• 历史类：607259 本

• 小说类：1564887 本

可见时间有限，现代文明的成果想尽情享用还是心有余而力不足，反而应该珍惜花费时间和精力去读的那1020本书。

在读书这件事上，选书才是最重要的。

亚马逊和当当的图书排行榜、名人推荐的书单、豆瓣的书评等，都可以帮助我们先做好选书这关键的第一步。

本篇文章以当当网畅销书榜为例，侧重Web Scraper的入门，爬取的内容比较简单，先掌握完整的爬虫流程，能够顺利导出爬取的数据。复杂多变的内容爬取会在后面的教程中一一讲解。

 01   爬取的榜单和内容 

进入当当畅销书榜单，选择近30天的畅销书，默认展示前20本，我们就对这20本的「书名」进行采集。

榜单网址：

http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent30-0-0-1-1

 02   爬虫项目实战 

第一步，调出Web Scraper界面 

点击鼠标右键，找到「检查元素」点击进入，在选项卡上就可以找到「Web Scraper」了。

 第二步，创建名为「dangdang」的爬虫项目 

在Creater new sitemap下点击Creater sitemap，然后进行以下配置：

• Sitemap name：dangdang

• Start URL：填入文章上方的榜单网址

• 点击Create Sitemap创建完成！

 第三步，配置爬取「书名」的选择器 

• Id：选择器名称，这里填写「title」，表示要采集的是书的标题

• Type：默认为Text，表示要采集的信息是文本格式

• 点击Selector中的Select后，跳出一个条形对话框

• 点选第1个书名，发现书名底色变红(表示被选中)，然后点击第2个书名，此时发现后面的第3个、第4个……书名均变为红色

• 点击条形对话框的Done selecting!

• 勾选Multiple，表示除了点选的第1个和第2个书名外，本页后续底色变红的书名也都需要采集

• 点击Save Selector，「书名」的选择器配置完成！

 第四步，执行爬虫程序 

• 点击Sitemap dangdang下拉列表中的Scrape，开始执行程序

• 出现的对话框中有两项数字内容，默认值均为2000Request interval：表示「网页请求发送间隔」，为了不被网站判定为机器进而阻止采集，需要模拟人的行为将动作放缓，通常按默认值即可Page load delay：表示「页面加载时长」，如果页面没有完全加载就开始采集，会造成信息采集不全，特别是在网速不佳的时候，通常也按默认值，也可适当调整

• 点击Start scraping开始采集，弹出一个采集窗口，注意采集过程中不要关闭此窗口，待采集完成后，窗口会自动关闭

• 窗口关闭后，点击refresh，出现3列数据
  「web-scraper-order」：程序自动编码，不用理会
  「web-scraper-start-url」：点击书名跳转的url，前面虽然只设置了采集书名的文本，但采集默认同时提供url，所以如果需要此项，不用再单独设置
  「title」：要采集的书名，注意，书名的顺序并非是网页上的顺序

 第五步，导出数据至CSV文件 

Web Scraper免费版只提供CSV一种导出形式，导出后用Excel打开即可。

• 点击Sitemap dangdang下拉列表中的Export data as csv
• 点击Download now!后出现了浏览器的下载对话框，打开或者保存即可

 03   Web Scraper界面功能介绍 下面，顺序介绍Web Scraper界面中的Sitemaps、Sitemap、Create new sitemapSitemaps：Sitemap项目列表，所有创建的Sitemap均可在此列表找到，比如上面创建的「dangdang」就在此列表中。Sitemap：直接点击此项，Web Scraper无任何反应，因为此项只针对某一个已经创建的Sitemap，所以，要从Sitemaps中选择一个ID点击，这里点击「dangdang」，发现中间的Sitemap变为了Sitemap dangdang，说明已经跳转到了指定的Sitemap内。点击Sitemap dangdang，下拉列表有如下几项：Selectors：选择器列表，每一个采集内容均要配置一个选择器，在上面的例子中，采集了书名，如果需要采集评论数、出版社等页面可见信息，要分别为这些信息逐一添加选择器Selector graph：选择器结构图，显示选择器之间的树状关系，再复杂的采集项目中能够一目了然地呈现采集逻辑Edit metadata：修改Sitemap设置，即Sitemap名称和urlScrape：执行采集程序Browse：浏览采集结果Export Sitemap：导出Sitemap代码，此代码可以直接导入，无需再次配置Export data as CSV：导出采集结果至csv文件点击Create new sitemap，发现有两种新建Sitemap的方法，直接创建(Create Sitemap)和导入(Import Sitemap)。当当的案例中已经讲过Create Sitemap，这里不再赘述。
点击Import Sitemap进入以下界面：Sitemap JSON：把Export Sitemap导出的代码粘贴在此处Rename Sitemap：为Sitemap命名
点击Import Sitemap后，同样成功创建了Sitemap 04   数据采集只是数据分析的过程 每一分钟，互联网上都会有海量的数据产生，数据的价值并非是它本身，而是通过分析数据能获得哪些有价值的信息。数据采集是一项不值得投入太多时间的工作(包括学习采集的时间和练习的时间)，所以，只要学习了网页常见情况的处理方法就可以，没有必要为了学习采集而频繁练习。遇到新的问题时，再到网上寻求解答，这样会记得更牢。