应用ruby打造个性化的有道单词本 (二）

在上一篇文章中，我们做了最基本的事情，我们自己写处理URL重定向的代码，我们自己保存这cookie,感觉很累是吧，其实的确是这样的。并且，文章的题目不是”打造个性化的又到单词本“，如果只是把最原始的html文档抓取下来，谈何个性化，应该换名成复古化吧。其实在ruby的世界里，有很多现成的包可以用的，由于gem的出现，各种包的管理更加方便了，就我们在第一篇文章中做的这些事情用mechanize这个包就可以做的很简单，因为它直接模仿我们手工在浏览器浏览页面的过程，而且这个框架提供了对URL重定向的支持，也很自动保存cookie，但它对javascript的理解不是很好，所以对密码加密还是要我们手工做。除此之外它还能够上传文件。我们在第一篇文章中做的大量的工作用以下这几行代码就可一搞定了，只能说mechanize太适合我们当前的这个小任务了。

def loginMechanize.new do |agent|agent.user_agent=@user_agentmain_page=agent.get(@main_addr)login_page=main_page.link_with(text: "单词本").clicklogin_form=login_page.form_with("f")login_form.username="××"        login_form.password="××"agent.submit(login_form)@word_page=agent.current_pageend
end

接下来就是nokogiri大显身手的时候了，通过分析源代码，我们可以直接通过单词表的xpath查询到每一个字段：

def crawl_wordslogin if @word_page==nilFile.open("myWords","w") do |file|@word_page.xpath("//tbody//tr").each do |tr|w=tr.xpath(".//td")add_time=Date.parse(w[4].content)#@stime=add_time if add_time>@stimenext if add_time<@stime#print number of each word#file.print w.shift.content,'. ' w.shiftfile.print @@count+=1,'. ' puts "processing... #{@@count}"#print literal content of each wordword_item=w.shift.xpath("./div").firstfile.print word_item.content@detail_page=@word_page.link_with(text:word_item.content).click#print phaoneticfile.print w.shift.xpath("./div").first.content,' '#print meaning item of each word on the same line w.shift.xpath(".//div").first.content.each_line {|mi| file.print mi.strip<<" "}file.puts@detail_page.xpath("//li//div//div//p").each{|example| file.puts example.content.strip}end while turn_pagefile.putsfile.print "scan time: ",Date.todayend
enddef turn_pagebegin@word_page=@word_page.link_with(text:"下一页").click unless @first_page@first_page=false@word_pagerescuereturn nilend
end

这段代码就是我们完成个性化的过程。首先通过单词表的xpath查找到每个表的行，然后依次将单词，音标，汉语解释抓取下来，每完成一页就翻到下一页。除了单词表给我们的这些信息之外，我还想的到柯林斯字典关于这个单词的例句，还好单词表里面给了链接，得到详细的单词解释的页面之后继续用xpath查找。这就构成了抓取单词的主体。并且我们在文件的末端打印这一次抓取的日期，以便下次只下载加入单词本的日期在该日期之后的单词，避免重复抓取。

上图是最后的到的单词本的word版本。现在，我们的工作就全部完成了。

应用ruby打造个性化的有道单词本 (二）相关推荐

《Ruby程序员修炼之道》（第2版）目录—导读
版权 Ruby程序员修炼之道(第2版) • 著 [美] David A. Black 译钟凤鸣陈雪静责任编辑杨海玲 • 人民邮电出版社出版发行北京市丰台区成寿寺路11号邮编 100164 ...
【星球问答精选】我想打造个性化的高效工作流，不会编程怎么办？
题图:Photo by Christin Hume on Unsplash 知识星球上,星友 Kevin 提问(为保护隐私,有删节): 王老师您好,我是您的超级忠实读者以及新晋工具爱好者.由于新晋,所 ...
《Ruby程序员修炼之道》（第2版）—第1章1.2节剖析Ruby的安装
本节书摘来自异步社区<Ruby程序员修炼之道>一书中的第1章,第1.2节剖析Ruby的安装,作者[美]David A. Black(戴维 A. 布莱克),更多章节内容可以访问云栖社区&qu ...
《Ruby程序员修炼之道》（第2版）—第1章1.4节易用的Ruby工具和应用程序
本节书摘来自异步社区<Ruby程序员修炼之道>一书中的第1章,第1.4节易用的Ruby工具和应用程序,作者[美]David A. Black(戴维 A. 布莱克),更多章节内容可以访问云栖 ...
《Ruby程序员修炼之道》（第2版）—第1章1.1节进入Ruby的世界
本节书摘来自异步社区<Ruby程序员修炼之道>一书中的第1章,第1.1节进入Ruby的世界,作者[美]David A. Black(戴维 A. 布莱克),更多章节内容可以访问云栖社区&qu ...
安卓直播详细教程（三）-----ijkplayer打造个性化控制界面
##前言为什么要写这篇文章呢? Firsr:直接集成ijkplayer的控制界面太丑了 Second:无法满足我们的需求我们来看下直接集成的ijkplayer控制界面: 是不是没法用,那么我们现在 ...
Oracle营销云与微信集成，打造个性化体验
Oracle营销云与微信集成,打造个性化体验为了让市场营销人员在全球成长最快速的社交媒体平台之一微信(WeChat)上迅速有效地针对目标客户进行互动和关系维护,甲骨文今日宣布,将Oracle营销云( ...
后疫情时代，VR云游打造个性化云服务
后疫情时代,线上经济引导着市场转型升级,"云对接"."云洽谈"."云购物"等模式已然成为我们社会发展的主要趋势.近年来,各地也都在积极的推进 ...
黑人电动牙刷研发新品打造个性化刷牙体验
黑人牙刷自2017年进军电动牙刷市场,便受到消费者的广泛青睐.其首款电动牙刷"黑人声波深洁ET1电动牙刷"开启了科技助力口腔健康的新纪元.此后,黑人品牌再接再厉,经过研发部门精心设 ...
树莓派 + Home Assistant + HomeKit 从零开始打造个人智能家居系统篇二：初步配置 Home Assistant 并连接小米设备与 HomeKit
树莓派 + Home Assistant + HomeKit 从零开始打造个人智能家居系统篇二:初步配置 Home Assistant 并连接小米设备与 HomeKit 通过本篇教程,你将完成对 H ...

应用ruby打造个性化的有道单词本 (二）

应用ruby打造个性化的有道单词本 (二）相关推荐

最新文章

热门文章