python爬取有道词典_python之爬虫爬有道词典

首先我们先去有道词典网站

找到这个网址的格式

然后

右键网页源代码

找到翻译所在的部分并记录下来

现在浏览器部分的任务就完成了

我们现在开始敲代码

首先是url 就是有道的网址和我们要查找的单词

url = 'http://dict.youdao.com/w/eng/%s' % word

然后我们用urllib2去抓取网页的包

page = urllib2.urlopen(url).read()

之后我们用BeautifulSoup去解析page

data = BeautifulSoup(page, 'lxml')

最后用我们记下的标签去找相应的内容就行了

data.findAll('div', attrs={'class': 'trans-container'})[0].findNext('ul').text

整体代码：

1 importurllib22 from bs4 importBeautifulSoup3

4 defquery(word):5 url = 'http://dict.youdao.com/w/eng/%s' %word6 page =urllib2.urlopen(url).read()7 data = BeautifulSoup(page, 'lxml')8 return data.findAll('div', attrs={'class': 'trans-container'})[0].findNext('ul').text9

10 if __name__ == '__main__':11 whileTrue:12 print(query(raw_input()))

运行结果：

哇你看是不是学个爬虫很简单

python爬取有道词典_python之爬虫爬有道词典相关推荐

python多线程爬虫爬取多个网页_python多线程爬虫爬取顶点小说内容（BeautifulSoup+urllib）...
思路之前写过python爬取起点中文网小说,多线程则是先把爬取的章节链接存到一个列表里,然后写一个函数get_text每次调用这个函数就传一个章节链接,那么就需要调用n次该函数来获取n章的内容,所以 ...
python爬去百度百科词条_python简单爬虫爬取百度百科python词条网页
目标分析: 目标:百度百科python词条相关词条网页 - 标题和简介入口页:https://baike.baidu.com/item/Python/407313 URL格式: - 词条页面URL: ...
python爬取网易云音乐_Python 从零开始爬虫(七)——实战：网易云音乐评论爬取（附加密算法）...
前言某宝评论区已经成功爬取了,jd的也是差不多的方法,说实话也没什么好玩的,我是看上它们分析简单,又没加密才拿来试手的.如果真的要看些有趣的评论的话,我会选择网易云音乐,里面汇聚了哲学家,小说家,s ...
python爬取b站评论_python高效之爬了B站再爬微博
全文简介本文是用Python爬取微博移动端的数据.可以看一下Robots协议.另外尽量不要爬取太快.如果你毫无节制的去爬取别人数据,别人网站当然会反爬越来越严厉.所以,不要难为别人,到最后其实是在难 ...
python爬取js动态网页_Python 从零开始爬虫(八)——动态爬取解决方案之 selenium
selenium--自动化测试工具,专门为Web应用程序编写的一个验收测试工具,测试其兼容性,功能什么的.然而让虫师们垂涎的并不是以上的种种,而是其通过驱动浏览器获得的解析JavaScript的能力. ...
python爬取京东手机数据_Python数据爬虫学习笔记（21）爬取京东商品JSON信息并解析...
一.需求:有一个通过抓包得到的京东商品的JSON链接,解析该JSON内容,并提取出特定id的商品价格p,json内容如下: jQuery923933([{"op":"75 ...
python爬取微信公众号_python使用webdriver爬取微信公众号
本文实例为大家分享了python使用webdriver爬取微信公众号的具体代码,供大家参考,具体内容如下 # -*- coding: utf-8 -*- from selenium import we ...
用python爬取小说的总结_python如何使爬取的小说更利于观看
python使爬取的小说更利于观看的方法: 1.使用追加模式将文章写入txt文本关于文件的写入, 'w' 的方式是覆盖写, 没有就创建, 那么我们写小说就不需要用这个, 使用 'a' 追加写的模式 ...
python爬取微博热搜_Python 超简单爬取微博热搜榜数据
微博的热搜榜对于研究大众的流量有非常大的价值.今天的教程就来说说如何爬取微博的热搜榜.热搜榜的链接是: https://s.weibo.com/top/summary/ 用浏览器浏览,发现在不登录的情 ...
python爬取小说功能实现_Python实现的爬取小说爬虫功能示例
本文实例讲述了Python实现的爬取小说爬虫功能.分享给大家供大家参考,具体如下: 想把顶点小说网上的一篇持续更新的小说下下来,就写了一个简单的爬虫,可以爬取爬取各个章节的内容,保存到txt文档中,支 ...

python爬取有道词典_python之爬虫爬有道词典

python爬取有道词典_python之爬虫爬有道词典相关推荐

最新文章

热门文章