大家好,我是咿哑呀。我们知道,在百度搜索中,查看今日热点事件排行榜时,可以打开网址"http://top.baidu.com/buzz?b=341&c=513&fr=topbuzz_b1"。今天,咿哑呀教大家用python代码打开这个网址,搜索今日热点事件排行榜。

新建YYY文件夹,在YYY文件夹中新建main.py文件,在main.py文件中写入以下四行代码:

import string,chardet

from urllib import request

from urllib.parse import quote

from bs4 import BeautifulSoup

这四行代码意思就是导入下载、解析网页所需要的包,如:string、chardet用于解析网址字符,urllib.reauest、urllib.parse.quote用于下载网页,bs4.beautifulsoup用于解析网页源代码。

def download(new_url):

if new_url is None:

return None

headers = ("User-Agent",

"Mozilla/5.0 (Windows NT 10.0; Win64; x64)

AppleWebKit/537.36 (KHTML, like Gecko)

Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063")

opener = request.build_opener()

opener.addheaders = [headers]

request.install_opener(opener)

url_ = quote(new_url, safe=string.printable)

if request.urlopen(url_).getcode() != 200:

return None

else:

html = request.urlopen(url_).read()

charset = chardet.detect(html)['encoding']

return html.decode(charset, 'ignore')

这个download函数作用就是模拟网页浏览器打开网址,下载并返回网页源代码。

继续写入get_words函数代码:

def get_words(html_context):

words=[]

if html_context is None:

return

soup = BeautifulSoup(html_context, "html.parser")

titles = soup.findAll('a',class_='list-title')

if titles:

for item in titles:

words.append(item.get_text())

return words

get_words函数作用就是将网页源代码解析出我们需要的内容,并以列表的形式返回所需内容。

最后,我们写入这个文件的入口函数main代码:

# 创建main方法

if __name__ == "__main__":

url="http://top.baidu.com/buzz?b=341&c=513&fr=topbuzz_b1"

content=download(url)

words=get_words(content)

for i in range(len(words)):

print(i+1,'.',words[i])

这段代码引用了download、get_words两个函数来下载、解析网址,获得所需内容,以列表的形式显示排行榜内容。

这段代码运用十分宽泛,只需要更换url网址和第二个函数中soup.findAll函数中的内容,就可以从url网址中下载soup.findAll中指定的内容啦 !如果这篇文章对你有用,请点赞、转发、收藏、评论,如果喜欢我的文章,请搜索并关注“咿哑呀”,我将分享更多文章给大家。

python爬取热门新闻每日排行_用python查看百度搜索中今日热点事件排行榜相关推荐

  1. python爬取热门新闻每日排行_爬取网易新闻排行榜

    #网络爬虫之最基本的爬虫:爬取[网易新闻排行榜](http://news.163.com/rank/) **一些说明:** * 使用urllib2或requests包来爬取页面. * 使用正则表达式分 ...

  2. python爬取微博数据词云_用Python爬取微博数据生成词云图片

    原标题:用Python爬取微博数据生成词云图片 欢迎关注天善智能 hellobi.com,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区,学习.问答.求职,一站式搞定! 对商业智能BI.大数 ...

  3. python 爬取亚马逊评论_用Python爬取了三大相亲软件评论区,结果...

    小三:怎么了小二?一副愁眉苦脸的样子. 小二:唉!这不是快过年了吗,家里又催相亲了 ... 小三:现在不是流行网恋吗,你可以试试相亲软件呀. 小二:这玩意靠谱吗? 小三:我也没用过,你自己看看软件评论 ...

  4. python爬取抖音用户数据_使用python爬取抖音视频列表信息

    如果看到特别感兴趣的抖音vlogger的视频,想全部dump下来,如何操作呢?下面介绍介绍如何使用python导出特定用户所有视频信息 抓包分析 Chrome Deveploer Tools Chro ...

  5. 利用python爬取58同城简历数据_利用python爬取58同城简历数据-Go语言中文社区

    利用python爬取58同城简历数据 最近接到一个工作,需要获取58同城上面的简历信息(http://gz.58.com/qzyewu/).最开始想到是用python里面的scrapy框架制作爬虫.但 ...

  6. python爬取腾讯视频弹幕_用Python爬取腾讯视频弹幕

    原标题:用Python爬取腾讯视频弹幕 via:菜J学Python 1.网页分析 本文以爬取<脱口秀大会 第3季>最后一期视频弹幕为例,首先通过以下步骤找到存放弹幕的真实url. 通过删减 ...

  7. python爬取b站粉丝数_【python爬虫】每天统计一遍up主粉丝数!

    每天统计一遍up主粉丝数! 第一步,爬取up主的粉丝信息 为了方便,这里我把它写成了一个函数 1.首先导入需要的包 requests是必不可少的! import requests as req 想要记 ...

  8. python爬取小说代码bs4和_使用python爬虫,requests(夹带BeautifulSoup的使用)爬取网络小说...

    由于本人也是初学者,算是小白一枚,这里跟大家分享一下爬取网站上的小说的过程. 第一步我们需要导入我们需要的模块,比如requests,BeautifulSoup,还有正则模块re. 代码如下:impo ...

  9. python爬取知乎话题广场_学习python爬虫---爬虫实践:爬取B站排行榜2(爬取全部分类排行榜、利用pygal库作图)...

    前面我们爬取了B站上全站的排行榜,详细见:魏勇:学习python爬虫---爬虫实践:爬取B站排行榜​zhuanlan.zhihu.com 一.爬取全部分类排行榜 我们观察一下B站排行榜,那里还有番剧排 ...

最新文章

  1. (转载)四种常见的 POST 提交数据方式
  2. java中什么时候应用异常_生产Java应用程序中的十大异常类型-基于1B事件
  3. PHPmyadmin 和 MySQL 的配置笔记
  4. 【CCF】 201604-1折点计数
  5. java注解返回不同消息,SpringMVC源码剖析5:消息转换器HttpMessageConverter与@ResponseBody注解...
  6. cv岗工作做什么_只会python能做什么工作
  7. 截取tomat指定时间的脚本
  8. 按编译原理的思路设计的一个计算器
  9. 异构系统间Web Service通讯框架小结(补完企划)
  10. Android解析ClassLoader(二)Android中的ClassLoader
  11. php SNMP函数时出错
  12. MySQL驱动jar包的下载--保姆教程
  13. AutoCAD自定义填充图样详细教程
  14. Magicbook 2018开启TPM2.0
  15. Git之版本回退和分支合并
  16. 无人值守安装系统完整(CentOS7)
  17. 【Java游戏项目合集】(附源码+课件)
  18. python docx与doc 文件互相转换
  19. javascript中getmonth()的问题
  20. 朗伯余弦定律(Lambert‘s Cosine Law)

热门文章

  1. linux和windows图形运算效率,linux和windows下UDP发送效率的有趣比较
  2. Linux中如何调整pe的大小,关于LVM PE大小影响VG容量
  3. Python+OpenCV:傅里叶变换(Fourier Transform)
  4. AngularJs的UI组件ui-Bootstrap分享(七)——Buttons和Dropdown
  5. docker-ce-17.09 容器创建,运行,进入,删除,导入/导出
  6. mui ajax方法
  7. 欲走考研,难辞青衫,小园香径独徘徊。
  8. 软件开发人员,自身素质应该注意的问题!
  9. 表格如何excel在线转letex
  10. 按周汇总_有合并单格及空行的数据如何快速汇总?简单几步快速搞定