python爬虫（1）-百度新闻首页抓取

百度热点新闻上，前6条是在strong > a下面抓取，后30条，以及之后的各个分版块（国内，国际，地方，娱乐，体育等等），抓取的特征值是a标签下的mon的值，c=板块名称，pn=为每个分类下的第几条新闻，一个分类下显示12条（地方新闻显示8条），看看原网页就可以知道了。

完整代码如下

import  requests
from bs4 import  BeautifulSoup
import timeurl='http://news.baidu.com/'
res=requests.get(url)
soup = BeautifulSoup(res.text,'lxml')print('百度新闻python爬虫抓取')print('头条热点新闻')
sel_a =soup.select('strong a')
for i in range(0,5):print(sel_a[i].get_text())print(sel_a[i].get('href'))print('热点新闻')
titles_b=[]
titlew=""
for i in range(1,31):sel_b=soup.find_all('a',mon="ct=1&a=2&c=top&pn="+str(i))titles_b.append(sel_b[0])
for i in range(0,30):print(titles_b[i].get_text())print(titles_b[i].get('href'))titlew=titlew + titles_b[i].get_text() + "\n"# 获取当前时间
now = time.strftime('%Y-%m-%d', time.localtime(time.time()))
# 输出到文件
with open('news' + now + '.txt', 'a', encoding='utf-8') as file:file.write(titlew) #只输出标题

摸索期间，可以直接把网页下载到本地进行调试，代码如下：

with open('本地文件路径',encoding='utf-8') as f:
#  print(f.read())
soup = BeautifulSoup(f,'lxml')

python爬虫（1）-百度新闻首页抓取相关推荐

python爬虫教程，带你抓取百度的高清摄影图片
python爬虫教程,带你抓取百度的高清摄影图片源码分享: ''' 在学习过程中有什么不懂得可以加我的 python学习交流扣扣qun,934109170 群里有不错的学习教程.开发工具与电子书籍. ...
python中国大学排名爬虫写明详细步骤-Python爬虫--2019大学排名数据抓取
Python爬虫--2019大学排名数据抓取准备工作输入:大学排名URL连接输出:大学排名信息屏幕输出所需要用到的库:requests,bs4 思路获取网页信息提取网页中的内容并放到数据结 ...
如何用python抓取文献_浅谈Python爬虫技术的网页数据抓取与分析
浅谈 Python 爬虫技术的网页数据抓取与分析吴永聪 [期刊名称] <计算机时代> [年 ( 卷 ), 期] 2019(000)008 [摘要] 近年来 , 随着互联网的发展 , 如何 ...
python爬关键词百度指数_Python 抓取指定关键词的百度指数
百度指数很多时候在我们做项目的时候会很有帮助,从搜索引擎的流量端给到我们一些帮助,比如:家具行业的销量跟"装修","新房","二手房"等关键 ...
Python爬虫成长之路：抓取证券之星的股票数据(转）
获取数据是数据分析中必不可少的一部分,而网络爬虫是是获取数据的一个重要渠道之一.鉴于此,我拾起了Python这把利器,开启了网络爬虫之路. 本篇使用的版本为python3.5,意在抓取证券之星上当天所 ...
【Python】调用百度地图API抓取西安市小区信息
前面有同学参加市场调查大赛,需要西安市的小区信息数据,一个小爬虫程序完美解决. 百度地图开放平台详情访问:百度PlaceAPI 这里用到了矩形区域检索,具体参数说明如下: 调取详情所需库: imp ...
python爬虫：使用scrapy框架抓取360超清壁纸（10W+超清壁纸等你来爬）
目的:闲着无聊,利用爬虫爬取360超清壁纸,并将其数据存储至MongoDB/MySQL中,将图片下载至指定文件夹. 要求:确保以安装MongoDB或者MySQL数据库.scrapy框架也肯定必须有的: ...
python爬虫之scrapy初试与抓取链家成交房产记录
接上一篇文章,本机安装好python之后和scrapy之后,我们开始学习使用scrapy创建爬虫程序. 今天先来点简单的,不那么复杂,先看看抓取链家网里面的房价信息. 首先使用CMD命令行进入F盘创建 ...
基于Python爬虫的股票成交量数据抓取分析系统
目录数据获取 2 1.1. 实验环境搭建 2 1.2. 抓取数据 2 1.2.1. 新浪财经 3 1.2.2. 网易财经 6 1.2.3. 东方财富 12 1.2.4. TuShare (挖地兔) ...

python爬虫（1）-百度新闻首页抓取

python爬虫（1）-百度新闻首页抓取相关推荐

最新文章

热门文章