python爬虫（五）爬虫实战

一、爬取新浪新闻网页

url = "https://news.sina.cn/gn?vt=4&pos=3"

1、分析页面内容

1）为了方便使用Chrome浏览器打开该网页。进入网址后，按F12进入开发界面；

2）点击右上角的Network，再点击下方的Doc（因为大部分新闻网址的新闻内容都在这查找）。查看内容是否就是我们需要的

新闻内容；如果存在就进行下一步；

3）点击右下角的Headers，查看请求Request的方法和URL；

4）经过查看发现所有的新闻标题都在一个section标签内，而标签内容则在它的子标签h2中；

5）代码

from bs4 import BeautifulSoup
import requestsheaders = {'user_agent':"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.75 Safari/537.36"}
res = requests.get('https://news.sina.cn/gn/?from=wap',headers=headers)
res.encoding = 'utf-8'
# print(res.text)soup = BeautifulSoup(res.text,'html.parser')
for news in soup.select('section'):if len(news.select('h2')) > 0:h2 = news.select('h2')[0].textprint(h2)

返回结果：

中办国办：统筹推进自然资源资产产权制度改革
中办国办：统筹推进自然资源资产产权制度改革
蔡英文：说好的支持我呢？赖清德称那是4个月前
北京近2次地震都在周日中午？专家：纯属巧合
国家市场监督管理总局启动对爱立信调查
短视频平台试点防沉迷系统: 每天限40分钟 禁打赏
日外相出席中日经济高层对话 两国官方频繁互动
台军要拿方便面“招降”解放军？台网友看笑了
王凯补缺长春市委书记 系中央纪委“老人”(简历)
原反贪局长因“贪”站上被告席 自称“深深惭愧”
坚持参选是有意“卡韩”？王金平:谁卡谁都不知道
四川射洪10月正式公布撤县建市成功？官方回应
山西应县原书记被撤职：对严重统计违法问题失察
上海财大新成立了一个研究院 该校党委书记任院长
王凯任长春市委书记 前任已任新疆政法委书记
中国女排前队长惠若琪当选江苏省青联副主席(图)
韩国瑜诠释“韩流”：台湾民心思变 须回归民本
王凯任长春书记 此前任吉林省委组织部长(简历)
央行副行长：中国股市正显示出触底和复苏迹象
怀柔发生北京23年来最大地震 专家初判：正常起伏
新晋辽宁省委常委于天敏职务明确
厅级干部跨省提拔:75后谢元任天津东丽区委副书记
俄专家：欧盟“注定接受”中国建议
研究称两成中国人死于吃错饭？专家：夸大其词了
辽宁452名法官检察官因不适应一线办案等退出员额
八一飞行表演队大秀“歼十之吻”(图)
北京飞絮今年怎么治?28.4万杨柳雌株“被盯上了”
北京地铁1号线苹果园站附近道路塌陷  已在抢修
北京10天内2次地震 专家:均天然地震 二者无关联
蔡英文：攻击我的都是赖清德熟悉的人 请他多节制
北京怀柔发生3.0级地震 市区多地居民有震感

python爬虫（五）爬虫实战相关推荐

python爬虫案例-Python3爬虫三大案例实战分享
课程名称: [温馨提示:1. 你可以在PC端浏览器或者微信收藏该页面,以方便你快速找到这个课程:2. 课程相关资料可在课程PC端公告查看下载:3.加入课程后,点(课时)列表即可观看视频 ] 课程须知: ...
网易微专业python数据分析统计服_40套大数据云计算高级实战精品，数据分析，数据仓库，数据爬虫，项目实战，用户画像， ......
40套大数据云计算高级实战精品,数据分析,数据仓库,数据爬虫,项目实战,用户画像,日志分析,Hadoop,Flink,Spark,Kafka,Storm,Docker,ElaticStack等视频教程 ...
Python爬虫初探（九）——爬虫之Beautifulsoup4实战（爬取豆瓣信息）
前面两章咱们介绍了Beautifuisoup4模块的简单使用,今天就用它来爬取豆瓣信息.话不多说,咱们开始吧. 一.拿到url地址二.获取豆瓣数据三.保存文件需求: 爬取标题.评分.详情页的地址 ...
python爬虫项目实战教学视频_('[Python爬虫]---Python爬虫进阶项目实战视频',)
爬虫]---Python 爬虫进阶项目实战 1- Python3+Pip环境配置 2- MongoDB环境配置 3- Redis环境配置 4- 4-MySQL的安装 5- 5-Python多版本共存配 ...
Python3网络爬虫快速入门实战解析（一小时入门 Python 3 网络爬虫）
Python3网络爬虫快速入门实战解析(一小时入门 Python 3 网络爬虫) https://blog.csdn.net/u012662731/article/details/78537432 出 ...
python 爬虫系统_实战干货：从零快速搭建自己的爬虫系统
近期由于工作原因,需要一些数据来辅助业务决策,又无法通过外部合作获取,所以使用到了爬虫抓取相关的数据后,进行分析统计.在这个过程中,也看到很多同学爬虫相关的文章,对基础知识和所用到的技术分析得很到位, ...
Python之父推荐！《Python 3网络爬虫开发实战》第二版！文末送签名版！
很多读者会让我写爬虫方面的书籍,我也一直没写,没写的原因主要有两个,第一个就是在爬虫方面我其实不是很擅长,第二个原因就是因为在爬虫领域庆才已经做的足够好了,我写不一定能写出庆才这水平的,所以也就一直没 ...
知乎python练手的_Python—爬虫之初级实战项目：爬取知乎任一作者的文章练手
爬虫之初级实战项目:爬取知乎任一作者的文章练手在正式上代码之前,先过一遍之前所学知识的框架内容,温故而知新!!! 接下来我们直接上代码,一定要手敲代码.手敲代码.手敲代码!!! import req ...
python docker自动化_「docker实战篇」python的docker爬虫技术-移动自动化控制工具appium工具（17）...
原创文章,欢迎转载.转载请注明:转载自 IT人故事会,谢谢! 原文链接地址: 「docker实战篇」python的docker爬虫技术-移动自动化控制工具appium工具(17) Appium是一个开 ...
Python教程：网络爬虫快速入门实战解析
建议: 请在电脑的陪同下,阅读本文.本文以实战为主,阅读过程如稍有不适,还望多加练习. 网络爬虫简介网络爬虫,也叫网络蜘蛛(Web Spider).它根据网页地址(URL)爬取网页内容,而网页地址( ...

python爬虫（五）爬虫实战

python爬虫（五）爬虫实战相关推荐

最新文章

热门文章