Python爬虫和数据分析,石油原油加工产品产量数据处理分析
前些天发现了一个巨牛的人工智能学习电子书,通俗易懂,风趣幽默,无广告,忍不住分享一下给大家。(点击跳转人工智能学习资料)
微信公众号:创享日记
发送:原油分析
获取完整无水印报告+Python源程序代码
本程序分析了自2014年到2020年每年我国原油加工的产量,并且分析了2019年全国各省份原油加工量。
运行本程序需要requests、bs4、csv、pandas、matplotlib、pyecharts库的支持,如果缺少某库请自行安装后再运行。其中pyecharts库需要按照这个网站的去安装:Python的pyecharts安装 - 派大星微微一笑 - 博客园 (cnblogs.com)
输出结果是好几张图片(请使用支持显示图片的编辑器运行,例如anaconda3里面的spyder编辑器),2个excel表,4个csv文件以及一个名字为render的html文件(需要用浏览器打开),直观的数据处理部分是图片以及html文件,数据处理的是excel文件,这两个可以直接在报告中使用,详见课程报告(文件默认生成在与python文件同一目录下)。
一、任务描述
石油是工业的命脉。
一直到2020年,我国原油产量基本处于平稳的状态,大部分原油来自国外进口;中国原油加工产量在华东、东北地区占比较大,华南地区相对较少。原油的加工企业对原油的加工有很大的影响,中国石油营业收入及净利润也十分可观。
本课题的目标是用python编程,抓取有关网站的数据,并将获取数据保存到csv文件和excel文件中,然后使用python对数据进行清洗及处理,利用python可视化,结合数据处理与分析,获得数据的统计分析结果。
二、数据获取与清洗
1、数据描述
数据来源:2020年中国原油加工产业现状分析、2019年中国原油加工量产量及格局分析(当前网络上暂无2020年数据,故爬取了2019年数据)
数据获取:2014-2020年中国原油产量统计、中国各地区原油加工比例。
2、使用工具
python是一种功能丰富的语言,它拥有一个强大的基本类库和数量众多的第三方扩展。本次报告,使用到的库有:
1)requests库
2)BeautifulSoup4库
3)csv库
4)pandas库
3、数据获取步骤
第一步:从网页上获取HTML内容。
第二步:分析网页内容并提取有用数据
第三步:将获得的数据写入Excel文件。
4、程序代码
- 获取数据代码如下
文件夹名称:报告
文件名称: 石油加工产品产量分析
- 将获得各省原油加工产量以及各种油产量放入csv文件中,使用的函数代码如下:
5 数据清洗后保存到Excel和csv文件,使用的函数、Excel文件截图,存储位置如图4、5、6、7所示:
三、数据处理和分析
1、数据可视化工具
python是一种功能丰富的语言,它拥有一个强大的基本类库和数量众多的第三方扩展。报告中使用Matplotlib库以及pyecharts库的Map库实现了数据可视化。
2、先用python 对2014-2020年各种油产量以及2019年各省油产量数据进行可视化处理,所用的函数代码以及柱状图如图8、9所示。
3、统计各种加工油产量以及各省市油产量数据,可视化后,画出折线图、饼状图如图10所示使用的代码如图11所示:
注明:代码详见下载的源码文件
4、特别地,我们安装pyecharts库将2019年各省油的产量在整个中国地图中呈现出来,观看时只需要将鼠标移到对应的省份,这样观看更加直观和方便。结果如图12所示:(代码详见下载的源码文件)
四、关键问题及对策(详见下载的报告)
五、数据处理与分析结果分析
综合以上分析,自2014-2020年各种油产量数据可以看出:
(1)各种加工油产量中柴油稳居第一,润滑基础油产量最低,表明我国在柴油方面需求较大,汽油相对较少,润滑基础油需求不高。
(2)七种加工油产量中柴油产量在2014年到2017年发展平稳,从2017年到2020年逐年下降;石脑油、润滑基础油、石油沥青的产量逐年上升;汽油在2014到2019年产量逐年上升,但在2020年突然下降,可能受到了疫情的影响;燃料油近些年来产量上下浮动较大,但在2018年到2020年产量一直上升,推测下一年产量还会上升;总体来看,未来除柴油和汽油外,其他油下一年产量可能还会升高,柴油和汽油在经历疫情影响后可能会积极恢复,再次实现增长。
(3)2019年中国原油加工产量65198.1万吨,其中:位于第一的是山东省,原油加工量产量11342.2万吨;第二的是辽宁省,原油加工量产量8186.5万吨;广东省进入第三,原油加工量产量4665.6万吨;其中值得注意的是在其他地区加工的原油占大多数,产量达到10574.8万吨,这些产量有可能来自暂无数据的山西、重庆、贵州、台湾,还有可能是从国外进口的成品油。
(4)最近一年,2020年中国原油加工产量为67440.8万吨,同比增长3.4%,表明虽然我国经历了新冠疫情的影响,但是我国在疫情得到控制后积极恢复,原油加工产量不降反增,原油加工产业受到疫情影响不大。
(5)原油加工产品中,2020年中国石脑油产量为4232万吨,同比增长8.6%;中国润滑基础油产量为875万吨,同比增长14.3%;中国柴油产量为15904.9万吨,同比下降4.4%;中国煤油产量为4049.4万吨,同比下降23.2%;中国汽油产量为13171.7万吨,同比下降6.7%;中国燃料油产量为3406.3万吨,同比增长37.9%;中国石油沥青产量为6279.6万吨,同比增长24.6%;总体来看我国原油加工产业正不断发展。
六、程序代码(详见下载的报告或源文件)
Python爬虫和数据分析,石油原油加工产品产量数据处理分析相关推荐
- Python爬虫与数据分析
Python爬虫与数据分析 目的 爬取网易云音乐歌曲热评,分析热评特征. 思路 (1)爬取华语歌单中所有歌单url (2)从每篇歌单地址中爬取每首歌的url (3)从每首歌的首页爬取热评 代码 (1) ...
- 【爬虫+数据可视化毕业设计:英雄联盟数据爬取及可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩】
[爬虫+数据可视化毕业设计:英雄联盟数据爬取及可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩] https://b23.tv/TIoy6hj
- Python 爬虫和数据分析实战
课程介绍 本课程以一个小项目带你快速上手 Python 爬虫和数据分析,主要分 3 部分: 第 1 部分是 Python 爬虫,主要使用 Urllib 3 和 BeautifulSoup 抓取天猫商城 ...
- 毕业设计 python爬虫基础+数据分析
学习目标: 完成内容:python爬虫基础+数据分析(3.23-4.10) 6天学会数据可视化内容 4月10号完成毕设论文 [如果没有被免毕业设计的话] 学习内容: 软件安装 安装python3.10 ...
- 【【数据可视化毕业设计:差旅数据可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩】-哔哩哔哩】 https://b23.tv/iTt30QG
[[数据可视化毕业设计:差旅数据可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩]-哔哩哔哩] https://b23.tv/iTt30QG ht ...
- Python爬虫、数据分析、可视化学习笔记(一、梦开始的地方)
系列文章持续更新中...... 文章目录 一.工具及环境配置 1.Python3.8(官网下载) 2.Pycharm(官网下载) 3.Anaconda(官网下载) 4.环境配置(传送门,感谢前人栽树) ...
- python进行探索性数据分析EDA(Exploratory Data Analysis)分析
python进行探索性数据分析EDA(Exploratory Data Analysis)分析 show holy respect to python community, for there ded ...
- 全网最全python爬虫+数据分析资源整理
4.29(第二天) 开篇词 你为什么需要数据分析能力? 第一模块:数据分析基础篇 (16讲) 01丨数据分析全景图及修炼指南 02丨学习数据挖掘的最佳路径是什么? 03丨Python基础语法:开始你的 ...
- python爬虫和数据分析电脑推荐_大数据分析必备的5款Python爬虫库
在数据科学或人工智能领域,除了算法之外,最重要的应该是数据了.甚至可以说一个模型到最后决定其准确度的往往不是算法而是数据.在现实中,缺少足够的数据成了数据分析师获得优秀模型的主要阻碍.可喜的是,现在网 ...
最新文章
- sqlserver的事务回滚和设置事务保存点操作
- 如何在Windows下编译OpenSSL?
- 装饰者模式和适配器模式对比
- hibernate学习内容
- WPF TextBox控件中文字实现垂直居中
- Python学习(十)Python 函数
- 450g带盖吐司配方_【配方分享】预祝冬安 明石克彦老师的提子吐司
- 哈理工oj1003 Tiles of Tetris, NOT!
- 蓝桥杯单片机电路图讲解-74HC138-74HC02和74HC573的联合使用讲解
- cairo填充_Cairo学习笔记
- 英语口语100之每日十句口语
- 找不到实时聊天软件?给你推荐电商企业都在用的!
- 使用NetBeans进行J2ME开发(五):揭开游戏开发的神秘面纱
- 龙芯2h芯片不能进入pmon_2HSOCReleaseNotes - 龙芯开源社区
- android手机传感器总结
- ipc4 - A 转换AV号(avtobv)
- n皇后问题-回溯法求解
- 8086逻辑移位指令SHL和SHR
- LTE数据速率低的原因及优化方法
- 西藏加牙村织毯艺人被俗称为“栽毛匠”/地毯品牌
热门文章
- 【电商】电商后台设计—优惠券
- python安装requirements.txt文件
- python分类的英文翻译_分类的英文翻译是什么?
- 2018华工计算机考研分数,华南理工大学2018考研复试分数线
- 定投基金真的能赚钱吗?给你看真实定投收益率
- 为什么要租服务器?自己买个放家里不行吗?
- python自动下载阿里云数据库数据_脚本自动下载阿里云每日备份数据库镜像
- IT行业真正的「高富帅」,据说这是年薪百万最多的一拨人 ....
- IPC连接错误号分析
- 无法超越的100米_百兆以太网传输距离_网线有哪几种?