DolphinScheduler×长安汽车 | 千万级数据接入能力智能网联汽车云平台引进核心调度系统...
点击蓝字 关注我们
用户案例 | 长安汽车
长安汽车智能车云平台，网联车日活达百万级，车联网平台日均接收信号条数达百亿级。面对海量车联网数据分析的挑战，长安汽车建设了一套具备千万级数据接入能力的智能网联汽车云平台。为保证智能汽车数据类业务的开展，长安汽车从初试到深度使用（1.1.0开始投产），选择DolphinScheduler作为数据平台的核心调度系统，实现数据任务的灵活编排、调度，赋能智能汽车产品研发、故障诊断等业务。
01
业务挑战
当今，随着长安汽车向智能低碳出行科技公司的转型，智能网联车数据规模变得越来越庞大。同时，新能源车型的逐步接入为TSP平台的数据接入和分析能力带来了新的挑战。这种变化的显著特征是常规信号采集时间从30秒降至秒级甚至毫秒级，单车数据量也呈现出指数级增长。因此，为了解决这一业务挑战，我们需要采取一系列措施来优化数据采集系统，提高数据处理能力，确保长安汽车能够顺利实现转型目标。
为应对百万级车辆海量车况数据、埋点数据的高效传输、存储、处理，长安汽车软件科技公司经过主流产品选型对比后，长安汽车引入DolphinScheduler作为智能网联业务的核心调度引擎，主要应用场景包括：
混合云架构数据流转：在混合云架构下保证数据稳定流转、数据周期性双向传输；
分析数据统一调度：当前私有云分析集群的离线ETL任务结果，中间数据或结果数据需要定期调度导入MPP分析型数据库；
AI赋能模型预测：管理AI预测模型，构建定时任务工作流，保证从源头数据输入到最后预测结果输出的周期性运行；
数据集成对外同步：配搭数据集成工具实现多源数据集成，构建统一数据平台，定时数据转发，形成数据流转。
02
解决方案
01
混合云数据流转
长安汽车目前采用混合云架构，公有云存储近期热数据，私有云存储全量数据。私有云需周期性拉取公有云热数据，进行增量存储与数据分析。公有云业务集群需定期获取私有云分析数据，提供业务数据支撑。
在混合云架构下，在如何保证数据稳定流转、数据周期性双向传输这一问题上，长安汽车采用DolphinScheduler通过跨集群网关机的方式，管理云上云下两套集群。通过一套Web端的调度实例构建，实现私有云分析集群周期调度从公有云Hbase、Hive、HDFS及时拉取增量热数据，公有云集群针对依赖数据及时获取私有云分析数据。
02
分析数据统一调度
长安汽车目前采用Doris实现BI报表、多维分析等业务场景，主要数据来源为当前私有云分析集群的离线ETL任务结果，中间数据或结果数据需定期调度导入MPP分析型数据库，分析SQL、Py代码统一由Dolphinscheduler资源中心管理，资源文件访问权限划分给不同业务团队，实现分析数据与开发代码统一管理调度。
03
AI赋能模型预测
长安汽车利用Dolphinscheduler管理预测模型，构建定时任务工作流，从集群抽取模型预测所需信号数据，构建数据任务依赖管理，保障预测数据为已预处理数据，到多子模型串联调度预测，再到预测结果整体汇总输出，形成从源头数据输入到最后预测结果输出的周期性运行，赋能车联网智能维保、亏电预测等业务。
04
数据集成对外同步
通过Dolphinscheduler配搭数据集成工具（Seatunnel、Sqoop）实现多源数据集成，构建统一数据平台，对各大事业部同步基础数据、分析数据，监控数据流向，保障数据安全，实现调度平台管理数据定期流入抽取，到对统一外数据同步的数据管理。定时数据转发，形成数据流转。
03
用户收益
混合云架构、私有云与公有云跨集群条件下，实现数据双向传输，支撑数据业务、数据分析、全量数据存储
统一资源文件管理，实现Sql文件、Python代码、预测模型等资源分团队管理
构建了统一数据平台，保障数据流入与转发的安全与和可追溯性
用户简介
长安汽车
所属行业：汽车
长安汽车是中国兵器装备集团有限公司对旗下汽车产业进行整合优化，成立的一家特大型企业集团，是中国四大汽车集团之一，形成了整车、零部件、动力总成、商贸服务四大主业板块，拥有整车制造和零部件供应能力。
<
DolphinScheduler×长安汽车 | 千万级数据接入能力智能网联汽车云平台引进核心调度系统...相关推荐
- 超星未来张剑谈智能网联汽车计算平台：不能只考虑算力
9月14日,由上海市人民政府主办.以"新基建.新智联 .新生态"为主题的2020世界智能网联汽车大会在上海国际汽车会展中心举行.智能驾驶初创公司超星未来受邀参会,CEO张剑在 &q ...
- 智能网联汽车计算平台关键算法综述
摘要 本文以日本无人驾驶开源软件Autoware为参考,汇总分析了无人驾驶所涉及的基本算法,最后给出了在一些典型数据集上测试的效果. 介绍 本文将自动驾驶算法部分分成以下三个部分:场景识别.路径规划及 ...
- 智能网联汽车封闭测试场建设内容简介
一.背景 2021年7月30日,工业和信息化部发布了<关于加强智能网联汽车生产企业及产品准入管理的意见>(下称<意见>).此前,4月7日工业与信息化部发布了<智能网联汽车 ...
- 智能网联汽车信息安全风险分析及实践探讨
智能网联汽车是汽车与信息.通信等产业跨界融合的典型应用,被认为是全球创新热点和未来产业发展制高点.随着汽车智能化.网联化程度的加深,人们实现了对汽车的更多控制,为生活带来了各种便利,但随之而来的远程攻 ...
- 中国智能网联汽车（ICV）行业发展态势及十四五发展前景预测报告2021年版
第1章:中国智能网联汽车行业概念界定及发展环境解析1.1 智能网联汽车行业概述 1.1.1 智能网联汽车的概念界定 1.1.2 智能汽车.智能网联汽车与车联网等的相互关系 1.1.3 智能网联汽车(I ...
- 吉麦新能源与联想签订战略合作协议，共同拥抱智能网联汽车升维时代
11月25日,吉麦新能源汽车与联想战略合作签约仪式成功举行,双方正式建立战略合作伙伴关系.未来,双方将在车联网.云解决方案及服务.IT基础架构产品服务.智慧工厂服务领域开展深入合作,合力推动新能源造车 ...
- AEIA2018 | 中国工程院院士李骏：智能网联汽车的安全和自主创新是当下的关键...
7月4日在广州举办的"2018中国汽车智能计算平台大会"上,中国工程院院士李骏发表了题为"中国智能网联汽车发展战略以及计算平台技术创新"的主体演讲,李骏表示,中 ...
- 面向智能网联汽车边缘网络的分布式端-边协同算法
本文由朱凯男,朱永东,赵志峰,刘云涛,张园联合创作 摘要 车联网高级安全服务中,智能网联车辆配备了摄像头,可以拍摄周围的视频,用于安全.交通监控和监视等目的.车辆将获取的视频上传到边缘计算节点后,可以 ...
- 汽车智能安装仿真测试软件,智能网联汽车仿真测试平台建设.pdf
国家轿车质量监督检验中心 智能网联汽车仿真测试平台建设 目录 1 智能网联汽车仿真测试平台建设的需求 基于仿真工具的智能网联汽车研发测试 2 及认证测试 3 现阶段智能网联汽车仿真测试面临的关键问题 ...
最新文章
- SpringBoot b2b2c 多用户商城系统 ssm b2b2c
- 自定义Android注解Part3:绑定
- WPF DataGridRow Event
- window.event.returnValue=false
- 宝骏530中控屏怎么安装软件_试驾2020款宝骏530：大屏加六座，就这么直接
- 最长上升子序列_动态规划 最长上升子序列LIS
- 无法用php smtp发送邮件. 您的服务器可能没有配置用此方法_补充：Web自动化邮件发送...
- php 建站要学,建站新手如何开始学习php？
- mysql和timescale联合查询_[技术干货] 时序数据库timescaleDB安装
- Swing 显示良好JPanel保存为图片
- indesign排版实例教程，如何更改页面大小？
- 2021年电工杯B题附代码、附论文——光伏建筑一体化板块指数发展趋势分析及预测
- java jsp中文乱码怎么解决_JSP中文乱码问题全解决方案
- ip扫描命令 linux,如何使用Linux扫描网络上的IP地址
- 小程序云开发前端显示云存储的图片
- 表示自己从头开始的句子_表示一切从头开始的唯美句子38条
- 前端程序员拿到新电脑第一天，该做些什么？
- 任天堂服务器维护11.2,switch11.0.0版本更新内容汇总 NS11.0.0更新维护公告
- 批量处理ios破解后的资源文件为android所用
- 进销存：利用SRM满足客户体验与需求