安徽省大数据与人工智能竞赛经验分享-3【从赛题中分析比赛需要的技能】
- 写在前面
本模块内容为我们团队一位优秀的童鞋总结的，分享给各位参加比赛的同学们，如果有感兴趣的同学或者友友，可以微信搜索BI and BME理解更多内容。
比赛中需要哪些技能，“大数据”这么高大上的比赛，到底怎么破解呢？这次的分享我从赛题的角度来分析比赛所需的技能。我将根据赛题将需要的技能逐渐剖析，便于后面大家更好的准备，有针对的训练。
我选择的赛题是“2019年安徽省大数据与人工智能竞赛”网络赛（本科组）的试题。
第一部分：大数据平台部署
根据上面的赛题，我们可以发现，环境的搭建的方法就是【输入Linux命令】，解压安装包，修改配置文件......。因此这一部分对编程没有要求，只要对Linux常用命令有一些了解即可。
第二部分：大数据预处理部分
根据上面的赛题，我们发现一个新的算法“MapReduce",这是一个基于”Java语言“的算法。算法原理我们需要稍作了解，然后对代码进行一定的摸索即可。因此这一部分需要对Java语言的特性有一定的熟悉。
第三部分：大数据分析
依旧是“MapReduce”的应用。也是需要对Java语言的特性有一定的熟悉。
Hive数据仓库的使用。我们可以看到一个熟悉的名词“SQL”。这一部分原理就是SQL语言的应用。运用SQL进行增删改查。因此，这一部分对SQL语言有一定的要求。
第四部分：可视化
Python进行可视化，利用Python进行读取表格绘图，这一部分掌握基本的模式匹配规则以及画图函数即可。因此，此部分对Python语言要有一定的要求。
第五部分 人工智能
虽说是人工智能也还是一些基本的搭建，虽说是Python平台，但是对语言要求也不高。这一部分可以由前面搭建环境的同学完成。
第六部分：综合题
综合题部分也是每年所有队伍的头疼问题。这里涉及到一个语言“Scala”。实现Spark技术关键就是“Scala",因此我们要学习这个语言，然后根据代码不断摸索做题。Scala语言结构与Java类似，需要写类，方法，实现运用又与Python类似，结构松散。因此，可以根据队员间的工作量分配来学习此部分内容。
以上内容就是赛题的基本结构和内容，大家阅读后对比赛内容有了个基本的了解，后面我会推送我推荐的人员分工，以及对内容做进一步总结。
安徽省大数据与人工智能竞赛经验分享-3【从赛题中分析比赛需要的技能】相关推荐
- 安徽省大数据与人工智能竞赛经验分享-1【以2020竞赛规程为例】
写在前面 本模块内容为我们团队一位优秀的童鞋总结的,分享给各位参加比赛的同学们,如果有感兴趣的同学或者友友,可以微信搜索BI and BME理解更多内容. 一.竞赛内容 1.竞赛分组 ...
- 安徽省大数据与人工智能竞赛经验分享-4【从赛题角度看人员分工】
写在前面 本模块内容为我们团队一位优秀的童鞋总结的,分享给各位参加比赛的同学们,如果有感兴趣的同学或者友友,可以微信搜索BI and BME理解更多内容. 上一期我从赛题的角度分析了比赛需要的技能,那 ...
- 2021年安徽省大数据与人工智能竞赛人工智能网络赛赛2和3题
第二题:(与现场赛一样) 按照要求对给定csv格式数据进行处理. task2.csv文件为本题的数据文件.利用Python编写代码完成以下任务: (1)分别求取Max TemperatureF和Min ...
- 2021年安徽省大数据与人工智能竞赛人工智能现场赛2和3题
第二题: 按照要求对给定txt格式数据进行处理. task2.txt文件为本题的数据文件,第一行为特征的名称,从第二行开始为对应的特征数值(特征之间以空格隔开).利用Python编写代码完成以下任务: ...
- 2021年安徽省大数据与人工智能应用竞赛大数据（网络赛）-高职组赛题第三部分可视化
第三部分:可视化(30分) 这是一份用户消费行为数据,用来分析用户消费情况及品牌情况,可视化消费变化趋势. 数据中中文字符为UTF-8编码,字段分隔符为 @@ 列名 说明 montha 购买月份 us ...
- 2021年安徽省大数据与人工智能应用竞赛人工智能(网络赛)-本科组赛题
第一部分:人工智能基础环境搭建部署(15分) 注:任务1与任务2任选一题完成即可. o 任务1:Anaconda 3.scikit-learn.OpenCV 3.X.PyTorch 1.8.X.tor ...
- 2019年安徽省大数据与人工智能应用赛总结---本科组
前言 2019年安徽省大数据与人工智能决赛于10月13日在安徽省职业经济管理学院举办.现场赛共计90支队伍,经过4个小时的激烈追逐,我们组获得了22名的不错成绩,荣获省级二等奖 .严格意义上说,这是我 ...
- 2019 年全国职业院校技能大赛GZ-2019032 大数据技术与应用（高职组）赛题库
2019 年全国职业院校技能大赛GZ-2019032 大数据技术与应用(高职组)赛题库 目录 任务一:Hadoop 平台及组件的部署管理 一. Hadoop 全分布部署 二. Hadoop 伪分布部署 ...
- python零基础入门大数据_【资源分享】零基础入门大数据（数据分析）经验分享...
声明: 开头还是要先申明一下的,博主纯粹是爱好,在业余时间学习相关的知识.希望能给博主一样情况的入门同学提供一个比较短的学习路径,提高学习效率.博主看过很多个学习的视频和数据,发现很多内容都是重复的, ...
最新文章
- max_semi_space_size 设置值与实际值不一致的原因分析
- 乐观锁和悲观锁，可重入锁和不可重入锁（1）
- 【数字信号处理】相关函数 ( 自相关函数示例 )
- Kotlin代码检查在美团的探索与实践
- antd option宽度自适应_建议收藏：Axure手机自适应教程
- 被全球 iPhone 用户讨伐 49 天后，苹果终于为 iOS 带来手动关闭降频功能！
- 网络GHOST使用方法
- DisSent: Learning Sentence Representations from Explicit Discourse Relations
- 重磅！中国科协发布2020重大科学问题和工程技术难题
- verilog 之数字电路 边沿检测电路
- Boni Satani谈迁移遗留系统的5个原因
- tp6 导入excel表格
- GDB X命令详解
- 菩提千年，你是我红尘中最美的缘
- cls love even fib!（打表，找规律）
- C++【STL】【string类的使用】
- pmp复习资料链接-2021.06.20考试（中培）
- 怎么样用阿里云RDS数据库
- PHP操作redis详细讲解（转）
- 基于DDD的现代ASP.NET开发框架--ABP系列之2、ABP入门教程