2020年华为软件精英挑战赛总结

成绩：

初赛成渝赛区排名第9 (共1034支队伍)
复赛成渝赛区排名第3 (共32支队伍)，进入决赛
项目背景：通过金融风控的资金流水分析，可有效识别循环转账，辅助公安挖掘洗钱组织，帮助银行预防信用卡诈骗。基于给定的资金流水，检测并输出指定约束条件的所有循环转账。要求结果准确，用时最短。

2020年华为软件精英挑战赛面试

主要学习弄懂三个知识点：dijkstra(基本算法流程与优化方法)，计算bc算法(基本算法流程)，代码优化技巧(记几个，加上原理)

向面试官介绍自己的比赛，四个方面来说：
比赛背景： 基于给定的资金流水，检测并输出指定约束条件的所有循环转账，可有效识别循环转账，帮助银行预防信用卡诈骗。要求结果准确，用时最短。分为初赛，复赛，决赛三个阶段，题目各不相同；
比赛负责内容： 主要负责三方面工作，第一负责解题算法研究，包括Dijkstra算法研究，位置关键中心性算法研究；第二参与代码优化，包括使用一些c++代码优化加速技巧；第三参与数据测试与分析工作，包括分析数据特点与服务器测试代码得分；
比赛成果： 初赛成渝赛区排名第9 (共1034支队伍)；复赛成渝赛区排名第3 (共32支队伍)；决赛全国总排名第9；

初赛

流程：读图预处理(去除特殊节点)->储存图(前向星)->dfs找环(正向3+反向4，bfs与dfs区别)->输出

优化：
1.使用局部变量，减少使用全局变量；
2.使用数组代替vector；
3.保持结构体字节对齐
4.将id和边尽可能的连续，提高cache的命中率
5.更改数据类型，减少计算时间
针对数据特点优化：
转账金额较小的这一点，可以使用动态的数据类型，如自动切换的uint_64,uint_32,uint_16（提升100+）
第一组：菊花图（无标度网络），存在大量入度为0，出度为1的结点
第二组：随机图，90%以上的点只有一个前驱，边权为100以内的正态分布，均匀度为20左右，且分布均匀，因此搜索四次邻接表即可完成全图搜索对任意一点，所有点均会入堆至少一次
第三组：第一组+第二组综合

决赛

流程：读图预处理->储存图->dijkstra计算最短路+优先队列->计算位置关键中心性->输出
基本思想：以每个点出发做dijstra，求出到个点的单源最短路径，并且按拓扑序反向递推计算中心性bc

优化：
1.使用局部变量，减少使用全局变量；
2.使用数组代替vector；
3.保持结构体的定义保持字节对齐
4.将id和边尽可能的连续，提高cache的命中率
5.更改数据类型，减少计算时间

一、初赛

前向星资料1，前向星资料2

（1）题目

输入：给定一个有向图，求出图中所有长度在[3,7]之间的环。
格式为[IDU,IDV,Weight]的边表，ID为32位无符号整数（当然题目说明了，小于2^31，所以int32就好），边最多28W条，不重复，结点平均度数小于10。环中同一个ID不可以重复出现（若大环包括小环，则需要分开统计），环的个数不大于300W。

输出：环的个数，按照1.环长度；2.环的数字字典序输出所有环。

步骤：

将输入资金流读取，获取id，排序并去除重复的；
使用DFS深度优先遍历算法找出所有环

总结：：有向图找环，确立解题步骤：读文件->建图->dfs找环->结果输出到文件。

（2）优化小技巧

分为三个方面：
数据结构，多线程优化，其他优化

改变图的存储结构，使用二维数组储存邻接表结构的图，提高访问速度（尽量减少STL容器的使用）
加入剪枝，如果一个点的入度与出度为0，直接跳过
不要预先给各个线程分配任务，这样可能导致任务分配不均匀。使用动态分配策略：维护一个队列，如果一个线程完成了一个任务，那么就去队列里去取下一个任务。
排除深度在小于3或者大于7的、每次访问的结点ID都应该大于起点的ID

（3）知识点

深度优先遍历
深度优先搜索算法（Depth First Search，简称DFS）：一种用于遍历或搜索树或图的算法。沿着树的深度遍历树的节点，尽可能深的搜索树的分支。当节点v的所在边都己被探寻过或者在搜寻时结点不满足条件，搜索将回溯到发现节点v的那条边的起始节点。整个进程反复进行直到所有节点都被访问为止。

深度优先遍历与广度优先遍历的区别与联系
深度优先遍历与广度优先遍历的理解

深度优先遍历的时候维护一个当前栈，如果遇到点在当前栈内，那么就碰到了一个环，从栈里面取出这个环即可。

二、复赛

要求：
转账记录 28W -> 200W
环个数 2914186 -> 2000W
转账金额比例约束：如[A,B,X]，[B,C,Y]，要满足0.2 <= Y/X <= 3
ID为32位的无符号整数，转账金额为32位的正整数，且都小于2的31次方，选手可以不用考虑范围之外的输入。（转账金额不为0的意思，但所有数据依然为int32范围）

相较于初赛，转账记录从300w条扩充至2000w，同时限制转账前后路径的金额浮动为：0.2-3；输入金额从uint32变为浮点数（小数点后最多两位），环路从3-7改为3-8

三、决赛

（1）题目

输入：
输入为包含资金流水的文本文件，每一行代表一次资金交易记录，包含本端账号ID, 对端账号ID, 转账金额，用逗号隔开；四点要求：
 本端账号ID和对端账号ID为一个32位的无符号整数
 转账金额为一个32位的无符号整数
 转账记录最多为250万条
 账号A给账号B最多转账一次

输出：
输出信息为一个文件，包含TOP 100的账户信息:
从第一行开始，每一行的信息为账户ID和位置关键中心性（四舍五入，有效位数保留小数点后3位），用逗号分开。总体按照位置关键中心性的降序输出(先比较位置关键中心性再精确到小数点后3位)；如果位置关键中心性相同，则按照账户ID字典序（ID转为无符号整数后）升序输出。请注意：位置关键中心性为0，且能排到TOP100时，也需要输出。

总结题意就是：计算每个id的位置关键中心性并输出top100/计算有向图中每个点的中介中心性，取top100输出

（2）优化技巧

dijkstra+数组–>dijkstra+优先队列–>dijkstra+斐波那契堆
dijkstra+堆优先队列里面只存储不重复的dist，重复的dist被放到一个vector中
面向数据优化+int/short，更改数据类型，减少计算时间
将id和边尽可能的连续，提高cache的命中率，参考资料
共享变量结构定义为Cache line对齐
减少使用全局变量，增强数据访问的局部性
指令级并行(去除指令间的依赖关系),
向量化井行,循环并行化(串行循环转化为并行循环)
循环展开，流水线
计算量大的时候，进行分片，将计算量限定在cache容量以内，降低cache miss以提升计算性能
尽量保持结构体的定义保持字节对齐,有利于在编译器优化后运行时性能最佳,避免内存不对齐。

（3）知识点

每一个点dijkstra算法，求最短路，单源最短路径

DFS与BFS（深度优先遍历与广度优先遍历）

介数中心性

介数中心性，参考资料1，参考资料2
参考资料3
介数中心性betweenness反映了节点v作为“桥梁”的重要程度。
资料4

计算图中节点的介数中心性分为两种情况：有权图上的介数中心性和无权图上的介数中心性。两者的区别在于求最短路径时使用的方法不同，对于无权图采用BFS（宽度优先遍历）求最短路径，对于有权图采用Dijkstra算法求最短路径。
简单介绍下BFS为什么可以做。我们知道BFS遍历节点的顺序恰好是按照距离节点ss的距离升序排列的，而节点uu是vv的前驱节点必然要求d(s,u)<d(s,v)d(s,u)<d(s,v),因此按照BFS遍历顺序，到达节点vv时，其前驱节点uu的σsuσsu必然已经计算好了。

最短路

//Dijkstra 伪代码
Dijkstra(G,d[],s)
{初始化；for(循环n次){u=使d[u]最小的还未被访问过的顶点的标号；记u已被访问；for(从u出发能到达的所有顶点v){if(v未被访问&&以u为中介点使s到顶点v的最短距离最优){优化d[v];}}}
}

最短路算法，Dijkstra算法（及其改进：BF算法，SPFA算法），Floyd算法
Dijkstra算法优化1
Dijkstra算法优化2
Dijkstra算法及其堆优化3
Dijkstra算法及其堆优化4
Dijkstra算法及其堆优化+最短路计数

堆优化的主要思想就是使用一个优先队列（就是每次弹出的元素一定是整个队列中最小的元素）来代替最近距离的查找，用邻接表代替邻接矩阵，这样可以大幅度节约时间开销。

Dijkstra算法本质上是一种贪心算法，1959年，Edsger Dijkstra提出了该算法用于解决单源最短路径问题，即在给定每条边的长度l，求取源节点s到其它所有节点的最短路径。Dijkstra算法维护一个节点集合S，S中的节点到源点的最短距离d已经确定了，即“Explored”。普通的Dijkstra算法复杂度为n平方，当数据量稍大时就会超时，所以诞生了时间复杂度为nlogn的优先队列优化的Dijkstra算法。
原来版本有大量时间浪费在通过邻接矩阵找边和搜索当前最短路径中，而优化后的算法中，用结构体Edge存储边信息，省却了找有效边的麻烦。而且采用优先队列，可以快速找到最短路径，又省却一部分时间，所以在时间上具有极强的优越性。

原文链接：https://blog.csdn.net/Maybemust/article/details/77417270

该算法的基本思想是：

（1）设置两个顶点的集合S和T＝V－S，集合S中存放已找到最短路径的顶点，集合T存放当前还未找到最短路径的顶点；

（2）初始状态时，集合S中只包含源点v0；

（3）从集合T中选取到某个顶点vi（要求vi到v0的路径长度最小）加入到S中；

（4）S中每加入一个顶点vi，都要修改顶点v0到T中剩余顶点的最短路径长度值，它们的值为原来值与新值的较小者，新值是vi的最短路径长度加上vi到该顶点的路径长度；

（5）不断重复（3）和（4），直到S包含全部顶点。

优先队列

优先队列基础
优先队列优化dijkstra
优先队列优化dijkstra

斐波那契堆

斐波那契堆(一)之图文解析和 C语言的实现

（4）算法流程

存图

将数据读取进来->根据任务数量和线程数分块->合并读取到的所有数据并排序计算节点的数量->将图里面所有的边的原始id全部映射为新的有序id->计算每一个节点在图中存放的位置，并统计节点的出入度->统计有哪些特殊节点（入度为0，初度为1），这样的点后面不需要去计算位置中心性

dijkstra+优先队列+数组+vector 找最短路径

寻找以begin为起点到其它所有点的最短路径->维护一个优先队列和数组，原因：在Dijkstra算法中，要循环num_node-1次，每一次都要找出dis数组最小的节点，然后表明该节点已经找到了最优路径，那么再以这个节点为中间转折节点，然后去更新还没有找到最优路径的节点，这样的话，我们每次进入一个循环，就要寻找dis最小的位置（1~n），因为每次都取的为dis中最小的数值，所以将寻找最短路径和节点信息的步骤用优先队列来实现，数据类型为map(id,value)，（节点，路径），这样经历一次dijkstra后，会得到每一个节点到其他节点的最短路径以及能到达的节点个数

计算位置中心性

根据dijkstra结果更新每一个节点的centrality的值（用公式），最后汇总每个节点的centrality

排序

排序centrality 输出前100

项目二：2020年华为软件精英挑战赛相关推荐

2020华为软件精英挑战赛——总结
2020华为软件精英挑战赛 github:https://github.com/jadyntao/HuaWei_CodeCraft_2020 队伍:助教小分队(粤港澳赛区) 初赛:0.2102(赛区第 ...
2020华为软件精英挑战赛总结
2020华为软件精英挑战赛总结 00 赛题描述 01 整体思路 02 数据读取以及正反向图构建 03 多线程找环运动 031 反向DFS 3层构建P3 032 正向DFS 4层找环 04 结果输出 0 ...
2017华为软件精英挑战赛参赛过程回顾与心得
参赛队名:武长区枪林弹雨 2017年4月26日,一波三折的复赛终于结束了,我们队最终没能进入决赛.虽然在意料之中,不过还是有些小失望.已经为这个比赛忙了一个月,突然之间不知道干什么好了,干脆写一写自 ...
【2023华为软件精英挑战赛暨HCSD校园沙龙】首场告捷！
摘要:近日,[2023华为软件精英挑战赛暨HCSD校园沙龙]活动在杭州电子科技大学首场告捷. 近日,[2023华为软件精英挑战赛暨HCSD校园沙龙]活动在杭州电子科技大学首场告捷.本次活动由华为技术有 ...
2023华为软件精英挑战赛，探寻软件人才与科技创新的最优解
作者 | 曾响铃文 | 响铃说今天,软件行业正呈现出江河入海一般的大汇流趋势. 一方面是技术的汇流,诸如人工智能等前沿技术与软件行业的深度融合,正全面颠覆软件产品的开发模式和服务逻辑. 另一方面则 ...
2016华为软件精英挑战赛：赛题及其答疑汇总
注:本文文字均摘自官方指定网站和论坛,权威且可信,答疑见中间部分,非常全,众玩家可放心阅读. 同时文末给出了包括自己在内的诸多玩家的解法. 前言赛题源自"未来网络"业务发放中的路 ...
2021华为软件精英挑战赛，思路框架，欢迎留言讨论
2021华为软件精英挑战赛,思路框架. 1.对数据初始化封装服务器用集合来进行封装,集合由字符串和数组组成键值对 {"服务器型号":[cpu内核,内存,硬件价格,能耗]} 例如 ...
2017华为软件精英挑战赛小结
// 2017华为软件精英挑战赛小结 // 不说废话,直接上货!希望对目前的参赛者,或日后学习的人,提供一些参考和思路. #include <赛题说明.pdf> // 见附录文件 ...
2018华为软件精英挑战赛
今天12点,历时一个多月的2018华为软件精英挑战赛训练赛结束了,最后分数215.597(总分300),很遗憾,前64都没能进,不过还算尽力坚持到最后. 3月初,华为软赛开始一周后,看到师兄他们在弄, ...
2021华为软件精英挑战赛总结（复赛第12名）
2021华为软件精英挑战赛 github 地址:https://github.com/DougZheng/Huawei_software 前言无意中看到赛题,觉得很有意思,就匆忙在报名截止前几天上了 ...

项目二：2020年华为软件精英挑战赛

2020年华为软件精英挑战赛总结

2020年华为软件精英挑战赛面试

主要学习弄懂三个知识点：dijkstra(基本算法流程与优化方法)，计算bc算法(基本算法流程)，代码优化技巧(记几个，加上原理)

一、初赛

（1）题目

（2）优化小技巧

（3）知识点

二、复赛

三、决赛

（1）题目

（2）优化技巧

（3）知识点

DFS与BFS（深度优先遍历与广度优先遍历）

介数中心性

最短路

优先队列

斐波那契堆

（4）算法流程

项目二：2020年华为软件精英挑战赛相关推荐

最新文章

热门文章

项目二：2020年华为软件精英挑战赛

2020年华为软件精英挑战赛总结

2020年华为软件精英挑战赛面试

主要学习弄懂三个知识点 ：dijkstra(基本算法流程与优化方法)，计算bc算法(基本算法流程)，代码优化技巧(记几个，加上原理)

一、初赛

（1）题目

（2）优化小技巧

（3）知识点

二、复赛

三、决赛

（1）题目

（2）优化技巧

（3）知识点

DFS与BFS（深度优先遍历与广度优先遍历）

介数中心性

最短路

优先队列

斐波那契堆

（4）算法流程

项目二：2020年华为软件精英挑战赛相关推荐

最新文章

热门文章

主要学习弄懂三个知识点：dijkstra(基本算法流程与优化方法)，计算bc算法(基本算法流程)，代码优化技巧(记几个，加上原理)