今天来打英语流利说的第二天卡，发现自己在很多事情的处理上不够坚定，对自己的容忍程度估计过高，同时也对别人的自私认知不足，虽然我们不能以自己的标准去衡量每一个人，但说实话，活着没几年，所以无论如何不能委屈自己，你的善良要发自内心，同时也要有锋芒、底线并且只给那些真的值得的人。

今天要整理的是无人驾驶，这是一个令人激动的方向，因为我相信，每一个身处AI热潮中的人，都对这种前所未有的体验充满期待，所以废话不说了。

一、课堂回顾

顶级码农——陈竞凯老师

陈竞凯，百度自动驾驶首席架构师；2002年毕业于北京大学计算机系，硕士。这个介绍虽然很简洁，但是一般搞技术的就习惯简洁，过于复杂不是他们的风格，就酱！

分享内容

1、自动驾驶的历史

很多人可能和我一样，知道了解自动驾驶是近几年，因为之前我们可能都还小，注意力全在玩具车上。大概陈老师也意识到这个问题了，所以在课程一开始就梳理了自动驾驶的历史：

1925年，提出遥控汽车的概念。当时使用的是无线电技术，可以远程遥控汽车的方向盘，而且还是真刀真枪开到了纽约街头进行测试；

1939年，通用公司提出智慧城市的概念，提出在这个设想的智慧城市里，使用的是无线遥控的汽车，虽然这个计划失败了，但我们不得不佩服通用公司的远见卓识。可能依托于人工智能，产生这样的设想是合理的并且可行的，但是因为数据、计算能力、算法等各方面的约束，所以我们暂时没有办法达到，但不可否认，这仍然是一个超前的规划。

1969年，麦肯锡提出电脑+汽车概念，越来越接近现在的自动驾驶概念。

1992年，三菱开始做驾驶辅助，但是只控制油门，并不控制刹车。而现阶段的自动驾驶，其实我们的计划也是先从驾驶辅助开始做起，然后慢慢升级，减少人的干预并不断地提高安全性能，达到我们预想的样子。

然后就到了现在这个阶段，自动驾驶被确立下来，并且类似于Uber、特斯拉、百度等，都开始投入了自动驾驶汽车的研究，甚至说，特斯来等公司已经有上线的应用，并获得了更多的数据和反馈，已经开始了更新一轮的迭代。而百度的一些测试和使用点也会慢慢展开。

透过这些历史，我们也可以看到，自动驾驶是一个确定的未来，充满光明和想象。

2、自动驾驶的分级

自动驾驶的部署是一个缓慢的过程，在不同的技术阶段，水平是有区分的。比如，如果按照控制速度、控制方向、是否监看等角度，可以分为以下几个级别：

L0：不控制油门和方向，但是会进行车况的检测，并提供实时预警功能；

L1：从油门或者刹车中选择一个来进行控制，以保持速度；

L2：对油门和刹车进行协同的控制，但是司机的注意力还是要时刻保持，甚至要虚握住方向盘，这个其实感觉有点尴尬，因为对很多人来说，这可能比自己去开车还累。

L3：系统不从头开到尾，相当于在整个行程中可选择一段时间，人完全放松自己的注意力，而车可以自动驾驶，同时它保证足够的反应时间，当遭遇危险时，无论人处于哪怕深睡中的状态，也可以唤醒，或者系统会在一定的时间内判断没有人操作，就自动把车停靠在路边。

L4：在限定的路线区间内（可能会考虑一些比较平坦，交通比较有序的路段），可以放心交给系统进行全自动化的决策和驾驶，相对而言，更加安全，而且免去了人的决策消耗，如果可以达到这种水平，进入市场是相对更加容易的。

L5：不限定地点、场合、条件，随便开

但是我会觉得对于中国市场而言，其实大家对挺多新技术，尤其是这种人命关天的技术，态度相对还是比较保守的。所以或许递进式，慢慢地增加自动驾驶的智能程度，或者是提供多个可供选择的模式，是更利于吸引中国的用户的。因为中国人最大的两个特点，可能也是所有人类的特点，爱贪小便宜、怕死，哈哈哈，我也是这样的人啊。。。

3、自动驾驶的目标

自动驾驶的目标其实很明确，就是从整个交通系统层面，提高整体的安全性和效率，其次陈老师还指出，这项技术或许能帮助车厂卖车？其实对于这个帮助卖车这个层面我有点想不通，但是我可以想到的是，无人驾驶汽车一开始一定是要和一些传统的汽车企业紧密合作，而且达成量产之后也不可能在市场的第一轮卖给个人，而是卖给一些企业，类似于滴滴、政府公交等。

其实在实现这个目标的过程中，也许没有我们想象的乐观，因为中国人多、路线复杂，路上的交通情况也充满凶险，所以在实验测试过程中免不了会出现一些事故，但从长远来看，其实我觉得还是比较有益于人类的。因为人作为一个带有生理、感情的个体，在驾驶的过程中可以影响到其驾驶水平和决策的因素太多了，比如疲劳驾驶、酒驾、闯红灯等，如果换成系统，机器作为一个不具备情感的组件，绝大情况下会严格按照人类设定的指令执行，可以想象，如果路上的每一辆车都按照这样的趋势来驾驶，那么整个交通系统必然就会更加有序且高效。

4、自动驾驶的组成部分

自动驾驶是一个完备工作的系统和流程，它的构成主要分为以下几个部分：

（1）眼睛：驾驶的前提是视觉的感知，只有在充分认知到周边的环境和路况，才能理解系统所处的状态，这是决策的前提，一般地这部分就是一些探测器、摄像头等。

（2）双手+脚：这是系统的执行机构，达到触发、操控以及停止某些动作的过程。

（3）大脑：处理系统。这里讲的具体一点就是人工大脑，是基于机器学习、算法以及一些模型，对于过往数据的学习、当前状态的分析进行的一些决策；

5、基础设施VS车载设备

作为支撑，自动驾驶系统的基础设施可能会表现为车载设备。

（1）传感器方面：路况复杂，易变，所以在传感器选择上，偏向于配置多个传感器进行立体环绕和转拍，现在常用的有雷达、超声波、摄像头、激光雷达、双目摄像头，原则就是要安全，不押宝，多传感协同工作；

声波一般会说使用在慢速道路场景中，但是主流的自动驾驶，大部分采用的是毫米波雷达，它的不足就是其价格比较昂贵。摄像头是比较传统的获取图像的方式，但是它的问题在于，对于光的要求比较高，而且运算上的要求也比较大，所以一般在恶劣天气下，摄像头的图像拍摄质量都比较低，这是肯定不行的。但是毫米波就可以适应这些天气，但是也有可能会因为过度敏感而在检测时出现虚假警报。陈老师认为双目路线是比较保险可行的，但是其主要的难点是如何匹配。

（2）规则系统vs学习系统：人工大脑的训练也很关键，可能要在不断地尝试中，获取到更多数据才能提升效果；但无论是规则系统还是学习系统，都需要结合实际的应用场景进行选择，可能未来不只是一个独立的规则系统或是学习系统，而是二者的搭配、组合；

（3）分布计算、集中计算及混合式：采用哪种计算方式也没有定论，而且也会受到计算硬件以及成本等因素的制约，因为AI的计算是很耗费成本的，而如果采用分布计算的话，可能节点间的通信会形成问题，造成延时的风险；但是如果采用集中计算，可能又会存在量过大、传输距离等问题，所以未来的趋势也应该是混合式；

（4）分层系统 vs端到端：采用分层系统的话，从上到下分别是感知、道路决策和控制，这种递进式的操作，可以更明了决策的进程，但如果采用端到端的话，可能就是一输入一输出，所以系统会变得相对不可控和不可解释，所以还是偏向于选择分层系统会更加符合实际地技术环境和系统需求；

（5）Tesla路线vs WayMo路线：Tesla和WayMo是自动驾驶领域比较优秀的两家公司，他们已经具备了一些训练数据量级上的优势，所以显然也更权威，Tesla更专注于L3的研究，就是留给人足够的反应时间，而WayMo则是一开始就展开L4级别的研究，直接进行全自动的驾驶。

此外，在一些细节上，陈老师也提及：

（1）整个驾驶的过程中，就视觉处理的部分，其实每一次系统检测到图像之后，需要通过建模把图像还原成3D，因为这样系统才能更加准确地预测图像中的物体与车的距离，所以其实可以看出，单单是图像处理这一个维度，要求就很高。

（2）驾驶的Label 数据：其实对于自动驾驶大脑层而言，高质量Label训练数据是一座宝藏，然而也因为其特殊性，要获取其实还不容易，目前看来主要有两种方式，第一个是真正地试行，只要车一开，就会获取到相应的数据。第二个，还有的人针对这个问题，开创了一种虚拟运行环境，就是可以在该环境下驾驶，也会生成相应的标记数据。但老实说，依赖于这种虚拟环境驾驶获得的数据，其置信度值得考虑。

（3）基于训练数据获取的困难度，未来弱监督和无监督会发挥更大的作用。

听到这里，我对于自己研究的弱监督语义分割方向也多了一层敬畏。因为从研一到现在，对于弱监督语义分割这个方向，更多地只是觉得它很难，因为你要对图像中的每一个像素打标签，而且很多情况下，这些预测的准确率都比较低。在加上又还是弱监督的话，就更加难过了。感觉更多情况下只能靠运气猜。但是我们还是可以明显地感知到，无论是自动驾驶也好、其它视频、图像本身的语义分割、目标检测、分类也好，我们可以从实际生活中获得的数据都是弱监督的，甚至是无监督的，这也意味着，如果研究从这些方向展开，其未来的应用前景会更大。

（4）此外，关于通过关口时人和自动驾驶系统的路权争夺问题，可以通过增强学习来解决。

6、Apolo 架构

这是Baidu Apollo开放的一个架构图。下面一层是执行层的线控结构，上面一层是实时计算系统，比如一些传感器（Camera、LiDAR、Radar、超声系统等）的实时处理，再上一层是一个实时操作系统，放在车上的系统一定是一个实时操作系统，不能因为系统波动导致问题，它基本上就是这样一个结构：感知、计算、控制。

6、对话及问题总结

听课的时候会觉得，陈老师讲的内容比较少，但是静下心一整理，发现其实内容也挺丰富的，关于自动驾驶，差不多应该有的都有了，感觉接下来的问答环节也很精彩，因为从一开始我就发现，雷鸣老师是一个特别会提问的人，快来围观。

（1）城市里的自动驾驶，大概还有多少年可以大范围落地？

以L4的水平大范围落地，就国内的水平而言，可能还需要三到五年。其实就中国而言，自动驾驶落地的条件相对要复杂。首先，我们路况多变，整个交通环境人多、车多、所以自动驾驶需要比较长的一段时间做好适应和学习，或者说只能选择先从某一些点开始进行覆盖。其次，也因为国民素质的问题，所以需要考虑到突发的情况比较多，比如一些违规的操作，自动驾驶应当如何避让，或者说如何及早检测并发现这些周边环境的异常，这些都需要进一步观察和解决，就目前来看，这是一个急不来的进程。

（2）自动驾驶如何应对雨雪天气？

雨雪天气是不可避免的，所以也是自动驾驶必须要考虑在内的一个应用只能场景。但是现有的手段中，可能也只能说是通过加强雨雪天气的训练数据的采集，然后强化模型的决策能力，在雨雪天选择更保守的行车速度，同时加强系统的控制等，就可能需要从各个方向进行加强。

（3）落地的最大挑战在哪里？

落地面临的挑战其实是比较多的，首先，全自动驾驶汽车不是卖给个体，而是卖给一些运营系统，如出租车等；其次，要考虑公众接不接受，愿不愿意一起配合完善这个系统。而其实最大的挑战是说，我们能不能做得出来，能不能达到市场的需求标准。

（4）线路交通系统需要重新进行规划吗？

基础设施对自动驾驶的影响特别大，比如说，如果我们可以在一开始利用类似于公交车道一样的东西对自动驾驶进行物理上的隔绝，起到的效果会很好。也就是说，如果政府愿意推动基础设施与自动驾驶的配套改革，其实在这些开辟的区域里，适配的交通环境下，自动驾驶的效果会很好。但是我们也不能指望全部在一些老城区上进行改造，这样成本会非常高。

（5）自动驾驶形成产业后，人会扮演什么样的角色，还会买车吗？

自动驾驶进入人类的生活，首先是以一种参与的姿态，人还是主导，也就是说，人会在这个系统中顽固地存在一段时间，而后才会慢慢地强化车的智能，而人类顽固存在于系统的时间是不可预估的，也要看到时候技术的发展，自动驾驶的表现。

（6）创业公司如何参与到自动驾驶中？

自动驾驶事业对于资金、技术要求比较高，如果是直接做自动驾驶，可能确实会对公司的体量有要求。但是如果创业公司想要加盟到自动驾驶汽车，可以从一些别的角度进行切入，比如，自动农机。此外，我们之所以开放阿波罗系统，一方面是为了获取更多数据，另一方面，也是为那些想要参与到自动化驾驶事业中的人一个更好的起点。

（7）现在的地图可以满足自动驾驶的需求吗？

地图用于自动驾驶系统的超视觉感知，虽然地图不一定准确，但是它还是很有用的。比如说在自动驾驶中，一些不变的因素，可以通过地图计算来获得，而我们只要把注意力放在变量上的计算即可。所以在自动驾驶中，地图的意义可能远远超过传统地图的意义。但是可能自动驾驶系统本身不会完全相信地图，而是会在不断地行驶中，构建自己的地图，而且不同的车之间可以共享这些地图。

后话：

考驾照是我心目中永远的痛，所以当听到这项科技时，我觉得它要造福很多人。而且客观地说，确实路上开车的人，各种水平、各种状态，每天出门都感觉自己提着头，听完陈老师的分享，挺激动的。

所以想要从事相关产品工作的宝宝们，应该要多多地思考，如果让你来设计，你会希望这样的一个系统带给你什么，帮助你什么，怎么才能让更多人愿意参与到这个产品中，我觉得可以想的会有很多，比如和语音交互的一些结合、打造贴心的出行助理、根据不同用户、心情、状态选择路线，总之，你能想到的，这个车里的所有东西，都让它们变得更加智能，那么驾驶可能真的就会乐趣无穷，加油！！！

北大AI公开课第六课--自动驾驶与人工智能by百度陈竞凯相关推荐

北大AI公开课第七课--AI赋能智赢未来by科大讯飞胡郁
今天来打卡英语流利说第三天,希望自己可以坚持下去,说实话,一直以来我都挺喜欢英语的,然后从大一开始,也在网易公开课上听了很多世界名校的计算机专业课.金融.心理学方面的课,感觉对于语感的培养还是很不错的 ...
北大AI公开课第三课--视觉计算变革与挑战by Face++孙剑
之前立的flag倒了,今天才来扶,可是有什么办法呢,生活就是要厚着脸皮活下去啊. 今天一起来整理第三课,这是来自face++孙剑老师的分享,因为正好我自己本身也是做计算机视觉的,所以听他的分享,我觉得 ...
北大AI公开课第五课--深度学习处理器by寒武纪陈云霁
当我们想要养成一个习惯,只要不管不顾地坚持21天就可以了,不敢说这个习惯养成之后我们可以一辈子不失去,但事实是,生活就是会不断地处于各种状态,而任何状态的存在都是一种共存和和解,一开始会不适应,但是慢 ...
北大AI公开课第十一课--语言智能的进展by微软亚洲研究院周明
想做的事情很多,但是时间却很有限.所以我们更应当在开始任何事情之前,做好足够的计划和准备,这样才能在有限的时间里做出最恰当的选择,为自己真正值得做的事争取出更多时间.之所以有这个感悟是因为最近太多事情 ...
北大 AI 公开课第10讲胡郁：人工智能+，共创新时代
"北大编辑整理|Xtecher 赵心源.又田网址|www.xtecher.com 微信公众号ID|Xtecher 胡郁,分管主持科大讯飞核心研发平台,总体牵头科大讯飞人工智能前瞻项目-- ...
【北大AI公开课13讲全链接+最强干货盘点】中国AI +，群星闪耀时
转自微信公众号新智元新智元推荐整理:张易胡祥杰 [新智元导读]本文盘点了刚刚结束的北大 AI 公开课的精彩干货,附全部的文字实录链接和视频链接,是全景式地了解中国 AI 产业发展现状和趋势极 ...
北大AI公开课13讲全链接+最强干货盘点：视频+笔记+文字实录
视频地址:北大AI公开课专栏笔记:北大AI公开课刚刚结束的北大 AI 公开课,由北大人工智能创新中心主任雷鸣组织,以把听者培养为"懂产业的 AI 人才"为主旨,邀请了13位顶级 ...
北大AI公开课2019 | 驭势科技吴甘沙：AI时代的自动驾驶趋势
在努力的拓展技术和应用对外的边界,尽快的把技术发展到为人类所用的过程中,有很多的技术的挑战,自动驾驶行业尤其如此.自动驾驶技术发展至今也取得了很多进展,3月20日北大AI公开课第五讲,请到了驭势科技创 ...
北大AI公开课2019 | 商汤科技沈徽：AI创新与落地
3月13日,备受瞩目的北大AI公开课第四讲如期开讲,商汤科技集团副总裁.商业与数据洞察事业群总裁.工程院院长沈徽带来了<AI创新与落地>的分享,结合商汤科技在技术创新以及产业落地上的经验和 ...

北大AI公开课第六课--自动驾驶与人工智能by百度陈竞凯