AI 芯片

1. 西人马首次发布一体式 AI SoC 芯片 FT1700

原文：

https://www.laoyaoba.com/n/789308

近日，西人马科技发布了FT1700芯片，这是西人马推出的首款一体式AI SoC芯片。

FT1700芯片基于异构多核处理器架构，集成了4个CPU和4个DSP，即8个核心处理器，同时还集成了一个实时处理器，可用于实时系统控制;视觉AI DSP可用于高性能机器视觉计算阵列，另外还有4K图像/视频编解码，以及高性能有线/无线数据接口可用于传输实时音频/视频流。

该芯片可提供0.5T~1T的算力，可用于工业检测、边缘计算、机器视觉、智能制造、自动数据采集系统(ADAS)、工业机器人控制、行业无人机等多种AI应用场景。

FT1700 芯片是专为物流仓储、智能监控、边缘计算、工业检测、ADAS/DMS、汽车行驶记录仪、工业无人机等多种应用而设计的一体式SoC芯片。其利用多核心的并行计算优势，有着超高的计算能力，可快速识别图像、图形、视频和音频，然后做出判断。

2. GPU性能提升10倍！三星发布全球首款5nm可穿戴处理器

原文：

https://mp.weixin.qq.com/s/ATfTNw1aixF0lwsw627QDA

近日三星推出了Galaxy Watch4系列智能手表，该智能手表搭载了最新可穿戴处理器ExynosW920。Exynos W920处理器是业内首款采用5nm EUV工艺，专为可穿戴设备打造的处理器。该处理器可支持三星与谷歌联合打造的可穿戴平台，并率先应用于三星即将推出的Galaxy Watch系列新品。

目前，市场上使用最广泛的两款芯片是高通公司的Snapdragon Wear 3100和Snapdragon Wear 4100 Plus，它们分别建立在28纳米和12纳米节点上。ExynosW920比这些竞争对手提供了更新的Arm Cortex内核，而且节点尺寸小得多，可以想象，它可以实现更高的集成度和更小的尺寸。值得注意的是，这是自最初的Galaxy Watch以来三星手表的首次处理器升级。与上一代三星可穿戴产品，如Exynos 9110相比，Exynos W920声称性能提高了20%，图形性能提高了10倍。

总而言之，可穿戴硬件的这些改进标志着该领域的一个非常积极的方向。

3. 特斯拉 AI Day 最新消息将发布Dojo自研超算芯片

原文：

https://baijiahao.baidu.com/s?id=1707950006087618803&wfr=spider&for=pc

日前，马斯克发推特宣布了特斯拉“AI Day”将会在北美时间8月19日正式举行。根据之前他的推特所说，发布会将会介绍特斯拉在人工智能领域的软件和硬件进展，尤其在（神经网络）的训练和预测推理方面，并将会招揽相关人才。

根据此前发布的预热图估测，该芯片采用了非常规的封装形式，第一层和第五层铜质结构是水冷散热模块；红色圈出的第二层结构由5*5阵列共25个芯片组成；第三层为25个阵列核心的BGA封装基板；第四层和第七层应该只是物理承载结构附带一些导热属性；蓝色圈出的第六层应该是功率模块，以及上面竖着的黑色长条，很可能是穿过散热与芯片进行高速通信的互联模块；

从第二层结构的圆形边角，以及拥有25个芯片结构来看，非常像Cerebras公司的WSE超大处理器，猜测特斯拉可能采用了TSMC（台积电）的InFO-SoW（集成扇出系统）设计。

不出意料的话，此次发布会将把Dojo芯片作为最重点的内容进行软硬件的介绍；当然也会覆盖FSD Beta相关的进展介绍，但就目前的信息来看，还极有可能会推出新的基于7nm技术的HW4.0硬件。

AI 热点

4. 「假黄仁勋」刷屏之后，英伟达官方辟谣：只有14秒是虚拟的

原文：

https://mp.weixin.qq.com/s/p5PvVDyZHufxI9R5p_8n1Q

不要太嗨了，GTC 2021 那场发布会，你看到的厨房中的老黄不是假的，发布的显卡也不是假的，但视频中有14秒的「假黄仁勋」！

在近期召开的计算机图形顶级会议 ACM SIGGRAPH 2021 上，英伟达介绍了自研的 3D 仿真模拟和协作平台 Omniverse，并在前不久放出了「合成版老黄」的打造过程。消息在极短的时间内引发了科技圈的轰动，很多人甚至在 Youtube、哔哩哔哩等平台反复回放今年 4 月 GTC 老黄的 Keynote 视频，企图分辨「真假黄仁勋」。毕竟一旦接受了「发布会中的老黄是假的」这个设定，就会开始怀疑：发布的显卡是不是也全是假的？要不然为什么根本买不到？

而且在这个接近两小时的 Keynote 视频中，黄仁勋的皮衣与内搭款式来回切换，一会儿立领，一会儿翻领，一会儿 T 恤，一会儿又变成 Polo 衫，引发了更多的猜测。

但英伟达官方辟谣称只有非常小的一部分视频是虚拟的。英伟达官方博客也进行了补充说明（之前版本未详细说明），并给出了数字替身出现的明确时间段。也就是说，在 1 小时 48 分钟的 Keynote 视频中，只有其中 14 秒属于合成，下图是合成部分中的一张截图。

相信电影《头号玩家》中的游戏的实现只是一个时间问题！

AI 前沿

5. 工号001，中国跳水 “国家队AI教练”

原文：

https://mp.weixin.qq.com/s/wCevQGDjhSuGUyAu9jjb_A

东京奥运会上，中国跳水“梦之队”以7金5银收官，在4个单项中包揽冠亚军，在4个双人项目里收获3金。这个收割奖牌的队伍背后，有位隐形的特殊教练——“AI教练”。

“3D+AI”跳水训练系统：清、准、全、懂

跳水动作难度高，在1~2秒时间内完成整套动作常让人感觉“眼睛跟不上”。为了精确测量运动员的动作并打磨得更加完美，中国国家跳水队引入了“3D+AI”跳水训练系统，还为它颁发了工号为001的“国家队AI教练”工作证。

简单讲，这个系统的作用是让跳水动作看得清、看得准、看得全、看得懂。

首先，训练场馆内的高速相机等设备采集运动员的动作，清晰完整地记录下每帧画面，回放时可以随时定格让动作看得清。之后，软件系统对人体姿态进行三维重建及量化评估，让教练看得准。这样就能把之前模糊的“起跳稍微低了点”，变成精确定量的“起跳高度比标准低12.5厘米”。

另外，之前运动员每完成一次跳跃，教练只能从一个固定角度观察，而这个系统完整记录下跳水动作和场馆细节，重放时可以360度自由旋转，实现看得全。

当然，记录数据不是最终目的，“AI教练”不仅能识别出跳水动作和难度系数，还会通过算法为动作完成质量打分、分析目前问题的原因，并协助教练制定计划解决训练当中的实际问题。

这届奥运会中，不仅跳水队得到了“3D+AI”训练系统的重要支持，其他体育项目背后也有很多“黑科技”的协助。比如卢云秀夺得金牌的女子帆板RS:X级项目，赛前也得到了科技团队提供的风和水等方面的分析和预测。

6. 国产CPU、国产操作系统！长城、百度联合研制的首款“PKS”国产AI 服务器正式发布

原文：

https://mp.weixin.qq.com/s/ZcMW8dV0t72xvqFJ9yGgFg

8 月 3 日消息 中国长城今日表示，其与百度联合研制的首款“PKS”国产 AI 服务器 ——AI-TF2000 飞桨一体机正式发布。据介绍，AI-TF2000 飞桨一体机的外观与普通服务器相差不大，预置飞桨模型库，可同时提供百度的预训练模型，用作二次开发的基础。

中国长城表示，AI-TF2000 飞桨一体机以“PKS”技术架构进行设计，采用了飞腾 CPU 处理器和麒麟国产操作系统。机内同时集成了百度自研的昆仑 AI 加速卡，并可拓展支持昇腾、寒武纪、比特大陆等国内 AI 加速卡，是首个实现单 Switch 支持两块全高全长国内 AI 加速卡的 2U 服务器整机。

此外，该款产品还内置飞桨企业版 BML 全功能 AI 开发平台，支持多种数据精度的训练和推理。

AI 研究综述

7. 2021年小目标检测最新研究综述

原文：

https://mp.weixin.qq.com/s/OOlq9wSfME2qB9VPc2fmRg

论文：

http://sjcj.nuaa.edu.cn/sjcjycl/article/html/202103001

论文引言：小目标检测长期以来是计算机视觉中的一个难点和研究热点。在深度学习的驱动下，小目标 检测已取得了重大突破，并成功应用于国防安全、智能交通和工业自动化等领域。为了进一步促进小 目标检测的发展，本文对小目标检测算法进行了全面的总结，并对已有算法进行了归类、分析和比较。首先，对小目标进行了定义，并概述小目标检测所面临的挑战。然后，重点阐述从数据增强、多尺度学习、上下文学习、生成对抗学习以及无锚机制等方面来提升小目标检测性能的方法，并分析了这些方法的优缺点和关联性。之后，全面介绍小目标数据集，并在一些常用的公共数据集上对已有算法进行了 性能评估。最后本文对小目标检测技术的未来发展方向进行了展望。

了解小目标检测方向的前世今生，就去看看这篇论文吧。

AI 开源项目

8. 霸榜GitHub！人脸融合黑科技来了！七夕表白的另外一种方式！

原文：https://mp.weixin.qq.com/s/g7cVeLnA3ArrWCTiUmwnNQ

Github：https://github.com/PaddlePaddle/PaddleGAN/stargazers

七夕不知道如何表白？送花吃饭太没新意又太露骨？那就试试 paddlepaddle 的一个人脸融合黑科技项目，能够完美融合任意两张人脸，并带有丰富的表情，让你不仅凡尔赛地炫个技，还能巧妙风趣地表个白：我觉得咱俩挺合适，可以一起为人类向更美的方向进化作出杰出贡献。

不信？那就上图了：

让我们来谈谈这个黑科技的原理吧。这个炫酷的黑科技是由开源界频上Trending的飞桨生成对抗网络套件PaddleGAN所提供，里面内置的StyleGAN V2与FOM分别实现人脸融合与让人脸动起来的效果。

PaddleGAN中提供的人脸融合能力是由StyleGAN V2以及新增的Fitting和Mixing模块组成的。

• Fitting模块是根据已有的图像反推出解耦程度较高的风格向量，可用于人脸融合、人脸属性编辑等任务中。

• Mixing模块是对上述Fitting模块中生成的风格向量实现不同层次和比例的混合。

• StyleGAN V2则根据Mixing模块中生成的混合向量生成新的人脸。

  因此，人脸融合任务可以分为三个步骤进行实现：

1. Fitting模块提取两张人脸图片的风格向量

2. Mixing模块对两种风格向量进行混合

3. StyleGAN V2根据混合后的风格向量生成混合后的人脸

在项目首页转了一圈发现，人脸融合、人脸表情迁移竟然只是PaddleGAN数十种能力的一种，PaddleGAN还提供语音转唇形（声音对口型）、视频/照片修复（上色、超分、插帧）、人脸动漫化、照片动漫化、图像生成、图像风格迁移等十余种能力，令人大开眼界！这里就不一一展示效果，有兴趣的同学可以自行到 Github 上阅览。

9. Github标星13.6k！一行代码从PDF提取Excel文件

原文：

https://mp.weixin.qq.com/s/HvOn8SZ2uPjekkDd4VB-9A

Github：

https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.2/ppstructure

我们在工作生活中经常会遇到表格识别的问题，比如导师说，把下面PDF文件里面的表格取出来整理成Excel表。只要稍微会一点Python，这个开源项目神器几行代码解决！

如图所示，针对一张完整的PDF图片，这个开源项目可以对文档图片中的文本、表格、图片、标题与列表区域进行分类。同时还可以利用表格识别技术完整地提取表格结构信息，使得表格图片变为可编辑的Excel文件。不仅仅是PDF文件转excel，如果编程能力再强一些，结合版面分析技术，PDF转Word都不在话下。而且使用也是非常方便，在完成Python whl包安装之后，简单几行代码即可完成快速试用。

10. 动手画个二次元老婆，上科大团队这个APP刚上线就火出圈，手残党的福利！

原文：

https://mp.weixin.qq.com/s/Qjwodgetc-hBfNIpEAvdPg

Github：

https://apchenstu.github.io/sofgan/

论文：

https://arxiv.org/pdf/2007.03780.pdf

想给自己画个二次元老婆，但发现自己是个手残，怎么办？问题不大，这里有个神器，你只需要涂抹出轮廓，剩下的交给 AI。二次元老婆生成器的名字叫做「WAND」，现在已经在苹果应用商店上线了，目前提供 iPhone 和 iPad 两类设备的限时免费下载，登上了AppStore图形与设计榜下载量Top1。

「WAND」刚发布就火出了圈。在社交网络上看，很多人已经率先试用了，作品是这样的：

看完了 APP 效果，我们来看下背后的技术。据项目介绍，该软件基于上海科技大学 ACM Transactions on Graphics 2021 的一篇研究论文实现。

尽管生成对抗网络（GAN）已被广泛用于人像图像生成，但在 GAN 学习的潜在空间中，不同的属性，如姿态、形状和纹理风格，通常是纠缠在一起的，这使得对特定属性的显式控制变得困难。为了解决这个问题，该研究提出了一个名为 SofGAN 的图像生成器，将人像的潜在空间解耦为两个子空间：几何空间和纹理空间。从两个子空间采样的潜在代码分别馈送到两个网络分支，一个生成具有规范姿态的人像的 3D 几何图形，另一个生成纹理。对齐的 3D 几何图形还带有语义部分分割，编码为语义占用字段（semantic occupancy field，SOF）。SOF 能够在任意视图渲染一致的 2D 语义分割图，然后将其与生成的纹理图融合并使用语义 instance-wise（SIW）模块将其风格化为人像图像。该研究通过大量实验表明该系统可以生成具有独立可控几何和纹理属性的高质量人像图像。此外，该方法还可以很好地推广到各种应用中，例如外观一致的面部动画生成等。

11. AI“读图会意”首超人类！阿里达摩院刷新全球机器视觉问题纪录

原文：

https://mp.weixin.qq.com/s/CO4z-2OjCke9fjMzEaI4wA

Github：

https://github.com/alibaba/AliceMind

给出一张图，让人类来猜这张图里面内容是什么，这对人类来说，太简单不过。但是对于 AI 呢？AI 在这视觉问答方面能和人类相比吗？

答案来了——历时6年，在机器视觉问答领域，第一位得分超越人类的AI选手诞生了！

国际权威机器视觉问答榜单 VQA Leaderboard出现关键突破：阿里巴巴达摩院以81.26%的准确率创造了新纪录，让AI在“读图会意”上首次超越人类基准。继2015年、2018年AI分别在视觉识别及文本理解领域超越人类分数后，人工智能在多模态技术领域也迎来一大进展。比较难得的是，3年前，让中国AI在文本理解领域历史性超越人类的，同样是达摩院AI研究团队。

VQA 是AI领域难度最高的挑战之一。在测试中，AI需根据给定图片及自然语言问题生成正确的自然语言回答。这意味着单个AI模型需融合复杂的计算机视觉及自然语言技术：首先对所有图像信息进行扫描，再结合对文本问题的理解，利用多模态技术学习图文的关联性、精准定位相关图像信息，最后根据常识及推理回答问题。

今年8月，达摩院以81.26%的准确率创造VQA Leaderboard全球纪录，首次超越人类基准线80.83%。

这一结果意味着，AI 在封闭数据集内的 VQA 表现已媲美人类。

面对更开放的现实世界，AI一定会遇到新的挑战,需要喂更多的数据、进一步提升模型。但和 CV 等领域的发展一样，这一结果依然具有标志性意义，相信VQA技术在现实中的表现提升只是时间问题。

文末福利

12. 干货！结合工作整理的MCU芯片级的ESD防护及设计讲义(非常详细）

原文：

https://mp.weixin.qq.com/s/awOMDjV5n0dRKTTWO31eUQ

干货链接：

http://bbs.eetop.cn/thread-437264-1-1.html

这份讲义是EETOP网友 johnli330 结合自己工作整理的MCU芯片级的ESD防护及设计，共61页。结合工作整理的资料自然是相当干货满满，希望对各位有兴趣的同学有所帮助。讲义全文可以通过上述链接下载。

13. 从SGD到NadaMax，十种优化算法原理及实现

原文：

https://mp.weixin.qq.com/s/XzzZmbOeUTEDEqrxKVCw0g

无论是什么优化算法，最后都可以用一个简单的公式抽象：

是参数，而

是参数的增量，而各种优化算法的主要区别在于对

的计算不同，本文总结了下面十个优化算法的公式，以及简单的Python实现：

1. SGD

2. Momentum

3. Nesterov Momentum

4. AdaGrad

5. RMSProp

6. AdaDelta

7. Adam

8. AdaMax

9. Nadam

10. NadaMax

原文总结了SGD、MomentumNesterov、Momentum、AdaGrad…等十种优化算法，每一种算法的讲解都附有详细的公式过程以及代码实现。图文并茂，适合上下班通勤时间阅读，加深对深度学习中优化算法的理解。

你可以添加微信17775982065为好友，注明：公司+姓名，拉进 RT-Thread 官方微信交流群！

???? 点击阅读原文进入官网