专家分享 | Linley Group：在数据中心做训练，在边缘做推理

在数据中心做训练

会议议题涉及了多个领域的AI 应用，因为不同领域对处理器的需求实在是多种多样，包括数据中心、汽车、客户端计算和物联网等。

如果要挑出一个人工智能领域最重头的发展趋势，神经网络当仁不让地在众多机器学习方法中脱颖而出。神经网络推理由三个阶段构成：数据预处理，上传到云端，在数据中心进行推理。Alexa和Siri就是这样运行的：首先由设备检测语音唤醒指令（比如“Alexa”、“Hey Siri”，“Okay Google”），自然语言处理则在云端实现。

然而，这种方式正在被逐渐取代。未来，数据中心将被用于网络训练；推理工作也将更多在边缘设备上进行。有人可能会说，Alexa哪怕要花晚十分之一秒的时间才能告诉你明天的天气没什么大不了；但是，当你的无人驾驶汽车需要识别红绿灯的时候，就必须做到没有延迟。瞬息的延迟都会让你觉得是不是网络崩溃了，或者数据中心服务器是不是过载了。

但是，GPU开始应用于神经网络训练实属偶然。GPU原本并不是专为神经网络训练而设计的。谷歌将自己设计的芯片命名为张量处理单元（TPU），并在过去几年将数千个TPU部署在自己的数据中心。微软用了一段时间FPGA，最初是为了加快搜索速度，但最近却将其用于神经网络，将性能提高了2-3倍。就在几天前，英特尔宣布自己的一些客户正大量推出内置Altera（Intel PSG事业部公布的官方名称）FPGA的服务器，希望开启新的应用生态系统。

在边缘做推理

无论物理尺寸还是市场规模，汽车绝对是当之无愧的最大边缘设备之一。现在的汽车都备有支持车道偏离警告和自动紧急制动等功能的高级驾驶辅助系统（ADAS），有些甚至已经有了更高级的功能，比如在高速公路和拥堵等路况不太复杂的情况下执行接近自动驾驶的操作。但是和其他性能一样，实现上述功能的电子元件尚比较昂贵，所以只能率先部署在价格较高的豪车（或商用车）上。

Linley Group预计，3级自动驾驶车辆将在2022年降至5,000美元以下，由于保险上省下的钱基本可以抵消车辆本身成本的上涨甚至还略有盈余，自然而然地会推动3级自动驾驶汽车的普及。尽管前途光明，但要真正实现5级自动驾驶可能还要10年的时间甚至更久。5级自动驾驶已无需驾驶员操作，甚至不再需要配备方向盘和其他操控装置，而是由汽车来操控驾驶动作。

目前，伦敦船埠区轻轨（Dockland Light Railway）仍设有（隐藏的）的手动控制面板。也就是说，连铁路这样沿着轨道运行的相对简单的驾驶操作都未能完全实现自动化，要解决路况千变万化的汽车全自动驾驶问题确实任重道远。

推理工作的边缘设备化并不仅仅发生在交通领域。目前，许多高端智能手机都装有人工智能加速器模块，比如内置Bionic神经引擎的苹果A11应用处理器，以及装有我们Tensilica P6 DSP的MediaTek P60。上述处理器将在未来一到两年进入主流手机市场。按照Linley Group的预测，人工智能处理器还可能会被装在PC端。

物联网设备是另一种会内置人工智能模块的边缘设备，比如语音助手以及能过滤掉大部分（几乎全部）无所不在的无关数据的智能安防摄像头。为了避开障碍物，跟踪滑雪运动员或自行车选手等目标，无人机需要具备一定程度的视觉处理功能和人工智能。一些初创企业也开发出了面向物联网设备的“微型”引擎。由于物联网消费品对价格较为敏感，加上今天的物联网设备也不过是可有可无的物件，所以不太会像工业物联网一样发展得那么快。但是，一旦智能化产品开始比传统产品更便宜，智能化产业将蓬勃发展，一切都会朝着智能化趋势发展，比如智能电表、智能停车场和资产追踪等。

还有一个有趣的进展，NVIDIA已经开始提供基于Xavier的开源神经网络加速器；但其是否会对市场产生重大影响还不得而知。