曾经有一段时间，图形处理单元(GPU)仅限于为PC游戏或图形渲染提供动力的高端视频适配器。一般的计算机用户甚至程序员都不关心GPU。由于ML和AI的兴起，GPU很热门。从公共云供应商到学术研究实验室，GPU已经成为计算的重要组成部分。
NVIDIA是最大的GPU制造商，在市场上享有垄断地位。他们的GPU配备了可以并行运行计算任务的软件驱动程序和计算工具包。 CUDA和cuDNN是AI研究人员和企业数据科学家中的流行工具包。
机器学习算法只不过是适用于解决业务问题的数学和统计方程式。训练机器学习模型涉及通过替换方程的多个变量来并行运行复杂的数学方程。当发现变量的神奇组合时，该模型被认为是完全训练的。
GPU具有数百个内核，可以并行运行这些复杂的数学方程式。虽然CPU同样更快，但它们是通用处理器，不是为大规模并行化而设计的。 GPU通过接管数学计算部分来补充CPU。许多工作负载包括机器学习，高性能计算(HPC)，图形渲染，游戏开发都依赖于GPU。 ML和AI技术的日益普及使GPU成为CPU的普遍存在。
机器学习模型有两个阶段 - 培训和推理。
在有监督的机器学习中，训练涉及将各种变量组合馈送到复杂方程，直到预测接近实际值。该技术用于解决简单的线性回归问题，以解决处理计算机视觉和自然语言处理的复杂深度学习算法。
一旦模型得到完全训练，就可以预测或分类看不见的数据点。推理是一种利用完全训练的模型进行预测的技术。虽然推理没有训练那么强烈，但它仍然使用复杂的数学方程来产生预期的结果。例如，在计算机视觉中，输入图像立即被转换为大量像素，其被馈送到用于推断的模型。这启动了一项复杂的计算任务，处理数百万个方程和变量。
大多数训练有素的机器学习模型在边缘计算层以离线模式运行。这些边缘设备需要加速器来加速推理。如果推理仅在CPU上运行，则可能不会导致更快的响应。在诸如面部检测和对象检测的场景中，用户期望预测或分类以毫秒发生。此用例的典型示例是iPhone中的Face ID身份验证。当相机捕捉到匹配的脸部时，手机会立即解锁。 iPhone中有一个GPU正在加速机器学习模型的计算。这种在最终用户设备中运行完全训练的机器学习模型的机制称为推理。
边缘计算将推动专用AI芯片和加速器的采用。
英特尔和高通等芯片制造商意识到需要为边缘CPU提供补充处理器，因此正在投资加速ML推理的专用处理器。 这些芯片针对特定用例(包括计算机视觉和自然语言处理)进行了高度定制。
我们将研究计算机视觉中专用芯片的三种具体实现。
英特尔Movidius神经计算棒
2016年，英特尔收购了Movidius，这是一家利用无人机和虚拟现实设备生产计算机视觉处理器的利基芯片制造商。 Movidius的旗舰产品是Myraid，这是一款专门用于处理图像和视频流的芯片。 它被定位为VPU - 视觉处理单元 - 因为它具有处理计算机视觉的能力。
收购Movidius后，英特尔已将Myraid 2打包成USB拇指驱动器外形，作为神经计算棒(NCS)出售。 关于NCS的最好的事情是它适用于x86和ARM设备。 它可以轻松插入Intel NUC或Raspberry Pi进行运行推理。 它从主机设备获取电力，无需外部电源。
基于Caffe或TensorFlow构建的机器学习模型可以轻松移植到NCS。 英特尔提供了一个SDK和工具，可帮助您在Movidius上分析，调整和部署现有模型。 SDK有许多基于流行的神经网络架构的示例，例如AlexNet，ImageNet，MobileNet和Inception。
当连接到配备相机模块的Raspberry Pi时，Intel Movidius NCS可以在几毫秒内执行物体检测。
Horned Sungem AI
Horned Sungem是一家专注于AI的中国公司。 Horned Sungem的AI开发板专为开发人员，学生，业余爱好者和爱好者而设计，可轻松创建自己的AI应用程序。
该设备具有USB-C连接器，可以插入Raspberry Pi或任何其他计算设备。 它对通过CSI接口连接的Raspberry Pi Camera提供原生支持。
据制造商称，其芯片采用独特的集成前端设计，能够以低功耗(<3W)实现高性能。 HS拥有自己的基于Python的开发工具包，支持大多数平台，如MacOS，Linux，Android，Windows(即将发布)。
HS配备完全训练有素的ML型号。 开发人员可以轻松地开始使用不依赖于深度学习框架或复杂库的工具包。 运行简短的安装脚本后，设备将准备好识别各种对象。
有趣的是，HS基于英特尔Movidius MA245X VPU芯片，可为生产中的许多设备供电。
Google AIY Vision Kit
尽管它可能看起来像是基于Google Cardboard项目的爱好工具包，但AIY Vision Kit却是一个很好的选择。 它配备了在微型设备上构建全面计算机视觉应用所需的一切 - Raspberry Pi Zero。
谷歌与英特尔合作开发了一款名为Vision Bonnet的定制主板。 看到该主板由 Intel Movidius VPU供电并不奇怪。
AIY 全称是 Artificial Intelligence Yourself，顾名思义就是利用 AI 来进行的 DIY 功能套件。该项目的目标是让每个 人都可以 DIY 自己的 AI 人工智能产品，真正实现AI平民化。两款AI人工智能硬件——AIY Voice Kit 和AIY Vision Kit，分别是人工智能语音套件和人工智能视觉套件。
AIY Vision Kit 附带一个Raspberry Pi 相机模块，可直接连接到 Vision Bonnet。 这避免了将图像帧转发到VPU进行处理所涉及的延迟。谷歌完全改写了Movidius SDK，这使得运行TensorFlow模型进行推理变得更加简单。 Python SDK具有用于编程套件随附的按钮和LED的API。
该套件附带了六个可以推断的型号。 开发人员可以轻松使用这些模型来开发自定义应用程序.
尽管人工智能和边缘计算处于起步阶段，但预计它们将会有所增长势头。 公共云中的GPU和边缘的专用AI芯片将推动下一波计算。
关键词： 电脑那个芯片好
