在互联网时代，伴随着5G技术发展的越来越成熟，边缘计算作为5G的核心，各个垂直行业都在考虑对垂直行业的边缘计算资源进行投资。与此同时，人工智能、边缘计算与物联网的融合越来越受到重视，边缘计算正迅速成为生成数据的设备和处理数据的公共云之间的渠道。
在机器学习和人工智能的背景下，公共云用于训练模型，边缘用于推理。谷歌TPU和“珊瑚边缘平台”打开了谷歌边缘AI赋能的典型案例。
为了加速Machine Learning训练，包括AWS、Azure、谷歌云平台（GCP）等公有云服务提供商都会提供一个由GPU支持的虚拟机。目前，Nvidia的GPU是ML研究人员和数据科学家云中训练的首选加速器。
谷歌许多产品和服务的核心都会基于其机器学习的能力。为此，谷歌构建了一个称为Tensor Processing Unit（TPU）的定制ASIC（专用集成电路）。与GPU不同，TPU主要针对神经网络所需的大规模并行计算进行了高度优化。 谷歌一直在将TPU用于各种应用，例如搜索，照片和翻译。 TPU的整体设计都是基于ML进行设计，具有谷歌在机器学习方面的丰富经验和领导力。现在谷歌的TPU3.0芯片具有8倍性能、快速迭代的特点，各方面都比以往的TPU2.0更上一层楼。
与此同时，在云计算方面，谷歌也一直在向GCP客户展示一些内部工具和平台。那么自然而然的，基于云的TPU能力成为GCP用户可以使用的服务之一。客户通过TensorFlow便能在谷歌的TPU加速器硬件上运行机器学习工作负载。 云TPU旨在实现最高性能和灵活性，以帮助研究人员，开发人员和企业构建TensorFlow计算群集。高级Tensorflow API可帮助开发人员在云TPU硬件上运行模型。云TPU能够以合理的价格提供TensorFlow模型建立最佳的性能培训。目前综合来看，云TPU的确是公有云产品中成本最低的ML加速器。
而更让人振奋的是，近期，谷歌宣布推出Edge TPU，这是一款专为单板计算机和片上系统设备设计的微型云TPU。尽管Edge TPU可用于训练ML模型，但事实上，边缘的价值是专为推理而设计的。
Google建议使用其云服务来训练TensorFlow模型并将其转换为在Edge TPU上运行。 TensorFlow Lite作为TensorFlow的一种形态，适用于移动设备和低功耗环境。现有TensorFlow模型可以转换为在iOS和Android上运行的TensorFlow Lite格式。针对边缘TPU进一步优化TensorFlow Lite模型。Edge TPU模块体积小，非常适合用于无人机，相机和扫描仪等设备中。
为了使开发人员能够轻松地编程和调试用于推理的模型，谷歌已经构建了一个名为“珊瑚”的平台。它结合了硬件和软件，使开发人员能够快速构建AI解决方案原型。
目前，有两种“珊瑚”方案可供开发人员在边缘编程AI，它们是 Coral Dev Board和USB Accelerator。Coral Dev Board是一款单板计算机，带有可移动的模块化系统（SOM），采用Edge TPU，而且是一款独立设备，拥有独立的相机模块，用于实时显示图像和视频。 它还有一组与Raspberry Pi标头兼容的GPIO。 针对Edge TPU优化的TensorFlow Lite模型可以在设备上本机运行。 Coral Dev Board的关键用例是使用TensorFlow模型解决计算机视觉问题的边缘解决方案。
谷歌还有另一款配备Edge TPU的设备，称为USB Accelerator。 类似于USB记忆棒，该设备可以插入任何Debian主机的USB端口，包括Raspberry Pi。 它配有USB-C连接器，可提供更高的吞吐量和功率。 主机只需要运行Coral SDK就可以将TF Lite模型转移到Edge TPU。 开发人员可以使用USB加速器在任何现有Linux主机上对AI解决方案进行原型设计。
在未来，AI+EC+IOT逐渐成为一种趋势，是需要运用到更多的应用场景中，比如车联网、智慧城市、智能家居等，这样也会使我们的生活更加便利。
在机器学习和人工智能的背景下，公共云用于训练模型，边缘用于推理。谷歌TPU和“珊瑚边缘平台”打开了谷歌边缘AI赋能的典型案例。
为了加速Machine Learning训练，包括AWS、Azure、谷歌云平台（GCP）等公有云服务提供商都会提供一个由GPU支持的虚拟机。目前，Nvidia的GPU是ML研究人员和数据科学家云中训练的首选加速器。
但事实上，GPU一般并非是专门为ML训练提供服务的处理器，尽管GPU被认为适用于并行执行计算与密集型计算，考虑到矩阵加法和乘法的速度，GPU广泛应用于视频渲染和高性能计算（HPC）等场景中，ML训练和推理，的确是GPU启用的最新用例之一。
谷歌许多产品和服务的核心都会基于其机器学习的能力。为此，谷歌构建了一个称为Tensor Processing Unit（TPU）的定制ASIC（专用集成电路）。与GPU不同，TPU主要针对神经网络所需的大规模并行计算进行了高度优化。 谷歌一直在将TPU用于各种应用，例如搜索，照片和翻译。 TPU的整体设计都是基于ML进行设计，具有谷歌在机器学习方面的丰富经验和领导力。现在谷歌的TPU3.0芯片具有8倍性能、快速迭代的特点，各方面都比以往的TPU2.0更上一层楼。
与此同时，在云计算方面，谷歌也一直在向GCP客户展示一些内部工具和平台。那么自然而然的，基于云的TPU能力成为GCP用户可以使用的服务之一。客户通过TensorFlow便能在谷歌的TPU加速器硬件上运行机器学习工作负载。 云TPU旨在实现最高性能和灵活性，以帮助研究人员，开发人员和企业构建TensorFlow计算群集。高级Tensorflow API可帮助开发人员在云TPU硬件上运行模型。云TPU能够以合理的价格提供TensorFlow模型建立最佳的性能培训。目前综合来看，云TPU的确是公有云产品中成本最低的ML加速器。
而更让人振奋的是，近期，谷歌宣布推出Edge TPU，这是一款专为单板计算机和片上系统设备设计的微型云TPU。尽管Edge TPU可用于训练ML模型，但事实上，边缘的价值是专为推理而设计的。
Google建议使用其云服务来训练TensorFlow模型并将其转换为在Edge TPU上运行。 TensorFlow Lite作为TensorFlow的一种形态，适用于移动设备和低功耗环境。现有TensorFlow模型可以转换为在iOS和Android上运行的TensorFlow Lite格式。针对边缘TPU进一步优化TensorFlow Lite模型。Edge TPU模块体积小，非常适合用于无人机，相机和扫描仪等设备中。
为了使开发人员能够轻松地编程和调试用于推理的模型，谷歌已经构建了一个名为“珊瑚”的平台。它结合了硬件和软件，使开发人员能够快速构建AI解决方案原型。
目前，有两种“珊瑚”方案可供开发人员在边缘编程AI，它们是 Coral Dev Board和USB Accelerator。Coral Dev Board是一款单板计算机，带有可移动的模块化系统（SOM），采用Edge TPU，而且是一款独立设备，拥有独立的相机模块，用于实时显示图像和视频。 它还有一组与Raspberry Pi标头兼容的GPIO。 针对Edge TPU优化的TensorFlow Lite模型可以在设备上本机运行。 Coral Dev Board的关键用例是使用TensorFlow模型解决计算机视觉问题的边缘解决方案。
谷歌还有另一款配备Edge TPU的设备，称为USB Accelerator。 类似于USB记忆棒，该设备可以插入任何Debian主机的USB端口，包括Raspberry Pi。 它配有USB-C连接器，可提供更高的吞吐量和功率。 主机只需要运行Coral SDK就可以将TF Lite模型转移到Edge TPU。 开发人员可以使用USB加速器在任何现有Linux主机上对AI解决方案进行原型设计。
在未来，AI+EC+IOT逐渐成为一种趋势，是需要运用到更多的应用场景中，比如车联网、智慧城市、智能家居等，这样也会使我们的生活更加便利。
