使用 Coral Edge TPU 进行边缘 AI 计算 — axonX hackathon 的开箱评测和性能基准测试

[roseline371274]

作为 Rubix 创新团队的一部分，axonX 在过去几年中参与了多个物联网/流数据项目。最近，这促使我们探索强化学习、在线/实时学习和边缘人工智能计算方面的技术和趋势。
在我们每月的知识共享和“黑客马拉松”期间，我们讨论并阐述了与这些人工智能技术和趋势相关的几个用例和相应的（机器/深度学习）算法。本着这种精神，我们购买了几个价值 79 美元（现在为 59 美元）的Coral USB 加速 加拿大号码数据 器设备进行调试，看看它们是否可以应用于我们的某些用例。每个设备都包含一个 Google Edge TPU（张量处理器单元）。

那么，TPU 与 GPU 甚至“传统” CPU 有何区别？

CPU 是通用的主力处理器；它们拥有不断扩展的指令集来支持各种各样的应用：算术、视频压缩、加密——一切皆有可能。 GPU 采取更为狭窄的方法；虽然它们支持较窄的指令集，但它们拥有多很多倍的核心，因此 GPU 非常适合易于并行化的简单工作，例如 3D 渲染和挖掘比特币。

TPU 自 2016 年就已经出现；它们是专门构建的 ASIC，具有进一步精简的指令集，仅针对张量计算进行了优化——Google 的 TensorFlow 框架广泛使用这种指令集。谷歌推出的前三代 TPU 是专为数据中心（又名“云 TPU”）设计的，通常包含多达 128 个核心，提供经济高效的模型训练功能。

在“传统”机器学习用例中，可以将生产数据传输到数据中心进行推理，即将模型应用于输入数据 - 例如，通过图像分类器输入图片。在 axonX，我们有使用 Google Kubeflow 框架的机器学习管道在 TensorFlow Serving（或 Seldon Serving）上在生产中运行模型的经验。在许多情况下，这是一种有效的 MLOps 方法，如果您有兴趣，我们很乐意向您介绍它！然而，这不是本文所要讨论的内容。