在某些情况下，由于带宽、延迟和可靠性的限制，无法依赖网络进行推理。例如，自动驾驶汽车每次驶出手机信号塔的范围时，不能都踩刹车来从集中式模型中获取决策，所以我们需要本地电力来获取这些决策和/或预测。高速摄像机检查从工业料斗中落下的物品，只需几毫秒的时间来判断是否存在缺陷，同样，集中式或基于云的解决方案没有用例。
该单核设备于 2018 年发布，并自 2019 年起通过谷歌子公司 Coral 以几种小型形式分发，专注于运行节能推理。
这些产品相互补充：在海量数据集上训练模型是一项数据密集型且耗电的任务，最好留给谷歌数据中心的云 TPU 来完成。 Coral Edge TPU 填补了边缘的空隙。它允许您将模型带到数据并在那里应用它们，而不是相反。数据在离开设备之前可以被处理、过滤和聚合，而以前这些操作需要调用集中式服务，从而形成数据管道的瓶颈。这是有道理的；通过网络发送文本字符串“ 加拿大号码数据 苹果，苹果，梨，香蕉”比发送偶尔出现水果的视频流要快得多。更好的是，Edge TPU 的小尺寸和低功耗使其适用于消费产品、远程传感器和其他物联网项目，而无需任何类型的网络连接。
那么，Edge TPU 是如何发挥其神奇作用的呢？
只做一件事，而且做得不太好。但足够好并且有效。除了精简指令集之外，它还在窄 8 位寄存器上运行（如第一代 Cloud TPU），这意味着神经网络连接中的边缘权重分辨率较低。从这个角度来看：全角 64 位浮点数可以表示某个权重的 18446744073709551616 中的任意值，而 8 位只能表示256 个值。但事实证明，这就足够了！
因此，要在 Edge TPU 上运行，首先需要将已在 64 位权重上训练的模型转换为所需的 TensorFlow Lite 模型格式（“量化”）。谷歌声称，这不会显著影响模型准确性，尽管在 8 位有符号整数上从头开始训练模型应该会产生最好的结果。