人工智能应用向边缘侧与终端侧迁移，使推理任务对嵌入式系统的算力、功耗与延迟形成严苛约束。传统的通用处理器不能同时达到高吞吐量和低功耗的目的，催生了以专用硬件加速为核心的架构创新。本文以嵌入式人工智能推理场景为研究对象，对图形处理器、现场可编程门阵列、专用集成电路、存内计算等主流的硬件加速架构技术特点及适用范围进行系统的整理。通过对量化压缩、算子融合、内存层次优化等重要协同设计手段的剖析，联系典型的应用场景来探究硬件架构同软件栈深入协作所引发的能效改善和部署效能改进的作用。文章指出目前工程实践的主要方向是异构计算、敏捷开发、软硬协同设计这三种，给嵌入式 AI 系统架构选择以及性能优化提供一定的参考。