【博士论文】边缘分布式深度神经网络推理

文章预览

随着深度神经网络（DNN）的日益复杂化，其计算需求常常超出了边缘设备的承载能力，而边缘设备通常资源有限。本论文探讨了在资源受限的边缘环境中高效且稳健地部署大型DNN的策略，其中“边缘”指的是位于数据源与云端之间的设备。在边缘部署DNN具有增强隐私性、效率和可靠性的优势，但也因边缘设备的资源受限而面临挑战。 论文分为两部分。第一部分解决了在多个资源受限的边缘设备上优化分区和部署DNN的挑战。AutoDiCE框架自动化了模型分区、代码生成和设备间的通信优化，同时通过设计空间探索（DSE）技术确定了最佳分布策略，以最小化能耗和内存使用，并最大化系统推理吞吐量。 第二部分着重于增强系统对设备故障或连接问题的鲁棒性。RobustDiCE通过优先处理关键神经元并在设备间部分复制它们，确保分布式推理的准确性，即使在故 ………………………………