主要观点总结
本文介绍了CoEdge系统的构思、研究背景、成果概述、系统设计、实现、实验平台构建、评估指标、测试结果、讨论和分析。CoEdge系统适用于多个分布式实时应用场景，包括智能交通基础设施、自动驾驶等。它通过多个边缘节点的协作，实现实时的交通监控和基础设施支持的自动驾驶。系统面临实时与并发DNN执行、地理分布的异构工作负载和多样化的开发和运行环境等挑战。CoEdge通过分层深度学习任务调度、批量DNN执行策略和GPU感知的并发DL容器化等技术，优化节点间的任务分配，提升GPU利用效率，解决容器间软件依赖不兼容的问题。实验结果表明，CoEdge系统能够在网络波动环境中提高任务完成率，降低截止时间未达成率和端到端延迟。
关键观点总结
关键观点1: CoEdge系统的研究背景和目的
适应多个分布式实时应用场景，解决边缘设备在处理深度学习任务时的资源限制问题。
关键观点2: CoEdge系统的成果概述
通过多个边缘节点的协作，实现实时的交通监控和基础设施支持的自动驾驶，降低任务超时率。
关键观点3: 系统面临的主要挑战
实时与并发DNN执行、地理分布的异构工作负载、多样化的开发和运行环境等。
关键观点4: CoEdge系统的核心设计
分层深度学习任务调度、批量DNN执行策略、GPU感知的并发DL容器化。
关键观点5: 实验平台构建和评估指标
在大学校园中的智能路灯平台上进行测试，评估指标包括截止时间未达成率和端到端延迟。
关键观点6: 测试结果和分析
CoEdge系统在低负载和高负载条件下均表现出优良性能，优于基线方法。网络带宽对系统性能有一定影响，但CoEdge能够优化任务分配策略，提高任务完成率。容器化机制实现了高效的并发DL任务处理，并在保持任务隔离的同时优化了GPU资源的利用。
文章预览
文章导读
CoEdge系统的构思基于边缘计算的发展，这一分布式计算范式将服务从云端推向网络边缘，以支持各种物联网应用，如智能交通和自动驾驶。随着通信技术的进步，出现了新的协作边缘系统，多个边缘节点可以通过本地点对点连接实现协作，而无需依赖强大的中心化互联网基础设施。这些系统在拓展性方面具有明显优势，适合广泛的地理部署，但也面临分 布式工作负载处理、实时要求、异构环境兼容等挑战。CoEdge提出了一个分层的深度学习任务调度框架，通过任务调度与批处理机制来优化节点资源利用，此外，该系统还设计了GPU并行容器化，以解决任务隔离与GPU共享的难题。实验结果表明，CoEdge在大学校园中的智慧灯杆测试环境中显著降低了任务超时率。
01 研究背景和相关工作
在深度学习任务
………………………………
