【斯坦福博士论文】时序平滑性假设下的深度神经网络自适应与正则化方法

文章预览

尽管深度神经网络在过去十年中展现出卓越性能，但其在资源受限且动态变化的现实场景（如移动医疗）中的部署仍面临重大挑战。大型模型虽精度优异，却难以满足边缘设备的实时性需求；轻量级模型虽计算高效，却常因域偏移（domain shifts）导致鲁棒性与泛化性下降。 本论文提出 TempT（测试时时序一致性自适应） ，一种无需标注数据的测试时自适应（TTA）新范式。其核心创新包括： 时序相干性约束 将输入序列的时序连贯性作为自监督信号，通过抑制预测结果的高频波动，提升模型在未知环境中的稳定性与性能（如视频表情识别、目标检测等跨帧一致性关键任务）。 拓扑数据分析引导 采用持续同调（Persistent Homology）量化网络激活的拓扑特征，构建 选择性自适应策略 ，动态判断何时调整模型参数可提升性能，何时可能引发退化。 新型正则化 ………………………………