对于低精度神经网络训练，我发现三元权重（ {-1 ，0，1}）的-20240924072034

文章预览

2024-09-24 07:20 本条微博链接 对于低精度神经网络训练，我发现三元权重（ {-1 ，0，1}）的表现始终优于七元权重（ {-2, -1 ，-0.5，0，0.5，1，2}）。后一种格式需要的参数减少了 40%，才能达到 fp16 的性能，同时仅消耗 5% 的位数。 ………………………………