神经网络中，设计loss function有哪些技巧?

点击上方“MLNLP”，选择“星标”公众号重磅干货，第一时间送达编辑：忆臻https://www.zhihu.com/question/268105631本文仅作为学术分享，如果侵权，会删文处理机器学习算法与自然语言处理报道神经网络中，设计loss function有哪些技巧?作者：Alan Huanghttps://www.zhihu.com/question/268105631/answer/335246543对于 gradient balancing问题，刘诗昆同学回答得挺不错。我这边再额外补充一些。multi-task learning 中， tasks之间彼此的相容性对结果也会有一些影响。当两个任务矛盾的时候， 往往结果会比单任务还要差不少。Multi-task learning 还需要解决的是Gradient domination的问题。这个问题产生的原因是不同任务的loss的梯度相差过大， 导致梯度小的loss在训练过程中被梯度大的loss所带走。 题主所说的问题1和2 ………………………………