NAACL 2019 | 怎样生成语言才能更自然，斯坦福提出超越Perplexity的评估新方法

选自 arXiv作者：Tatsunori B. Hashimoto等机器之心编译禁止二次转载语言生成不够「生动」？Percy Liang 等来自斯坦福大学的研究者提出了自然语言评估新标准。困惑度是评估生成语言是否「自然」的最常见标准，它的值越小，则表示模型生成的句子越接近人类语言。但是这种基于统计的方法并不能很好地评估生成质量，因此本文提出一种新的评估方式 HUSE，它为自然语言生成提供了结合人类和统计评估的新架构。怎样度量生成的语言生成文本是很多 NLP 任务的核心，但如何恰当地评估生成语言的「自然性」是很有难度的。好的评估指标应该不仅能捕捉到生成结果的质量，还能考虑到生成结果的多样性，这对对话或故事生成这类需要创造性的开放性任务尤为关键。人类评估通 ………………………………