使用Seq2Seq+attention实现简单的Chatbot

作者：石晓文   中国人民大学信息学院在读研究生个人公众号：小小挖掘机（ID:wAIsjwj）本文代码的github连接：https://github.com/princewen/tensorflow_practice/tree/master/chat_bot_seq2seq_attention1、attention model原理介绍1.1 attention model为什么要有attention机制原本的Seq2seq模型只有一个encoder和一个decoder，通常的做法是将一个输入的句子编码成一个固定大小的state，然后作为decoder的初始状态（当然也可以作为每一时刻的输入），但这样的一个状态对于decoder中的所有时刻都是一样的。attention即为注意力，人脑在对于的不同部分的注意力是不同的。需要attention的原因是非常直观的，当我们看一张照片时，照片上有一个人，我们的注意力会集中在这个人身上，而它身边的花草蓝天，可能就不会得 ………………………………