https://blog.csdn.net/qq_39422642/article/details/78676567
通俗易懂的理解attention:
比如，我的世界，我爱涵涵。这两个句子中的"我“，虽然都是"我",但是代表的意思的不同的，即汉语中的一词多意，在不同的语境下，一个词语的意思可能是不同的。因此，我们在对序列建模时，要考虑上下文关系。attention可根据上下文，学习到不同的词意。
比如，我爱涵涵，"我"由0.6的"我"组成,由0.2的”爱"组成，由0.2的"涵涵"组成。
RNN->attention->transformer
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
推荐阅读更多精彩内容
- 一、背景 注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型...
