最新 最热 优质 专栏 归档
全部类型 原创 转载 翻译 随笔
标签：深度学习
算法小张

原创 Transformer 注意力机制图解与 PyTorch 手写实现

一、注意力在解决什么问题 RNN 时代，序列靠隐状态传递信息，长距离依赖会衰减。注意力机制让每个位置直接看到所有位置，一步到位。 二、QKV 是什么 把注意力类比数据库查询： Query（查询）：当前位置想找什么Key（键）：每个位置能提供的"标签"Value（值）：每个位置实际携带的信息 流程：用...
1个月前 阅读 4.1万 点赞 1203 评论 0