一起动脑筋 · 先看一个小故事
女孩读“杯子碰到盘子，它碎了”，想知道“它”指谁。模型如何把不同位置的信息联系起来？
把过程摊开来看
- 当前位置需要相关信息
- 比较表示计算关联权重
- 加权组合汇集上下文
- 继续处理形成新表示
注意力机制通过计算，把不同位置的信息按权重组合。
它有点像阅读时参考相关词，但实际是数值操作，不是人的目光。
这种机制让模型利用远近不同位置的线索；句子本身含糊时，模型也可能无法确定正确指代。
轮到你来试一试
“它碎了”没有足够上下文时，模型必须唯一确定指代吗？
想好了吗？点开看解释
不必，也不应假装必然确定。它可以指出歧义或请求更多信息。
带走一个发现
注意力机制通过计算，把不同位置的信息按权重组合。
试着遮住上面的图，把每一步讲给家人听。如果某一步说不清楚，就回到那张卡片再看一遍。