圖 1
自注意力 · 詞語調配機
點詞塊換提問的詞 · ← → 切換步驟
松山高中資訊科 周立德
第 1 步 · 準備中
÷2
0
100%
小貓
坐在
墊子
上
因為
它
累了
W
Q
W
K
W
V
步驟
◀
1
製作 Q/K/V
2
比對分數
3
換算成百分比
4
混合 Value
▶
提問的詞
裝上 ÷2 縮放齒輪
光影特效(電腦較慢時可關掉)
音效
播放動畫(系統設定「減少動態」時預設關閉)
查詢梳刀(Query):提問的詞拿來比對的齒
鍵鎖板(Key):每個詞讓別人比對的缺口
值液體(Value):每個詞真正要給出去的意思
詞
鍵(Key)
比對分數
÷2 後
百分比
在真正的語言模型(例如聊天機器人背後的模型)裡,七個詞會「同時」各自當一次提問的詞,一起做完這整套流程;這張圖一次只示範一個提問的詞,方便看清楚每一步。