CVDL - Transformer

十一、Transformer

11.1 架构

RNN困境

T-1-1

Transformer 提出

T-1-2

架构

T-1-3

11.2 输入输出

输入输出

T-2-1

嵌入 PE 位置编码

• 位置编码

• 输入还需要经过一个PE（检测位置信息）

  如“我爱中国”和“爱我中国”不应该一样，但是若没有PE层，则会使得输入变得一样效果。

  
  T-2-2

T-2-5

编码解码

T-2-3

11.3 多头注意力

编码器

T-2-4

T-3-0

注意力计算

T-3-1

• 计算方法

  下图为计算一个 x1得到 z1 的过程。

  
  T-3-2

矩阵合并表示

T-3-3

多头

• 并行地计算多个 Z ，最后使用 W 综合效果即可。

T-3-4

计算过程：

T-3-5

头数推导：

T-3-6

11.4 ADD&Norm

T-4-1

区分不同的Norm：

T-4-2

11.5 前馈网络

T-5-1

11.6 解码器

T-6-1

T-6-2

11.7 图像领域

自监督学习

• 使用无标注数据用自我监督的方式学习特征表示的方法。

  其通过构造一个代理任务(pretext task)来实现特征表示学习。

• 代理任务

  1. 预测类任务
  2. 生成式任务
  3. 对比学习任务
  4. …

  代理任务的监督信息来源是从数据本身获得的。

• 举例

  完型填空(BERT)、预测下一个单词(GPT)

典型用法：通过自监督学习完成特征提取器的预训练，然后，在下游任务上进行微调。

发展

T-7-1

Non-Local

• 问题

  卷积操作难以捕捉长距离依赖（卷积的做法是不断堆积更多层，从而获得更大的感受野）

• 破解之法

  卷积网络 + Non-Local 模块（注意力机制）

T-7-2

ViT

• CNN在 图像领域 的统治地位

• Transformer在 自然语言处理 领域如此成功

• Transformer在 图像领域 也可以获得与CNN相当甚至更高的精度

  虽然缺少局部性与平移性的归纳偏置需要大量的数据进行训练

T-7-3

T-7-4

MAE

• 提出一个非对称的编解码器网络
• 自监督学习，采用高比率的遮挡预测任务作为代理任务
• lmagenet-1K上训练达到了87.8%，且在检测、分割等任务上均达到了SOTA
• 训练过程快

T-7-5

• 效果

T-7-6

T-7-7

T-7-8