1. BaseInfo

Title	CRIS: CLIP-Driven Referring Image Segmentation
Adress	https://arxiv.org/pdf/2111.15174v2
Journal/Time	CVPR 2022
Author	悉尼大学，OPPO，北邮，快手
Code	https://github.com/DerrickWang005/CRIS.pytorch

2. Creative Q&A

1. 受到CLIP的启发，设计了一个visual-language decoder以促进两种模态之间的一致性。直接对齐->注意力-> 模态一致性
2. 文本到像素的对比学习。
   
   Related Work ： Vision-Language Pretraining、Contrastive Learning、Referring Image Segmentation

3. Concrete

3.1. Model

3.1.1. Input

图+文

3.1.2. Backbone

ResNet + Transformer （提取语言特征和全局文本表示）

3.1.3. Neck

Cross-modal Neck.
给定多个视觉特征和全局文本表示$F_s$，可以通过融合$F_{v4}$以及$F_s$得到简单的多模态特征
$$F_{m4}=Up(\sigma (F_{v4}{W}_{v4})\cdot \sigma (F_s{W}_s))\text{\hspace{1em}(1)}$$
其中$Up$是上采样两倍，将两个模态的特征变换到同一个特征空间，类似得到 $F_{m3}$和$F_{m2}$。
$$\begin{array}{rl}{F}_{m3}& =[\sigma (F_{m4}{W}_{m4}),\sigma (F_{v3}{W}_{v3})]\\ F_{m2}& =[\sigma (F_{m3}{W}_{m3}),\sigma (F_{v2}^{\prime }{W}_{v2})],F_{v2}^{\prime }=Avg(F_{v2})\end{array}\text{\hspace{1em}(2)}$$
拼接后的特征通过$1\times 1$卷积进行聚合得到$F_m$：
$$F_m=Conv([F_{m2},F_{m3},F_{m4}])\text{\hspace{1em}(3)}$$
其中$F_m\in {\mathbb{R}}^{\frac{H}{8}\times \frac{W}{8}\times C}$。最后，作者将2D的空间坐标特征$F_{coord}\in {\mathbb{R}}^{\frac{H}{8}\times \frac{W}{8}\times 2}$与$F_m$拼接并通过$3\times 3$卷积进行融合：
$$F_v=Conv([F_m,F_{coord}])\text{\hspace{1em}(4)}$$
其中$F_v\in {\mathbb{R}}^{\frac{H}{8}\times \frac{W}{8}\times C}$。

3.1.4. Decoder

Vision-Language Decoder
vision-language decoder由n个layer组成，每个layer包括一个多头自注意力，一个多头交叉注意力以及前馈网络。
加上了正弦位置编码
$$F_v^{\prime }=MHSA(LN(F_v))+F_v\text{\hspace{1em}(5)}$$

$$\begin{array}{rl}{F}_c^{\prime }& =MHCA(LN(F_v^{\prime }),F_t)+F_v^{\prime }\\ F_c& =MLP(LN(F_c^{\prime }))+F_c^{\prime }\end{array}\text{\hspace{1em}(7)}$$

3.1.5. Loss

Text-to-Pixel Contrastive Learning
$$\begin{array}{rlr}{z}_v& =F_c^{\prime }{W}_v+b_v,& F_c^{\prime }=Up(F_c)\\ z_t& =F_s{W}_t+b_t& \end{array}\text{\hspace{1em}(8)}$$
其中 $z_t\in {\mathbb{R}}^D$, $z_v\in {\mathbb{R}}^{N\times D}$, $N=\frac{H}{4}\times \frac{W}{4}$。
目的是让 $z_t$ 和与之对应的 $z_v$ 尽可能相似：
$$L_{con}^i(z_t,z_v^i)=\{\begin{array}{ll}-\log \sigma (z_t\cdot z_v^i),& i\in \mathcal{P}\\ -\log (1-\sigma (z_t\cdot z_v^i)),& i\in \mathcal{N}\end{array}\text{\hspace{1em}(9)}$$
Loss 计算
$$L_{con}(z_t,z_v)=\frac{1}{|\mathcal{P}\cup \mathcal{N}|}\sum _{i\in \mathcal{P}\cup \mathcal{N}}{L}_{con}^i(z_t,z_v^i)\text{\hspace{1em}(10)}$$

3.2. Training

名称	值
文本和图像编码器权重	使用CLIP
用于消融研究的图像编码器	ResNet - 50
输入图像调整后的尺寸	416×416
RefCOCO和RefCOCO+输入句子的最大长度	17
G - Ref输入句子的最大长度	22
Transformer Decoder层的头数	8
前馈隐藏层维度	2048
训练轮数	50
优化器	Adam
初始学习率	0.0001
第35轮时学习率调整因子	0.1（即学习率降为原来的0.1）
训练的批量大小	64
推理时预测结果的上采样操作	上采样回原始图像大小
推理时的二值化阈值	0.35
推理时是否有其他后处理操作	无

3.2.1. Resource

8块显存为16GB的Tesla V100 GPU

3.2.2 Dataset

RefCOCO , RefCOCO+ , and G-Ref .

3.3. Eval

3.4. Ablation

1. 解码器和对比学习的有效性
2. Decoder 的 layers
   

比较有趣的是这些failure case。第一种导致failure的原因是输入的表达具有歧义，其次是标签标注问题，最后是遮挡问题。

4. Reference

5. Additional

很早的工作了，之前也读过，重新整理一下。