[Oral] 基于 SVD 学习伪造特征
AIGIs
AI 生成图像 (AI-Generated Images, AIGIs) 发展很快, 但也带来了潜在的巨大风险, 因此 AIGIs 的检测显得非常重要. 传统的方式是拿视觉基础模型 (Vision Foundation Model, VFM) 用二分类器, 预测图像被判定为虚假的可能性. 检测伪造的核心难点在于泛化. 现有的工作大概有两个方向:
- 伪造模式 (fake pattern) 学习, 是最主流的一种, 通过某个变换函数把 $x$ 映射到 $x'$, 认为 $x'$ 的特征空间可以学到伪造模式. 然而, 鉴于现实世界中伪造方法的多样性不断增加, 试图详尽列举所有可能的伪造模式并 “期望” 在未见过的伪造方法上实现良好的泛化是不现实的. (原话)
- 真实分布 (real distribution) 学习, 典型方法如单类异常检测, 提出一种误差作为得分, 来判断图像是否为伪造. 但这需要大量真实样本, 且通常属性分布不均衡的样本相当有限, 难以学习到真实图像的鲁棒表示.
Effort
论文 [] Unknown-material 认为, 发生过拟合现象的重要原因是简单训练的检测器尝试寻找到已见过的假图像模式的捷径, 导致特征空间实质降维为低秩结构, 限制了表达能力和泛化能力. 因此论文采用了 PCA 方法, 强制模型保留高秩结构.
基于此, 对于预训练权重矩阵 $W$ (一般的 VFM 权重矩阵都是方阵, 比如 ResNet), SVD 将其分解为 $W = U \Sigma V^T$, 并采用秩-$r$ 近似 $W_r = U_r \Sigma_r V_r^T$. 残差分量 $W - W_r = U_{n-r} \Sigma_{n-r} V_{n-r}^T$ 是我们要学习的形式, 而 $U_r, \Sigma_r, V_r$ 则固定.
我们一方面希望 $\Delta W$ 捕捉真实与虚假之间有意义的差异, 一方面又希望优化 $\Delta W$ 是不改变 $W$ 整体的属性. 我们介绍 Effort 方法:
算法Effort
输入: 预训练权重矩阵 $W \in \mathbb{R}^{n \times n}$, 秩 $r$, 训练集 $D = \{(x_i, y_i)\}_{i=1}^N$, 超参数 $\lambda_1, \lambda_2$.
输出: 更新后的权重矩阵 $W$.
- 做 SVD 分解 $W = U \Sigma V^T$.
- 取 $r$ 个主成分, 计算 $W_r = U_r \Sigma_r V_r^T$, 保持不变.
- 对残差分量做 SVD: $\Delta W = W-W_r = U_{n-r} \Sigma_{n-r} V_{n-r}^T$. 并记: $$ \hat{U} = \begin{bmatrix} U_r & U_{n-r} \end{bmatrix} \quad \hat{V} = \begin{bmatrix} V_r & V_{n-r} \end{bmatrix} $$
- 利用 $W=W_r+\Delta W$ 做前向传播, 计算损失 $\mathcal{L}_{\text{cls}}$.
- 计算正交正则化损失 (用于保持奇异向量的正交性质): $$ \mathcal{L}_{\text{ortho}} = \| \hat{U}^T \hat{U} - I \|_F^2 + \| \hat{V}^T \hat{V} - I \|_F^2 $$
- 计算奇异值约束损失 (用于控制奇异值的接近程度): $$ \mathcal{L}_{\text{ksv}} = \left| \| \hat{W} \|_F^2 - \|W\|_F^2 \right| $$
- 计算总损失: $$ \mathcal{L} = \mathcal{L}_{\text{cls}} + \lambda_1 \mathcal{L}_{\text{ortho}} + \lambda_2 \mathcal{L}_{\text{ksv}} $$
- 反向传播, 更新 $\Delta W$.
- 对每个 epoch 和 batch, 重复步骤 4-8.
- 返回更新后的权重矩阵 $W = W_r + \Delta W$.
论文推荐 $r=n-1$, 即只用一个特征向量来捕捉虚假图像的特征. 对其他的 $r$ 也有一定鲁棒性.
实验及可视化
这张表格展现了 Effort 的巨大优势. 仅用了原本模型的约 0.1% ~ 1% 的训练参数量, 能带来高达 10 个点的提升.
论文还做了消融实验, 证明了正交正则化和奇异值约束对模型性能的作用. 架构默认采用 CLIP 作为 VFM, 但对其他 VFM 也有良好的适应性.
值得一提的是论文给出的语义-虚假性分解可视化方案. 一般的网络只能给出虚假性分数, 但 Effort 可以实现对语义和虚假性的正交分解学习.
[Oral] 稀疏的 RL 网络可能更好
1000 * 10% > 100
一般深度学习中较大的模型通常能获得更好的结果, 但在深度强化学习 (Deep Reinforcement Learning, DRL) 中, 这种规模扩展模式会失效，增加模型大小往往会导致性能下降.
论文 [] Unknown-material 指出, 如果在扩大参数规模的同时, 保持网络的稀疏性, 可以有效避免性能崩溃和优化问题.
从这个图可以看出:
- 一般规模的网络在高稀疏化后表现不佳, 这很可能是因为稀疏化导致了网络容量的显著下降, 使得模型无法捕捉到足够的环境信息.
- 当网络规模增大时, 只允许学习一部分参数的高稀疏性的网络几乎总是优于原网络, 且此时比具有相同可学习参数量的稠密网络有更好的性能.
参数壁垒和稀疏化
实验显然带来了一个疑问: 稀疏网络在参数较少的情况下, 是如何实现优于密集网络的性能的?
表达能力
论文用稳定秩 (Stable rank, Srank) 来衡量网络的表达能力.
参考文献
- Kumar, A., Agarwal, R., Ghosh, D., and Levine, S. Implicit under-parameterization inhibits data-efficient deep reinforcement learning. In International Conference on Learning Representations, 2021.