论文阅读 - 提示词工程

Mon, 03 Aug 2026 00:00:00 +0000

视频生成模型并不只接收文字。对于图生视频模型，输入图片既是首帧，也是物体、空间关系和物理约束的主要载体。既然文字 Prompt 可以优化，为什么不能直接优化视觉 Prompt？论文 [] Unknown-material 因此提出一个相当自然的问题，把这种方法称为 视觉提示词工程 (Visual Prompt Engineering, VIPE)。

把输入图片视为 Prompt

一个视频推理样本记为 $(x_i,t_i)$，其中 $x_i\in\mathcal{X}$ 是视觉 Prompt，$t_i\in\mathcal{T}$ 是文字 Prompt。视频模型以二者为条件生成视频，并通过视频中的状态变化给出任务答案。

VIPE 只把原图 $x_i$ 替换为一个更适合模型推理的视觉变体 $v_i^*$。完整流程包含三个角色：

构思器 (Ideator)：提出应该如何改图；
编辑器 (Editor)：按照指令生成若干视觉变体；
筛选器 (Filter)：可选, 检查变体质量以及它是否忠实于原任务。

构思器 $I$ 接收一组任务样本 $X=\{(x_i,t_i)\}_{i=1}^k$ 和构思要求 $t_{\mathrm{ideate}}$，生成编辑指令：

$$ t_{\mathrm{edit}}\sim I(X,t_{\mathrm{ideate}}). $$

编辑器 $E$ 根据这条指令为每张图片采样 $m$ 个候选变体：

$$ V_i=\{v_{i,j}\}_{j=1}^m,\qquad v_{i,j}\sim E(x_i,t_{\mathrm{edit}}). $$

最后，筛选器用评分函数 $S$ 同时衡量图片质量和任务一致性：

$$ v_i^*=\arg\max_{v\in V_i}S(v,x_i). $$

这里真正困难的是在改动材质、背景和语义包装的同时，严格保持物体数量、位置、方向和任务规则不变。

算法视觉提示词工程 (VIPE) 输入 > 原始图片 $x_i$，文字指令 $t_i$，构思要求 $t_{\mathrm{ideate}}$，候选数 $m$，视频模型 $M$。 输出 > 视频模型生成的任务解答及其评分。 构思器根据任务规则生成视觉编辑指令 $t_{\mathrm{edit}}$，并显式列出不可改变的对象和空间约束。 编辑器对原图执行 $m$ 次随机编辑，得到候选集合 $V_i$。 筛选器比较候选图与原图，删除物体缺失、位置变化或任务语义被破坏的样本。 选择得分最高的 $v_i^*$ 作为新视觉 Prompt。 将 $(v_i^*,t_i)$ 输入视频模型，生成任务演化视频。 用任务专用评分器判断视频是否完成任务。

实验效果

有怀疑是：提升究竟来自写实，还是单纯来自把二维草图做成了有深度感的三维物体？作者又制作了一组拥有三维结构、却使用棋盘格等怪异材质的图片。多数模型在这组图片上与原始草图没有显著区别，说明只增加 3D 外观并不够，符合真实世界分布的材质与场景才是主要因素。

自动搜索视觉 Prompt

手动把草图改成台球场景依赖人的先验，我们不一定知道什么视觉包装更适合模型。论文比较了两种自动构造方法。

自由构思

最简单的方法是让 VLM 直接提出一个新的视觉语境。论文使用 Gemini 3.1 Pro 负责构思，Nano Banana 2 负责编辑，再由 Gemini 从五张图里选一张。构思器只知道任务规则，不接收下游视频得分，因此这是一个开环方法。

原子概念编辑

另一条路线是论文 [] Unknown-material 提出的 原子概念编辑 (Atomic Concept Editing, ACE)。自由构思一次改变整个场景，ACE 则每次只添加、删除或替换一个概念，例如：原图、背景改为深色、增加物体尺寸、给目标添加粗边框、把平面圆形改成磨砂黏土球。

ACE 从原图开始建立搜索树，由 VLM 提议原子编辑，图片模型生成子节点，再根据视频评分器反馈继续扩展。这是一个闭环搜索过程，代价更高，但能逐步确认究竟是哪一种修改产生了提升。

论文从成功节点中归纳出三个常见模式：

真实材质：把抽象元素变成磨砂黏土、粉笔板、金属轨道等有明确物理属性的物体，改善对象恒常性；
高对比目标隔离：使用深色背景、粗边框和清晰色块，引导模型关注任务对象；
语义简化：减少抽象修饰，把 “same-colored” 换成 “matching”、把 “the two” 换成 “both” 等更直接的表达。

值得注意的是，成功变体往往同时使用多种策略。这意味着 VIPE 在把图片变写实的同时，还共同调整材质先验、视觉注意力和任务语义。

视觉 Prompt 也是 test-time scaling

传统测试时扩展会对同一个 Prompt 多生成几次，再用多数投票或评分模型选答案。以 Veo 3.1 的 VPCT 实验为例，对原始草图采样 20 次并进行自一致性投票 [] ，准确率从 41.3% 提升到 50.0%；而只用一次人工设计的 VIPE Prompt，就能达到 59.3%。

二者并不冲突。在 VIPE 图片上继续采样 20 次，最终可以达到 68.0%。

成本也是论文很强调的一点。实验时生成一段 Veo 3.1 视频约需 3.20 美元，而包含五次图片编辑和筛选的一组 VIPE 变体约需 0.40 美元。也就是说，在固定预算下，与其反复对同一张图生成视频，不如先搜索更多便宜的视觉变体，再为每个变体生成少量视频。

这个结论可以写成一个简单的预算分配问题。若生成 $n$ 个视觉变体、每个变体采样 $a$ 段视频，总成本近似为：

$$ C(n,a)=n\left(c_{\mathrm{VIPE}}+a\,c_{\mathrm{video}}\right). $$

由于当前 $c_{\mathrm{VIPE}}\ll c_{\mathrm{video}}$，论文实验中的最优策略通常倾向增大 $n$ 而不是增大 $a$。这相当于把测试时计算从“重复尝试同一表示”转移到“探索不同表示”。

谁更重要？

视频模型同时接收文字和图片，二者都可以被优化。作者保持一侧不变，分别让构思器提出 20 个文字变体或视觉变体，再比较最好的候选：

任务	原始 Prompt	最佳文字变体	最佳视觉变体
VPCT 子集	57%	62%	73%
Conjunctive Search	4%	12%	62%
Sort 3 Numbers	4%	86%	76%
Connect the Dots	3%	35%	8%

总结说视频模型存在两个相互作用的 Prompt 空间，任务瓶颈在哪个模态，就应该优先搜索哪个模态。

为什么写实场景更容易推理？

作者认为 VIPE 主要弥合了输入表示和训练分布之间的差距。视频模型大概率见过大量真实视频，却没有见过同等规模的几个圆沿虚线移动视频。在抽象场景中，物体容易随机出现、消失、变形或交换身份；一旦初始条件都无法保持，后续推理自然无从谈起。

论文还让 Nano Banana 自己承担推理任务，直接生成“球落入某个桶”的结果图片。此时 VIPE 不再稳定有效：

Nano Banana Pro 图像输出只从 45% 提升到 50%；
Nano Banana 2 图像输出反而从 37% 降到 21%；
Nano Banana 2 直接输出文字标签时，原始草图达到 58%，高于 VIPE 的 50%。

同一个模型在文字输出上明显强于图片输出，说明模型可能知道答案，却无法稳定地把答案渲染成正确图片。论文把它称为 渲染瓶颈 (rendering bottleneck)。同时，这也表明写实偏好并非所有视觉模型共有的定律，更可能是特定模型训练分布与输入表示不匹配的结果。

Prompt Engineering on LeoDreamer