算法UI-TARS: GUI Rollout

输入 > 任务指令 $I$, GUI 环境 $\mathcal{E}$, UI-TARS policy $\pi_\theta$, 最大交互步数 $T$, 最近截图窗口大小 $m$, 统一动作空间 $\mathcal{A}$.

输出 > 任务完成结果 $r$, 执行轨迹 $\tau$.

1. 初始化 GUI 环境, 截图和交互历史:

   $$ s_0=\mathcal{E}.\mathrm{reset}(I) $$
   $$ o_0=\mathcal{E}.\mathrm{screenshot}(s_0) $$
   $$ H_0=\emptyset,\quad \tau=\emptyset $$

2. 构造模型输入:

   $$ h_t=\mathrm{Serialize} \left( I, H_t, o_{\max(0,t-m+1):t} \right) $$

   其中 $H_t$ 包含历史 Thought、Action 和必要的状态摘要.

3. UI-TARS 生成下一步:

   $$ (z_t,a_t)\sim \pi_\theta(\cdot \mid h_t) $$

   其中, $z_t$ 是 thought, $a_t \in \mathcal{A}$ 是 GUI action.

4. 如果 $a_t=\texttt{Finished()} $, 则停止执行, 进入评测阶段.

5. 如果 $a_t=\texttt{CallUser()}$, 则请求用户介入, 当前任务可记为需要人工帮助.

6. 否则, 将动作映射到真实 GUI 操作, 例如点击、输入、滚动、拖拽或快捷键:

   $$ s_{t+1}=\mathcal{E}.\mathrm{step}(s_t,a_t) $$

7. 获取新截图:

   $$ o_{t+1}=\mathcal{E}.\mathrm{screenshot}(s_{t+1}) $$

8. 更新历史, 记录轨迹:

   $$ H_{t+1}=H_t\oplus {z_t,a_t} $$
   $$ \tau \leftarrow \tau \cup {o_t,z_t,a_t,o_{t+1}} $$

9. 重复 2-8 步骤, 直到达到最大步数后停止.

10. 用任务评测器判断最终状态是否达成目标 $r=\mathrm{Eval}(s_T,I)$

11. 返回 $(r,\tau)$

算法UI-TARS: Thought Augmentation

输入 > 动作轨迹集合 $\mathcal{D}_{trace}$, VLM 标注器 $\mathcal{M}$, 早期 UI-TARS checkpoint $\pi_{\theta_0}$.

输出 > 带 thought 的轨迹集合 $\mathcal{D}_{thought}$.

1. 对每条轨迹和对每一步 $t$, 构造上下文: $$ \tau=(o_1,a_1,o_2,a_2,\dots,o_T,a_T) $$ $$ c_t=(I,o_{\le t},a_{\lt t}) $$
2. 使用 ActRe 方式, 给定当前上下文和目标动作 $a_t$, 反向生成 thought: $$ z_t=\mathcal{M}(c_t,a_t) $$
3. 约束 thought 覆盖以下 reasoning pattern:
   • task decomposition；
   • long-term consistency；
   • milestone recognition；
   • trial and error；
   • reflection.
4. 为减少“事后合理化”问题, 不提前给定真实动作, 使用 thought bootstrapping, 采样多个候选并选择能导向正确动作的思考-动作对: $$ (z_t^j,a_t^j)\sim \pi_{\theta_0}(\cdot\mid c_t) $$
5. 得到增强轨迹: $$ \tau^*=(o_1,z_1,a_1,\dots,o_T,z_T,a_T) $$
6. 返回 $\mathcal{D}_{thought}$

算法DigiRL: Offline-to-Online Training

输入 > 任务集合 $\mathcal{I}$, Android 环境 $\mathcal{E}$, 初始 VLM policy $\pi_\theta$, 离线轨迹数据 $\mathcal{D}_{off}$, 自动 evaluator $\mathrm{Eval}$, 最大步数 $H$, 训练轮数 $N$, instruction-level value $V_{\phi}^{inst}$, step-level value $V_{\psi}^{step}$.

输出 > 训练后的 device-control policy $\pi_{\theta'}$.

1. 初始化 replay buffer: $$ \mathcal{B}\leftarrow \mathcal{D}_{off} $$
2. 使用离线成功轨迹初始化 actor 参数 $\theta$.
3. 对 $n=1,\dots,N$, 执行 online 训练循环.
4. 从任务集合中采样一批 instruction $I_1,\dots,I_B\sim \mathcal{I}$, 并在多个 Android 模拟器中并行 rollout: $$ \tau_i=\mathrm{Rollout}(\pi_\theta,\mathcal{E},I_i,H) $$
5. 使用自动 evaluator 判断每条轨迹是否成功: $$ R_i=\mathrm{Eval}(I_i,\tau_i) $$
6. 将新轨迹加入 replay buffer: $$ \mathcal{B} \leftarrow \mathcal{B}\cup{(\tau_i,R_i)}_{i=1}^B $$
7. 训练 instruction-level value: $$ V_{\phi}^{inst}(I)\approx \mathbb{E}[R\mid I] $$
8. 训练 step-level value: $$ V_{\psi}^{step}(s_t,I)\approx \mathbb{E}[R\mid s_t,I] $$
9. 对每条轨迹计算 instruction-level 学习信号, 并只保留高学习信号的轨迹: $$ u(\tau,I)=R(\tau)-V_{\phi}^{inst}(I) $$ $$ \mathcal{B}_{inst} = \mathrm{TopK}_{\tau\in\mathcal{B}} \left(u(\tau,I)\right) $$
10. 对轨迹中的每个动作计算 step-level advantage: $$ A^{step}(s_t,a_t,I) = Q(s_t,a_t,I)-V_{\psi}^{step}(s_t,I) $$ 这里 $Q$ 就是蒙特卡洛得到的 Q 函数.
11. 用 doubly-robust 得到更稳定的 advantage 替代 10 中的结果: $$ \widehat{A}^{step}(s_t,a_t,I) = \lambda^{H-t}r(s_H,a_H,I) + \\ (1-\lambda^{H-t}r(s_H,a_H,I))\left(V_{\psi}^{step}(s_{t+1},I)+r(s_t,a_t,I)-V_{\psi}^{step}(s_t,I)\right) $$
12. 根据阈值保留 advantage 动作: $$ \mathcal{D}_{filter} = \{(s_t,a_t,I)\mid \widehat{A}^{step}(s_t,a_t,I) \gt 1/H\} $$
13. 用过滤后的动作更新 actor: $$ \theta \leftarrow \arg\max_\theta \sum_{(s_t,a_t,I)\in\mathcal{D}_{filter}} \log \pi_\theta(a_t\mid s_t,I) $$
14. 返回最终 policy $\pi_{\theta'}$.

算法GTA1: Test-Time Scaling Rollout

输入 > 用户任务 $I$, GUI 环境 $\mathcal{E}$, planner $\pi_P$, judge $\pi_J$, grounding model $g_\theta$, 每步候选数 $K$, 最大步数 $T$.

输出 > 最终 GUI 状态 $s_T$, 执行轨迹 $\tau$, 任务成功标记 $r$.

1. 初始化环境 $s_0$, 初始截图 $x_0$, 轨迹 $\tau = \emptyset$.
2. 对每一步 $t=0,1,\dots,T-1$:
3. 构造 planner 上下文$h_t$, 包括用户指令 $I$、历史动作、历史观察 $\tau$ 和当前截图 $x_t$.
4. planner 并行采样 $K$ 个候选动作: $$ p_t^1,\dots,p_t^K \sim \pi_P(\cdot \mid h_t) $$
5. judge 根据用户目标、当前截图和历史轨迹选择最合适候选: $$ j^\star = \arg\max_j \pi_J(p_t^j \mid I,\tau,x_t) $$ $$ p_t^\star = p_t^{j^\star} $$
6. 如果 $p_t^\star$ 是坐标型动作, 由定位模型预测点击坐标: $$ c_t = g_\theta(x_t,p_t^\star) $$ 之后构造真实可执行动作: $$ a_t = \mathrm{BindCoordinate}(p_t^\star,c_t) $$ 否则直接执行.
7. 在 GUI 环境中执行动作: $$ s_{t+1} = \mathcal{E}.\mathrm{step}(s_t,a_t) $$
8. 获取新截图: $$ x_{t+1} = \mathcal{E}.\mathrm{observe}(s_{t+1}) $$
9. 更新轨迹: $$ \tau \leftarrow \tau \cup {p_t^\star,a_t,x_{t+1}} $$
10. 如果 planner / judge 判定为结束, 或任务达到终止条件, 停止执行.
11. 返回 $(s_T,\tau,r)$

算法GTA1: Grounding GRPO

输入 > GUI 定位数据集 $\mathcal{D}={(x_i,p_i,b_i)}$, 其中 $x_i$ 是截图, $p_i$ 是动作, $b_i=(x_{\min},y_{\min},x_{\max},y_{\max})$ 是目标 UI 元素 bbox. 定位策略 $g_\theta$, 每个样本采样数 $N$.

输出 > 训练后的定位模型 $g_{\theta'}$.

1. 对每个样本 $(x_i,p_i,b_i)$, 由于 HTML parser 得到的 bbox 有时会因为 UI 动画、渲染延迟等原因和真实视觉元素错位, 先用 OmniParser 检测截图中的 UI 元素框, 然后丢弃和检测框最大 IoU 低于阈值的样本.
2. 策略直接采样 $N$ 个坐标预测: $$ o_i^1,\dots,o_i^N \sim g_\theta(\cdot \mid h_i) $$ 其中: $$ o_i^n=(\hat{x}_i^n,\hat{y}_i^n) $$
3. 对每个预测计算 click reward: $$ r_i^n = \mathbf{1} [ x_{\min}\leq \hat{x}_i^n \leq x_{\max} \land y_{\min}\leq \hat{y}_i^n \leq y_{\max} ] $$
4. 对同一组采样结果, 得到 advantage: $$ A_i^n = \frac{ r_i^n-\mathrm{mean}(r_i^1,\dots,r_i^N) }{ \mathrm{std}(r_i^1,\dots,r_i^N) } $$
5. 用 GRPO 更新定位策略: $$ \theta \leftarrow \mathrm{GRPO}(\theta, A) $$
6. 返回训练后的定位模型 $g_{\theta'}$.

算法AutoWebWorld: FSM 到可验证轨迹

输入 > Web 主题 $w$, 参考网站名称 $r$, FSM 生成器 $\mathcal{G}_{fsm}$, coding agent $\mathcal{G}_{code}$, 最大 BFS 深度 $L$.

输出 > 合成网站 $\mathcal{W}$, 验证轨迹集合 $\mathcal{D}$.

1. 根据主题生成候选 FSM: $$ F_0=\mathcal{G}_{fsm}(w,r) $$
2. 用验证器检查 $F_i$ 的页面、动作、动作影响和终止状态.
3. 如果检查失败, improver 根据错误位置生成新 FSM: $$ F_{i+1}=\mathrm{Improve}(F_i,\mathrm{Issues}(F_i)) $$ 重复直到得到有效 FSM $F^\star$.
4. coding agent 根据 $F^\star$ 生成可运行前端: $$ \mathcal{W}=\mathcal{G}_{code}(F^\star,r) $$ 如果 build 或运行失败, 将错误日志返回 coding agent 自修, 直到网站可执行.
5. 从初始状态 $s_0$ 开始, 在 FSM 图上 BFS. 对每个状态 $s=(p,\sigma)$, 只扩展满足 $pre(s,a)=1$ 的动作: $$ s'=T(s,a) $$
6. 当目标谓词 $G(s)$ 成立时, 保存语义轨迹: $$ (s_0,a_1,s_1,\ldots,a_T,s_T) $$
7. 将每个语义动作 $a_t$ 展开成预定义 GUI procedure, 例如 click / type / hover / scroll.
8. 用 Playwright 在 $\mathcal{W}$ 中回放 GUI procedure, 通过 selector 获取元素 bbox 并执行原子操作.
9. 如果任一步无法定位元素、无法执行或最终没有到达目标状态, 丢弃该轨迹.
10. 返回所有通过执行过滤的轨迹 $\mathcal{D}$.

算法Trifuse

输入 > GUI 截图 $V$, 用户指令 $Q$, MLLM $\mathcal{M}$, OCR 引擎 $\mathcal{O}$, 图标解析器 $\mathcal{C}$.

输出 > 目标元素坐标 $\hat{p}$.

1. 用 $\mathcal{M}$ 提取文本 token 到视觉 patch 的 attention.
2. 根据 token-image relevance 选择 $Q_{\mathrm{filter}}$.
3. 对每个候选 head 计算空间熵, 保留 $H_{\mathrm{filter}}$.
4. 聚合得到 attention heatmap $a_{\mathrm{attn}}$.
5. 用 $\mathcal{O}$ 检测文本 bbox 和文本内容, 计算 OCR relevance 并投影成 $a_{\mathrm{ocr}}$.
6. 用 $\mathcal{C}$ 检测图标 bbox 和 caption, 计算 caption relevance 并投影成 $a_{\mathrm{cap}}$.
7. 计算 consensus heatmap: $$ M_{\mathrm{cons}}=a_{\mathrm{attn}}\odot a_{\mathrm{ocr}}\odot a_{\mathrm{cap}} $$
8. 对每个模态选择高响应峰值, 用其他模态支持度动态放大或削弱, 得到 $M_{\mathrm{single}}$.
9. 融合: $$ M_{\mathrm{final}}=M_{\mathrm{cons}}\oplus M_{\mathrm{single}} $$
10. 从 $M_{\mathrm{final}}$ 中找到粗定位区域, 裁剪原图并放大.
11. 在裁剪图上重复 1-9, 输出最终坐标 $\hat{p}$.

算法HyMEM

输入 > 当前记忆图 $G=(V,E)$, 新成功轨迹 $\tau=(q,o_1,a_1,\ldots)$, 检索器 $\mathrm{Retrieve}$, VLM judge $J$.

输出 > 更新后的记忆图 $G'$.

1. 构造新轨迹检索向量: $$ v=[\mathrm{CLIP}_{txt}(q);\mathrm{CLIP}_{img}(o_1)] $$
2. 在已有轨迹节点中检索相似邻居: $$ \mathcal{N}=\mathrm{Retrieve}(v,G) $$
3. 将新轨迹、相似轨迹、对应截图和已有 strategy / attribute 输入 VLM judge.
4. judge 输出结构化决策: $$ d=J(\tau,\mathcal{N})\in\{\mathrm{ADD},\mathrm{MERGE},\mathrm{REPLACE}\} $$
5. 如果 $d=\mathrm{ADD}$, 则新建 strategy / attribute / trajectory 节点并连边.
6. 如果 $d=\mathrm{MERGE}$, 则把新轨迹作为补充证据接入已有节点, 并合并新属性.
7. 如果 $d=\mathrm{REPLACE}$, 则用新轨迹替换旧轨迹证据, 更新 attribute 连接.
8. 根据新共现关系增强 strategy 和 attribute 之间的边.
9. 返回更新后的图 $G'$.