VISION-LANGUAGE-ACTION / MULTI-TASK LEARNING

研究进行中 · 投稿目标待定

VLA-MoE

共享策略与任务条件动作末端

多任务机器人策略应该共享到哪里,又需要多少任务专属容量?研究保留共享视觉语言表示与动作主干,在最终动作投影处加入极小任务组残差,检验它能否改善局部操作退化及训练波动。

OpenVLA-OFTLIBERO · 4 套件Action-Tail Residual4 训练种子 / 方法
当前重点

完整 Rank8 / Dense 主对照已完成;继续核查技术复跑、Rank7 与输出校准,并补充跨服务器测评。

· 本页展示该时刻的研究快照。

Rank8 · Macro 平均96.90%

± 1.36 pp · 四训练种子样本 SD

Dense · Macro 平均94.54%

± 3.68 pp · 同环境名义配方

观测均值差+2.36 pp

描述性差异 · 显著优势尚未确立

主对照模型8 / 8 已完成

每方法 4 种子 · 共 16,000 测评回合

LATEST PROGRESS

已完成的对照,正在推进的验证

2026-10-07 18:53(北京时间)快照

SMALLER TAIL测评已完成

Rank7 更小容量对照

seed2:96.30%;seed4:91.90%。两个固定终点模型均完成四套件全量测评。

正式测评回合4,000 / 4,000
仅两个训练种子;不同 seed 的变化方向不一致
EVALUATION测评进行中

跨服务器 Rank8 · seed3

训练已达到固定终点 9,375 更新;在独立服务器继续完成四套件闭环评测。

评测回合1,497 / 2,000
2 / 4 套件完成;完整 Macro 待测评结束
REPLICATION训练进行中

Dense · seed3 技术复跑

从基座重新训练,检查原 seed3 的局部低分是否再次出现。

优化更新6,413 / 9,375
同一训练 seed 的技术复跑,尚无最终成功率
REPLICATION训练进行中

Rank8 · seed2 技术复跑

从基座重新训练,检查原 seed2 长程任务退化的可重复性。

优化更新3,855 / 9,375
同一训练 seed 的技术复跑,尚无最终成功率

排队中 输出仿射校准 seed3 / seed1 尚未开始训练,计划在 Dense 复跑与测评结束后继续。技术复跑沿用同一 seed,单独归档,不算新增独立训练种子。

PRIMARY RESULTS

完整四种子 Rank8 / Dense 对照

主实验环境 AI088 · seed1 / 2 / 3 / 4

统一名义预算 · 固定最终检查点

四套件混合训练;microbatch4 × 梯度累计16 = 有效 batch64;9,375 次 optimizer updates。每套件 10 个任务 × 50 episodes,共 2,000 episodes / 模型;eval seed42。Rank8 使用 Oracle suite ID 选择残差。完整历史初始化、采样与增强随机流的一致性仍需审计。

四套件平均成功率每方法四个训练种子 · 条形以 0–100% 为尺度

Spatial

Rank8
97.65%
Dense
97.10%

观测差值 +0.55 pp

Object

Rank8
99.30%
Dense
98.90%

观测差值 +0.40 pp

Goal

Rank8
98.05%
Dense
91.20%

观测差值 +6.85 pp

Long

Rank8
92.60%
Dense
90.95%

观测差值 +1.65 pp

平均成功率(%)与训练种子间样本 SD(pp)
方法SpatialObjectGoalLongMacro
Rank897.65± 1.1799.30± 0.5398.05± 0.9492.60± 3.4496.90± 1.36
Dense97.10± 1.1698.90± 1.4391.20± 9.7790.95± 3.8494.54± 3.68
逐种子主结果 8 个模型 · 保留全部有效成绩
固定 9,375 更新检查点:四套件各 500 回合
方法 / 种子SpatialObjectGoalLongMacro成功回合
Rank8 · seed198.0%99.8%98.0%92.4%97.05%1941/2000
Rank8 · seed296.2%98.6%97.4%87.8%95.00%1900/2000
Rank8 · seed397.4%99.6%97.4%95.0%97.35%1947/2000
Rank8 · seed499.0%99.2%99.4%95.2%98.20%1964/2000
Dense · seed197.6%99.4%98.2%92.6%96.95%1939/2000
Dense · seed295.4%99.4%96.0%93.0%95.95%1919/2000
Dense · seed397.4%96.8%76.8%85.2%89.05%1781/2000
Dense · seed498.0%100.0%93.8%93.0%96.20%1924/2000

Rank8 总成功 7752/8000;Dense 7563/8000。同 seed 的 Macro 差值为 seed1 +0.10 pp、seed2 −0.95 pp、seed3 +8.30 pp、seed4 +2.00 pp。同一 seed 标签不保证历史随机流严格配对。

当前观测

Rank8 的四种子均值较高、观测波动较小;3/4 个同标签种子的差值为正。净增益约 87.8% 来自 seed3,需继续排查 Dense seed3 的 Goal 局部退化。

结论边界

四个训练重复尚不足以确认稳定、显著或普遍优势。Rank8 seed2 的 Long 低于 Dense seed2;未完成的测评与技术复跑均不进入这张主表。

± 为训练种子间样本标准差。16,000 次 rollout 来自八个训练模型,不能视为 16,000 个独立训练重复;旧 batch4 / 150k 与当前 batch64 / 9,375 协议不合并统计。

Method

当前方法:共享主体,专门化动作末端

V15 为主对照方法;V16 单列闭集路由验证。

01 · Input视觉、语言与机器人状态

双图像、任务指令与 proprio 输入 OpenVLA-OFT,学习共享的视觉语言表示和机器人状态映射。

02 · Shared Policy共享动作表征与输出映射

共享 LoRA、proprio projector、完整动作 trunk 和输出投影。PEFT 基座权重冻结,这些共享可训练模块在 V15 中继续联合更新。

03 · Private Tail套件级小残差专家

在最终 4096 → 7 动作映射上叠加专属残差。主对照使用已知 suite ID;V16 用共享 action-hidden 训练轻量专家选择器。

â = W₀h + b₀ + (α/r) BₑAₑh

h ∈ ℝ⁴⁰⁹⁶,â ∈ ℝ⁷;当前 r = α = 8。每个专家 32,824 个参数,四个专家共 131,296 个私有参数;动作 chunk 复用该投影。

参数与术语

  • 七维输出的修正矩阵最大秩为 7,rank8 应称“因子化残差”。
  • 保留共享结构与计算路径,不等于已经证明共享能力完全无损。
  • 末端残差仍通过隐藏表示把梯度传回共享 trunk,机制归因需要进一步对照。

路由与研究范围

  • 四个专家对应四个 suite / task-group,并非 LIBERO 的 40 个单任务专家。
  • V16 推理输入可不含显式 suite ID;训练监督仍使用 suite 标签。
  • 当前证据限定于同一机器人、同一动作空间和闭集任务;计算稀疏加速仍未验证。
研究脉络 V13–V17 · 从共享边界到动作末端

Trajectory

从共享边界诊断到最小末端容量

以模块消融收敛研究问题,再检验专家与路由的作用。

V13–V14任务专属容量应放在哪里?

从任务私有 LoRA、proprio projector 和完整动作头出发,与共享 Dense 路径做对照。记录到的分支退化推动研究转向更晚、更小的专门化位置。

模块消融共享 / 私有边界闭环成功率
V15共享动作路径 + 任务组末端残差

保留共享动作 trunk 和最终映射,只叠加零输出初始化的套件级因子化残差。研究从双套件扩展到四套件与多个训练种子。

Tail-Residual联合训练四套件
V16–V17路由与冻结主干适配

V16 使用 action-hidden 选择残差专家;V17 冻结官方联合模型,仅更新末端残差,并验证任务组级 checkpoint 组合。两条路线使用不同训练协议。

闭集监督路由Residual-onlyCheckpoint 组合
Research Question极小动作末端专门化能否改善多任务失稳?

当前要区分任务动作映射差异、因子化带来的优化路径变化,以及套件条件和动作归一化带来的校准需求。研究价值取决于受控证据能否回答这个问题。

ADDITIONAL VALIDATION

更小容量与跨服务器验证

补充证据按各自训练协议报告

Rank7:两个训练种子的正式四套件测评
方法 / 种子SpatialObjectGoalLongMacro成功回合
Rank7 · seed297.2%99.4%98.8%89.8%96.30%1926/2000
Rank7 · seed498.6%99.8%76.6%92.6%91.90%1838/2000

私有末端参数 114,884。相对同 seed Rank8,seed2 Macro 为 +1.30 pp,seed4 为 −6.30 pp;seed4 的 Goal 为 76.6%。两个种子的变化方向不一致,目前不据此认定 Rank7 足够或 Rank8 必要。

CROSS-SERVER CHECK独立环境 Dense 已完成,Rank8 补充测评进行中

AI081 Dense 四种子 Macro 为 88.53% ± 10.03 pp;这是跨服务器诊断组,不与 AI088 主对照合并计算。

独立服务器 Dense 原始结果 4 个种子 · 8,000 回合
AI081 Dense:独立环境四种子测评
方法 / 种子SpatialObjectGoalLongMacro成功回合
Dense · seed198.6%99.8%98.2%92.0%97.15%1943/2000
Dense · seed286.0%100.0%27.6%82.6%74.05%1481/2000
Dense · seed397.4%99.2%80.0%86.4%90.75%1815/2000
Dense · seed497.6%99.4%80.6%91.0%92.15%1843/2000
AI081 Rank8 seed3:仅已完成套件报告最终成功率
套件评测回合状态最终成功率
Spatial500 / 500已完成99.2%
Object500 / 500已完成99.0%
Goal279 / 500测评中—
Long218 / 500测评中—

1497/2,000 回合已执行;完整 Macro 尚未生成。跨服务器沿用 seed3,不能视为第五个独立训练种子,也不替换原主结果。

既有路由与冻结主干验证 V16 / V17 · 独立协议
V16 · Learned Routing专家训练与路由训练的两条路线
V16:单训练种子的四套件全量测评
训练路线预算Learned MacroOracle Macro
先训 V15 专家,再冻结策略训 router策略 b64 / 9375 + router b4 / 1000098.15%98.15%
从基座分阶段联合训练b64 / 937597.25%97.30%

先训专家路线中未观察到同 checkpoint 的路由性能损失;联合路线 Learned 比 Oracle 少 1 个 episode。两条路线的初始化和追加训练预算不同,这些单种子结果不能代表完整策略的跨种子稳定性。

V17 · Frozen Policy Adaptation任务组级 checkpoint 组合

本组结果依据 2026-09-25 实验报告:冻结官方四套件联合 checkpoint,仅训练 131,296 个末端残差参数;使用开发协议预先锁定选择规则,再进行同协议附加测评。

V17:两个新增训练种子的组合结果
训练种子最佳全局 checkpoint任务组 HybridHybrid − 最佳全局
seed21936/2000 · 96.80%1946/2000 · 97.30%+0.50 pp
seed31935/2000 · 96.75%1943/2000 · 97.15%+0.40 pp

两种子的描述性平均提升为 +0.45 pp,支持组合流程可执行的初步证据。新增 3e-5 学习率、单种子 5k 对照中,residual-only / Dense 续训 / 联合残差为 96.75% / 96.65% / 96.80%,表明性能差距依赖训练设置;统计可靠性和分布外泛化仍待验证。

NEXT STEPS

从完整对照走向可重复的机制证据

依据最新实验状态安排下一步

P0 · 进行中

技术复跑与失败任务审计

完成 Dense seed3、Rank8 seed2 的技术复跑与全量测评。保留原始低分,核查初始化、实际数据流、归一化和失败任务轨迹。

输出:独立复跑记录与解释边界
P1 · 部分完成

最小容量替代验证

Rank7 seed2 / seed4 已完成,表现随种子变化。继续输出 scale + bias 校准;必要时加入 suite 条件 Direct 残差,判断因子化容量是否必要。

输出:简单候选与当前方法的受控比较
P2 · 测评中

跨服务器与评测一致性

收齐 AI081 Rank8 seed3 的四套件结果,与同环境 Dense seed3 和原 Rank8 seed3 对照。进一步核查同权重跨机器 forward / rollout 的一致性。

输出:按环境单列的诊断证据
P3 · 计划

独立训练种子与机制确认

简单对照完成后锁定候选方法、共享初始化和采样协议,再使用预先固定的新训练种子与 Dense 配对确认。路由和泛化验证分别计入增量预算。

输出:与论文主张对应的闭环证据
更小容量对照:参数规模与进度
候选四套件私有参数当前状态要回答的问题
六维输出 scale + bias48seed3 / seed1 排队中逐维动作校准是否足够?
Direct residual · 7 × 4096114,688尚未启动同样的线性修正是否需要因子化?
Rank7 因子化残差114,884seed2 / seed4 已完成额外因子维度是否必要?
Rank8 因子化残差131,296四种子主结果已完成因子化优化路径是否具有独立作用?
较早 trunk 的 rank4 残差131,072条件性计划相近预算下末端位置是否更合适?

输出校准保留原 gripper 协议。候选尚未完成时不报告最终成功率;不通过挑选种子或删除技术有效低分来形成结论。

DATA & CODE

研究快照与来源

已完成结果与执行进度均标注来源时间

  • 四种子主对照 · 2026-10-04 审计

    Rank8 / Dense 八个固定终点模型,32 组套件原始计数与正式汇总一致。

  • 跨服务器 Dense · 2026-10-04 审计

    独立环境四个模型的最终结果;按服务器单列,不与主实验混合。

  • 执行状态 · 2026-10-07 18:53 快照

    只读监测记录中的 Rank7 最终结果、跨服务器测评回合与技术复跑更新步数。

  • V16 / V17 · 既有验证记录

    路由与冻结主干结果保留各自的初始化、训练预算和选择协议。

LET'S CONNECT

研究交流

欢迎围绕多任务 VLA、参数共享、动作专门化与机器人闭环评测交流。