VLA / PARAMETER-EFFICIENT FINE-TUNING

AAMAS 在投

视觉-语言-动作模型参数高效微调的实证研究

Empirical Investigation of Parameter-Efficient Fine-Tuning in Vision-Language-Action Models

研究问题

不同机器人任务,适合怎样的微调方法?

将大型预训练 VLA 模型适配到机器人任务,需要兼顾控制表现与计算成本。本研究检验主要源于语言模型的 PEFT 方法,在多模态动作模型中是否仍保留相同优势。

研究同时考虑多模态融合、离散动作表示与不同适配机制的关系,并比较任务表现、显存占用和训练时间。

VLA 参数高效微调研究设置示意
研究设置示意,非定量结果图。

研究设置

六种方法,两类任务

适配方法

LoRADoRAQLoRAAdaLoRAHiRAIA3

比较低秩适配及其变体、结合量化的适配,以及激活缩放等方法在 VLA 中的表现。

任务覆盖

LIBERO 机器人操作,包含 Spatial、Object 和 Goal 任务;以及 R2R 视觉导航。

评测维度

任务成功率与导航指标、显存占用、训练时间;分别观察计算效率与任务质量。

稿件中的主要观察

阅读完整稿件

完整稿件保留密码访问;实验设置与定量结果表见论文 PDF。

打开论文阅读页 ↗