具身VLA算法工程师

Responsibilities

(1) Vision-Language Model / World Model与 Action Expert 的融合。 (2)机器人策略模型、动作生成方法及长短时域动作建模机制，包括自回归策略、Difusion Policy、Flow Matching Policy 等。 (3)语言指令、视觉标记、目标状态、示范轨迹和历史观测等多模态Prompt的编码与条件注入方法。 (4)空间关系理解、任务分解、子目标生成、长时序决策及失败恢复等具身推理能力。 (5)多机器人、多本体和多末端执行器的统一动作表征; 2.参与机器人数据体系建设，包括数据采集、清洗、同步、标注、质量评估和数据配比设计;探索任务描述、目标图 像、视觉提示、示范轨迹及过程信息等多模态条件数据的构建方法，提升数据规模、数据质量及任务覆盖度。 3.设计并实现 VLA模型的训练流程，包括IL、Offine/Online RL、Test-Time Compute等训练范式，研究过程监 督、结果监督及推理能力向动作生成能力迁移的方法。 4.建立系统化的模型评测体系，从任务成功率、执行效率、鲁棒性、泛化性和安全性等维度评估模型能力，并针对目 标理解、空间推理、任务分解、约束遵循和失败恢复等能力开展专项评测。 5.与数据采集、机器人控制、硬件、仿真及平台工程团队协作，完成从数据采集、模型训练到真机部署的完整闭环。 6.参与技术文档、专利、论文、开源项目及Benchmark建设，提升团队在具身智能领域的技术影响力。

Requirements

1.计算机、人工智能、自动化、机器人、电子工程、数学或相关专业，硕士及以上学历。 2.具备扎实的机器学习和深度学习基础，理解Transformer、视觉编码器、多模态模型及生成式模型的基本原理。 3.熟练使用Python和PyTorch，具备完整的模型开发、训练、调试和性能分析能力。 4.对以下至少一个方向有较深入的理解或实践经验: (1)视觉语言模型、多模态大模型或多模态条件建模。 (2)多态 Prompt、In-Context Learning、Goal Conditioning 或示范条件策略。 (3)机器人策略建模与动作生成，包括多模态状态表征、连续动作序列预测及长时序策略建模。 (4)机器人模仿学习、离线强化学习或在线强化学习等策略训练与优化方法。 5.具备较强的工程能力，能够独立完成数据处理、模型训练、实验分析和算法部署。 6.具备良好的沟通与协作能力，能够与算法、数据、控制、硬件和平台团队共同推进项目。 7.具备较强的自驱力，能够持续跟踪具身智能、多模态模型及机器人推理领域的最新进展。 [加分项] 1.有VLA、VLM、机器人基础模型或通用机器人策略研发经验。 2.熟悉π系列、GR00T、RDT等相关模型或开源项目。 3.有大规模多模态模型训练经验，熟悉分布式训练、混合精度训练、模型并行、数据并行及训练稳定性优化。 4.有模仿学习、离线强化学习、在线强化学习、奖励模型、价值模型相关经验。 5.有真实机器人数据采集和策略部署经验，熟悉机械臂、灵巧手、移动机器人或双臂机器人系统。 6.有顶级会议论文、机器人竞赛、开源项目或具身智能相关产品落地经验。

Who this role is for

硕士及以上

Company overview