9月11日，第52期AIR学术沙龙如期举行，本期活动荣幸邀请到了清华大学智能产业研究院（AIR）教授李航，为清华师生带来一场题为《机器人基础模型的发展、机遇与挑战》的深度分享。
李航现任清华大学智能产业研究院（AIR）首席科学家、卓越访问教授。他是ACM会士、ACL会士、IEEE会士以及CCF杰出会员。他的研究领域包括机器学习、自然语言处理和机器人。
李航于1988年毕业于日本京都大学电气工程系，并于1998年获得日本东京大学计算机科学博士学位。他于1990年至2001年在日本NEC公司中央研究所担任研究员。2001年至2012年，他就职于微软亚洲研究院，担任资深研究员和主任研究员。2012年至2017年，他担任华为技术有限公司诺亚方舟实验室首席科学家及主任。他于2017年加入字节跳动，曾担任人工智能实验室总监及研究部门负责人。他曾在Seed带领机器人、AI for Science、Responsible AI团队。
李航一直活跃在学术领域。他已出版共9部中英文学术专著和教材。他撰写的《机器学习方法》（之前为《统计学习方法》）累计销售量超过36万册，被誉为中国机器学习领域的"蓝宝书"。他在顶级国际学术会议和期刊上发表了超过160篇研究论文，包括SIGIR, WWW, WSDM, ACL, EMNLP , NeurIPS, ICML, SIGKDD, AAAI, IJCAI，以及CL, NLE, JMLR, TOIS, IRJ, IPM, TKDE, TWEB, TIST, JCST。他与同事合著的论文荣获KDD 2008最佳应用论文奖，他指导的学生分别获得SIGIR 2008最佳学生论文奖和ACL 2012最佳学生论文奖。2023年，他因在人工智能领域的贡献荣获ACM-CCF人工智能奖。他的论文引用次数超过37000次，H-index为87。
李航参与了多项产品的开发，包括Microsoft SQL Server、Microsoft Office、Microsoft Bing、华为智能手机、华为应用市场、今日头条、飞书、字节教育、字节跳动Seed视频生成以及字节跳动Seed语音翻译。他拥有超过60项授权美国专利。
李航还在顶级国际学术会议和期刊中担任重要职务，包括担任SIGIR、WWW、WSDM、ACL、NAACL、EMNLP、NeurIPS、ICML、ICLR、SIGKDD、ICDM、ACML、IJCAI等会议的程序委员会主席、领域主席、高级程序委员会委员及程序委员会委员，以及担任CL、IRJ、TIST、JASIST、JCST、TOIS、CSL、TACL等期刊的编委。例如，他曾担任SIGIR 2017和EMNLP 2010的程序委员会主席。他在2022年担任ACL SIGDAT主席。
大模型的通用性为机器人研究带来了新的机遇：人们期待机器人能够走出固定环境，理解不同指令，并在多种场景中准确完成任务。要逐步实现这一目标，需要将模型能力与机器人软硬件设计结合起来，推动各个环节协同发展。
以“到隔壁房间取回笔记本”为例，李航教授将机器人需要完成的任务概括为操作、移动、运动、导航和交互。其中，操作直接关系到机器人能否帮助人类完成实际工作，也是他在报告中重点讨论的难题。抓取、叠衣服等任务涉及手与物体的接触，还可能伴随遮挡、堆叠和物体形变，难以在仿真环境中准确复现。这也使真实操作数据的采集成为当前训练机器人的重要途径。
操作能力的提升，需要兼顾通用性与准确性。例如，机器人不仅要能打开某一种门把手，还要适应形状、尺寸和结构各异的门把手，并准确完成动作。硬件能力同样影响这一目标的实现。报告中，李航教授谈到，高自由度灵巧手、触觉感知和力反馈仍有待完善，但现有夹爪与低自由度的手已能完成不少任务，可以在此基础上逐步探索实际应用。
视觉语言动作模型（Vision Language Action Model，VLA）是实现机器人操作能力的一条重要技术路线。它以语言指令、视觉信息和机器人当前状态为输入，预测后续动作轨迹，通常借助视觉语言模型（VLM）获得理解场景与指令的能力。李航教授通过GR3的演示，介绍了团队在这一方向上的研究。
训练VLA需要大量操作数据，但高质量的真机遥操作数据采集成本较高。为兼顾数据规模与质量，李航教授介绍了“数据金字塔”的思路：用互联网数据训练视觉语言模型，通过人类佩戴采集设备、模拟机器人操作获取较大规模的数据，再结合高质量的真机遥操作数据训练VLA。让采集设备与机器人硬件相匹配，有助于将人类示范用于机器人学习。
数据的价值也不只取决于数量。在现场交流中，李航教授结合团队经验谈到，重复采集同类操作，到一定规模后帮助会减小；多样化的环境、物体与任务，以及操作失败后由人接管并恢复的数据，往往更有价值。不过，需要多少数据才能获得怎样的泛化能力，目前仍缺少充分验证。硬件、数据与模型如何形成有效闭环，也需要在具体场景中继续检验。
数据条件也是理解不同技术路线的重要因素。与直接预测动作的VLA相比，世界动作模型（World Action Model，WAM）还加入了对未来视觉状态的预测。李航教授更看好以VLA为主的路线：在他看来，操作任务的目标是准确执行动作，预测背景、光照等信息可能带来冗余；当动作标注数据充分时，直接优化动作预测目标有望更加高效。不过，他也认为，目前仍缺少相同数据与推理成本条件下的充分比较，两条路线的适用条件及性能差异仍值得探索。
动作预测之外，机器人还需要理解环境、分解任务并与人交互。围绕这些需求，李航教授介绍了一种结合VLM、VLA与长期记忆的智能体架构。其中，VLM类似“大脑”，负责理解、推理、任务分解和对话；VLA类似“小脑”，负责具体操作与移动；长期记忆则保存后续任务可能用到的信息。报告中的演示展示了这一思路：机器人在收拾桌面的过程中与用户对话，并根据新的指令调整操作。
如果机器人长期在家中工作，用户自然希望它记住此前交代过的事情，而不必反复说明。针对这一需求，团队开发了多模态智能体M3Agent，将记忆策略与控制策略相对独立地设计：前者围绕人、物体、地点等实体组织多模态信息，后者在执行任务时检索并使用这些记忆。后续研究又引入控制策略对记忆策略的反馈，使记忆内容的选择更贴近任务需求。
对于这一架构的后续发展，李航教授希望进一步探索VLM与VLA的联合训练，让“大脑”与“小脑”在神经表示层面交互，而不只通过语言指令衔接。目前，如何有效实现这种联合训练仍是有待研究的问题。
机器人模型的训练与评测，还需要丰富、可控的环境。为此，李航教授介绍了世界建模的另一类用途——构建世界模拟器。它通过三维仿真环境支持机器人的测试，并探索为不同任务生成训练数据的可能性。
团队开发的Lucida采用Real-to-Sim思路，从真实视频中识别物体、恢复三维表示，再结合空间关系推理完成场景布置。李航教授介绍，相比从零生成三维世界，从已有视频重建环境可以降低构建难度与计算成本，为机器人测试提供更多场景。
不过，能重建场景，并不意味着已经能够准确模拟所有操作过程。报告中，李航教授区分了仿真在不同任务中的作用：移动、运动等任务已经可以借助仿真生成数据和训练模型；操作任务可利用仿真辅助测试，但要获得高质量训练数据，仍需更真实地模拟手与物体的接触。因此，他认为当前应并行推进真实数据采集与模拟器研究，逐步拓展仿真的应用范围。
有了训练数据和模型，机器人能否在实际使用中继续积累经验、提高能力？李航教授以学习游泳作比喻：手把手示范可以帮助入门，真正掌握技能还需要自己练习。机器人也可以在学习示范数据的基础上，通过在线强化学习探索如何从与环境的交互中改进操作。
团队在穿鞋带任务中进行了相关实验，通过在线强化学习提高了任务成功率，但方法对差异较大的鞋型仍有局限。李航教授谈到，机器人在真实环境中试错还可能损伤自身硬件，在线强化学习需要在更多实际场景中验证。在他看来，持续学习也不应局限于这一种方法，还可以结合长期记忆等机制展开探索。
如何衡量这些研究带来的能力提升，也是李航教授关注的问题。报告最后，他建议建设更大规模、可信的公开测试集，完善评测体系，使不同模型的能力能够得到比较。对于应用前景，他预计，随着真实数据的持续积累、硬件的改进以及模型训练与实际应用之间反馈机制的完善，未来三年通用智能机器人有望在部分场景中实现落地。而要进入家庭、适应更复杂的环境，仍需进一步提升通用性、操作精度与持续学习能力。
最后，也欢迎大家申请李航教授团队的实习机会，尤其是对机器人自我进化、机器人学习、多智能体与长期记忆、机器人基础模型等研究方向感兴趣的同学。具体研究方向及联系方式如下：
简历投递：airhr@air.tsinghua.edu.cn，邮件请注明“机器人方向”
