新闻中心

当前位置: 首页 > 新闻中心 > 学术简报 > 正文

AIR学术｜西湖大学于开丞：浅谈自主智能——Autolab 的视角

来源：       发布时间：2024-12-04
主讲人 时间
地点 精彩回顾
11月28日下午，由DISCOVER实验室主办的第三十八期AIR青年科学家论坛如期举行。本期活动荣幸第邀请到了西湖大学工学院助理教授于开丞，为AIR的老师和同学们做了题为 Large Visual-Centric Models in Society Autolab Perspective的精彩报告，本次活动由清华大学智能产业研究院（AIR）助理教授龚江涛主持。


讲者介绍

于开丞博士，西湖大学工学院博士生导师、助理教授，人工智能企业KMina联合创始人兼首席科学家。 于开丞先后于2016年获香港大学工学学士(一等茉誉)，2021年获瑞士洛桑联邦理工大学(EPFL)计算与通讯科学理学博士学位。 其研究的主要方向为3D视觉、自动驾驶、自动机器学习等，并先后在因特尔智慧系统实验室(Intel Intelligent Systems Lab),Abacus.AI,阿里巴巴达摩院从事相关领域的研究工作。 加入西湖大学后，其负责组建自主智能实验室(AutoLab)并致力于构建基于数据驱动世界模型为核心的的下一代自主智能系统。 于开丞博士主持多个国家、省部级、校企合作项目，并作为首席科学家联合创办人工智能企业Kind。

报告内容

在本次报告中，于博士系统地介绍了他的研究方向，首先是在大模型的基础上建立更为先进的智能体系统，涉及探索虚拟与物理世界两个方向的结合，通过模拟和现实场景的互动，推动自动驾驶，具身智能（Embodied AI）在实际应用中的发展。 此外，博士还介绍了多模态信息的集成对于连接虚拟与物理世界的重要性。
于博士讨论了自监督与无监督学习在视觉数据处理中的局限性，认为与NLP相比，视觉领域仍需依赖监督学习，获取更多高质量数据是解决视觉问题的关键，故而他的多数工作专注于3D数据生成。
由于3D数据的标注非常复杂，尤其是在运动物体的情况下，传统的手动标注效率低且费时，于博士介绍了团队构建的3D检测模型，通过该模型生成标注框，并将其投影到2D图像中，同时进行跟踪以获取轨迹。核心问题在于，3D检测模型的性能提升可以降低人类标注的需求，从而促进规模扩大。
undefined于博士分享了关于多模态融合的研究动机，强调了在激光雷达数据失败时如何通过鸟瞰视图（BEV）层面融合来提高检测效果。他指出，激光雷达在面对局部失效（如被污物遮挡）时显得脆弱，且激光雷达数据迁移性差，需要构建鲁棒的融合模型。
实验结果显示，采用BEV融合的模型在鲁棒性和检测精度上显著提升，精确度大幅超过了人工反复校对的数据集，证明了多模态融合的有效性。
在数据生成方面，于博士给出了团队的三个研究方向：LiDAR仿真，NeRF联合LiDAR与摄像头数据，以及利用合成数据驱动自动驾驶引擎的自我改进。
在LiDAR仿真方面，于博士说明了传统的激光雷达数据通过叠加激光雷达点生成3D模型，重建方法存在局限性，在生成新视角时会出现误差和人为空洞。生成的点云具有固有的模式，导致生成的点云与现实世界不一致，这限制了其应用效果。
4903B
此外，于博士讨论了激光雷达数据生成的传统方法及其局限性。他指出，传统的重建方法在生成新视角时会出现误差和人为空洞，导致生成的点云与现实世界不一致。为了克服这些限制，他提出采用隐式渲染（implicit rendering）技术，借鉴NeRF的思路，将camera model换成lighter model新的建模方式，取得了显著的效果。
43209
在NeRF联合LiDAR部分，于博士指出，在做多视角的多模态融合时，发现单模态（如Camera或LiDAR）生成的场景信息在融合时容易出现模型不一致性，导致最终结果的表现不理想。通过引入几何约束对生成的绝对坐标进行优化，可以显著改善单模态和多模态的建模质量，使其更加干净和一致。在实验中，改进后的多模态融合效果明显优于单模态，进一步验证了多模态融合的优势。
6CF07
此外，于博士进一步介绍了基于结构化世界模型的视频生成方法，用以模拟驾驶场景，从而推动端到端自动驾驶的发展。该方法通过投影 BEV（鸟瞰视角）布局生成高质量的合成数据，为模型训练提供了更真实、有效的数据支持。
4AAAA
在合成数据驱动方面，通过失败案例驱动（failure case-driven）的方法，将失败案例驱动的数据生成循环，分析关键案例，生成针对性数据。相比传统的随机数据生成方法，该方法在生成数据量显著减少的情况下，实现了更大的性能提升，验证了针对性数据生成在3D感知任务中的有效性。
在报告的结尾部分，于博士与在场的同学们进行了内容丰富而深入的交流。他们共同探讨了生成模型解决端到端驾驶的可行性，数据稀缺时如何高效数据采样，以及特征融合匹配数据分布的重要性。


文稿撰写 / 王　晗

排版编辑 / 王影飘


校对责编 / 黄　妍



下一条：AIR学术｜南京大学姚遥：Creating a Realistic 3D World

【关闭】

相关新闻

AIR学术｜西湖大学于开丞：浅谈自主智能——Autolab 的视角

11月28日下午，由DISCOVER实验室主办的第三十八期AIR青年科学家论坛如期举行。本期活动荣幸第邀请到了西湖大学工学院助理教授于开丞，为AIR的老师和同学们做了题为Large Visual-Centric Models in Society Autolab Perspective的精彩报告，本次活动由清华大学智能产业研究院（AIR）助理教授龚江涛主持。讲者介绍于开丞博士，西湖大学工学院博士生导师、助理教授，人工智能企业KMina联合创始人兼首席科学家。于开丞先后于2016年...

2024/12/04

AIR学术｜南京大学姚遥：Creating a Realistic 3D World

11月28日晚，由DISCOVER实验室主办的第三十七期AIR青年科学家论坛如期举行。本次活动有幸邀请到南京大学智能科学与技术学院的姚遥副教授，为AIR的老师和同学们做了题为Creating a Realistic 3D World的精彩报告。嘉宾介绍姚遥副教授是2022年国家级人才计划青年项目（海外）入选者。曾任苹果公司高级研究员，Altizure创始团队核心成员（被苹果收购）。2015年于南京大学获学士学位，2019年于香港科技大学获博士学位。主要研究方向...

2024/12/04

AIR学术｜西湖大学修宇亮：利用个人相册进行低成本数字人重建

9月12日早，由DISCOVER实验室主办的第三十五期AIR DISCOVER青年科学家论坛如期举行。本活动有幸邀请到西湖大学工学院助理教授修宇亮，为AIR的老师和同学们做了题为《Democratizing Human Digitization From Causal Photos》的精彩报告。讲者介绍修宇亮，将于2025年春季入职西湖大学工学院，担任助理教授、博士生导师，以及远兮实验室（Endless AI Lab, http://endless.do）负责人。个人主页链接：xiuyuliang.cn。拟于2024年底于...

2024/09/18

最新动态

业务合作：airoffice@air.tsinghua.edu.cn
招生招聘：airhr@air.tsinghua.edu.cn
联系电话：(010)82151160  

办公地点：北京市海淀区清华科技园启迪科技大厦C座12层

官方微信

京ICP备15006448号  |   版权所有©清华大学智能产业研究院