在最近的ICLR 2024会议上,清华大学智能产业研究院(AIR)共计14篇论文被录用,其中包括1篇Oral和3篇Spotlight。以下是这4篇论文的摘要解读,文末可获取完整论文打包下载方式。
O r a l
摘要:在本文中,课题组提出了几何贝叶斯流网络(GeoBFN)以一种和扩散模型从根本上不同的方式建模3D分子结构。贝叶斯流网络(BFN)通过采用独特的方法,结合贝叶斯推断来修改一组独立分布的参数,为几何生成建模带来了全新的角度。首先,GeoBFN对于分子几何结构中的不同模态采用了统一的概率建模方式;其次,关于3D原子坐标的建模,相比于扩散模型,贝叶斯流网络的输入方差显著较低,从而在对分子结构噪音敏感性上有更好的兼容性。此外,通过等变的依赖关系模块将几何对称性引入贝叶斯更新过程中。本文进一步证明了GeoBFN在概率建模上的SE-(3)不变性以及迭代更新的生成方式具有旋转平移等齐性;第三,利用BFN强大的概率建模能力,3D分子几何表示可以进一步优化为仅具有两个更加接近的模态表示:离散整数的电荷和连续的原子坐标。针对原本BFN对于连续整数变量生成存在的模式冗余问题,本工作在GeoBFN提出了早期模态搜寻的策略进行解决。借助于在方差较小的空间中操作,GeoBFN可以以任意步数进行采样,从而提供效率和质量之间的最佳权衡,如在保持和之前方法质量一致的前提下实现了20倍的加速。此外,GeoBFN是一个通用框架,可以轻易地扩展到其他分子任务。 文中对GeoBFN在多个基准测试上进行了全面评估,包括无条件和有属性条件分子生成任务。结果显示GeoBFN在分子稳定性和其他指标上始终取得了目前最佳生成性能。实证研究也表明在可控生成方面有明显的改善,并表明GeoBFN具有显著更高的建模能力和推理效率。
Spotlight
论文下载
上一条:Hinton、Bengio、张亚勤等签署共识:北京AI安全国际对话收官,搭建中外AI安全合作平台 下一条:AIR科研|AIR推出微调新方法OpenChat,显著提升开源模型性能
【关闭】
*本文转载自智源研究院3月10-11日,中国工程院院士、清华大学智能产业研究院(AIR)院长张亚勤出席“北京AI安全国际对话”,这是我国首个AI安全高端闭门论坛。本次对话由智源研究院发起,智源学术顾问委员会主任、AIR卓越访问教授张宏江与图灵奖得主Yoshua Bengio担任共同主席。Geoffrey Hinton、姚期智、Stuart Russell、傅莹、薛澜等30余位专家参会。与会专家围绕国际AI安全技术前沿研究、产业应用实践、政策引领等话题,在为...
在最近的ICLR 2024会议上,清华大学智能产业研究院(AIR)共计14篇论文被录用,其中包括1篇Oral和3篇Spotlight。以下是这4篇论文的摘要解读,文末可获取完整论文打包下载方式。 O r a l Unified Generative Modeling of 3D Molecules with Bayesian Flow Networks 作者 : 宋宇轩*, 龚经经*, 曲彦儒,周浩, 郑明月,刘菁菁,马维英 单位 ...
、清华大学智能产业研究院(AIR)与清华大学计算机科学与技术系、清华大学脑与智能实验室、上海人工智能实验室和北京零一万物科技有限公司合作,提出了一种新型大模型微调方法C-RLFT(Conditional Reinforcement Learning Fine-Tuning),充分利用混合质量数据显著提升开源模型性能(如将Mistral 7B在HumanEval上的性能从30.5提升至71.3),相关论文被人工智能顶级国际会议ICLR 2024录用。相应模型OpenChat在参数规模仅为7B的情...
业务合作:airoffice@air.tsinghua.edu.cn招生招聘:airhr@air.tsinghua.edu.cn 联系电话:(010)82151160
办公地点:北京市海淀区清华科技园启迪科技大厦C座12层
京ICP备15006448号 | 版权所有©清华大学智能产业研究院