6月8日上午，“AIR大师对话”系列活动第三期在图灵报告厅举行，本次活动主题为：The Future of AI and Society: A Conversation on the Impact and Risks of AI Development （“AI和社会的未来：谈AI发展的影响和风险”）的活动。该活动由中国工程院院士、AIR院长张亚勤教授主持，邀请美国麻省理工学院教授、未来生命研究所创始人、《生命3.0：人工智能时代，人类的进化与重生》作者Max Tegmark教授和英国剑桥大学计算与生物学习实验室主任David Krueger教授，就AI发展的所带来的潜在影响、风险及如何监管进行了深入的交流和讨论。
活动现场照片
张亚勤教授从Max Tegmark教授撰写的书籍《生命3.0：人工智能时代，人类的进化与重生》引入对话，生命1.0指的是生物学上的起源，生命2.0指的是人类文化上的发展，生命3.0则是指人类技术的时代，以及未来某天可能出现的能够学习并重新设计自己的硬件和内部结构的人工通用智能等新兴技术。书中提到了先进技术发展的短期效应，如技术失业、AI武器和追求人类水平的AGI（人工通用智能）及其可能带来的潜在结果，如社会结构的改变、人类和机器的整合，以及正面和负面的情景。那么，我们现在到底处在一个什么样的时代，我们离生命3.0时代还有多远呢？
Max Tegmark 教授表示，我们正处在一个机遇与风险并存的时代，非常令人振奋，短短数月就看到大模型技术及其应用光速发展，几乎是瞬间席卷全球，影响着整个人类社会的生产生活方式。一切都令人们感觉AGI时代仿佛就要到来了。然而，在迎接AGI为整个人类社会带来便利和福利的同时，Max Tegmark教授和David Krueger教授呼吁大家：在享受便利的同时，我们必须需要意识到AI带来的潜在风险与挑战，并让AI的研发和使用更加可控和安全，否则，我们可能将做出了人类历史上最严重的错误。
Max Tegmark教授
正是出于对AI未来发展的影响力和潜在风险的关注，Max Tegmark教授创立了非营利组织“生命未来研究所（FLI）”，旨在减少人类面临的全球性灾难和生存风险，特别是先进人工智能技术带来的风险。而David Krueger教授所在的剑桥计算与生物学习实验室（CBL），在利用工程方法来理解大脑和开发人工学习系统的研究的同时，也在密切关注着因为人工智能系统的可解释性差而可能带来的潜在风险。此外，三位教授近期还联合签署了Statement on AI Risk，呼吁大家在关注技术变革的同时，不要忽视潜在的风险。
在本次对话中，三位教授着重讨论了AI未来发展的风险和挑战，以及我们应该如何监管或应对。教授们认为，AI的主要发展风险和挑战在以下几个方面：
-
可解释性差。
AI的发展取得了惊人的进步，现在只需非常简单的training loss，即可训练出ChatGPT和GPT4这样成功的大型语言模型。然而，必须认识到，我们并没有真正了解AI成功的更深层次和更本质的原因，这导致我们无法解释AI的运行机制，从而管理其失控的风险。
-
AI的发展失控的可能性。由于缺乏可解释性，人类尚不清楚AI运行的内部机理，因此无法对AI行为做出准确的判断和预测。从而，AI可能会做出我们预料不到的行为。对于GPT4这样的大语言模型而言，这种失控我们尚可接受，因为它只是一个语言模型在回答人类的一些问题。如果我们让AI去控制核武器、生物科技或者参与军事，这些场景的失控将是灾难性的。
-
AI研发和其安全性研究不匹配。
AI研发的速度远远快于AI安全和可靠性相关的研究速度。AI研发的实际控制者往往不是政府等政策制定者，而是一些公司。公司为了最大化利益往往会忽视AI研发的安全性和可靠性，从而进一步加剧了AI潜在的风险和挑战。
David Krueger教授
关于如何应对和监管AI发展可能带来的潜在风险，Tegmark教授表示：从技术层面来说，我们可以利用AI去提高AI自身的可解释性。让AI去辅助人类给出自身的数学证明或让AI自证其安全性。亦即利用AI简化AI的高度复杂性，从而帮助人们理解AI。当我们能够利用完备的理论体系解释AI的行为，那一切的AI技术开发将可能完全受控于人类，从而解决了AI存在的潜在风险。当然这不代表我们需要停止AI的研发，而是在研发和应用的过程中经过足够充分的论证和验证，从而避免潜在的AI失控等风险出现。David Krueger教授表示，AI不是零和博弈，人类应该减缓“AI军备竞赛”的速度。当全球人类意识到AI潜在的风险可能会对人类社会造成不可估量的危害后，我们应该联合起来共同应对AI带来的风险和挑战；最后，从研究人员层面来看，科学家的责任和义务不仅仅是开发新的科技，而应与政府一起帮助广大使用者共同让AI的使用更加安全。
张亚勤教授
对话中，张亚勤教授强调了人工智能发展应秉持3R原则：Responsive（积极响应）、Resilient（适应发展）、Responsible（坚守价值）。他表示，我们在研究理论、算法和应用模型时，必须考虑技术的意义和可能带来的结果，并将伦理问题和价值观置于技术之上。这样才能更好地推进技术发展，建立更好的信任关系。在清华大学智能产业研究院（AIR），我们致力于做负责任的AI，了解不同行业的底层基础，分析技术将产生的影响和后果，通过技术创新，国际合作和治理，以及大规模使用人工智能来推进第四次工业革命。
本次活动是清华大学智能产业研究院（AIR）举办的“大师对话”系列活动之一，旨在邀请国内外知名的AI专家和学者，就AI的前沿技术、应用、发展趋势等话题进行对话和分享，为推动AI的科学研究和产业发展提供一个高端的交流平台。
Max Tegmark is a Professor at MIT, researching physics and Artificial Intelligence. He is also president of the Future of Life Institute and scientific director of the Foundational Questions Institute. His research has spanned cosmology and the physics of cognitive systems, and is currently focused at the interface of physics, neuroscience and AI. He is the author of more than 200 publications and the bestselling-books, Life 3.0: Being Human in the Age of Artificial Intelligence and Our Mathematical Universe: My Quest for the Ultimate Nature of Reality. His work with the Sloan Digital Sky Survey on galaxy clustering shared the first prize in Science magazine’s “Breakthrough of the Year: 2003." He has received a Packard Fellowship, Cottrell Scholar Award and an NSF Career Award. He earned a PhD in physics from the University of California, Berkeley.
David Krueger is an Assistant Professor at the University of Cambridge. He is a member of Cambridge's Computational and Biological Learning lab (CBL), where he leads a research group focused on Deep Learning and AI Alignment. David’s current research interests include: 1) formalizing and testing AI Alignment concerns and approaches, especially to do with learning reward functions, 2) understanding Deep Learning, and 3) techniques for aligning foundation models. His previous research has spanned many areas of Deep Learning, including generative modeling, Bayesian Deep Learning, empirical theory, and robustness. He is also a CSER research affiliate, and previously studied at Mila / University of Montreal, and Reed College; interned at the Future of Humanity Institute, DeepMind, and ElementAI; and worked as a contract writer for the Partnership on AI, and a career counselor for 80,000 Hours.
