7月14日至7月26日,2024国际基础科学大会在北京举行,大会吸引了来自世界各地的顶尖科学家和学者,共同探讨基础科学领域的最新进展和未来发展方向。
在本次大会中,理论计算机与信息科学领域的三位图灵奖得主——姚期智、Adi Shamir和Leslie Valiant,分别带来了精彩的演讲,分享他们在计算机科学领域的前沿研究成果和深刻的学术见解。
三位大师分别探讨了计算机科学中“提出好问题”的重要性、多项式时间内神经网络模型参数分析提取的新方法,以及“可教育性”概念对人类文明成就的解析。这些报告在与会者中引发了广泛关注和热烈讨论,成为本次大会的一大亮点。
姚期智
探讨计算机科学中“提出好问题”的重要性
7月15日上午BIMSA A2报告厅,世界著名计算机学家、2000年图灵奖得主姚期智教授作了题为“通过提出好问题来建立计算机科学”的精彩报告。在演讲中,姚先生深入探讨了在科学研究中提出好问题的重要性,并通过多个领域的实例说明了提出好问题的过程在计算机科学中的重要作用。
姚先生指出,科学的发展离不开问题的提出和解答。通过提出新颖、有趣的问题,可以引导出新的理论、猜想,或者揭示看似不相关的问题之间的联系。他引用了著名文学家萧伯纳的经典名言,“人们看到事物的本来面目,然后问为什么;但我梦想那些从未存在的事物,然后问为什么不”,来说明科学研究中发现自然现象和探索新应用的两种问题类别。姚先生列举了牛顿和高锟两位科学家的例子,即牛顿因传说中观察到苹果落地的自然现象并思考“为什么”而最终提出万有引力理论,而高锟则因解决“为什么不用光纤来进行互联网通信”的问题而获得诺贝尔奖,来阐述了这两类问题都能引领科技的重大创新和进步。
姚先生强调,好的问题往往会导致伟大的创新,并且好的问题往往非常富有想象力。比如“我们能飞吗”的问题,导致了飞机的发明;“声音能被记录吗”的问题,导致了录音机的发明;以及“我们能击败细菌吗”的问题使青霉素的发现成为可能。在演讲中,姚先生通过物理学的实例,进一步展示了好问题的重要性。他详细讲述了著名物理学家麦克斯韦在年轻时解决1856年亚当斯奖问题“什么使土星环保持稳定”的案例。麦克斯韦提出了土星环由大量小颗粒组成的理论,并因其论文《On the Stability of the Motion of Saturn's Rings》而获得了亚当斯奖,这一理论后来在1980年被航天器拍摄的照片证实。姚先生认为,这一案例充分体现了科学问题的探索过程及其重要意义。
在谈到计算机科学中的好问题时,姚先生以图灵奖得主艾伦·图灵1950年提出的“计算机能否模拟人类行为”的问题为例,解释了这一问题对人工智能领域的深远影响。图灵提出的“图灵测试”成为衡量机器智能的重要标准,虽然当时计算机科学尚未形成正式学科,但这一简单却深刻的问题激发了无数科学家对人工智能的探索热情。姚先生接下来回顾了计算机科学发展的历程,从1960年代的主机计算,到1970年代末和1980年代初个人计算机的出现,再到互联网的兴起,他指出每一次计算模式的变革都极大地推动了计算机科学的发展,并引发了新的研究领域和理论的诞生。
在密码学领域,姚先生介绍了多方安全计算(MPC)模型,并指出MPC的核心问题是如何在保护各参与方隐私的前提下,完成联合计算。姚先生详细阐述了“百万富翁问题”的问题和解法,展示了在不泄露私人信息的情况下,如何比较两个数值的大小的问题,并为观众揭示了围绕问题来进行科学探究的过程。姚先生还讨论了通信复杂性这一领域,探讨了如何通过最小化通信成本来提高分布式计算效率的问题。他通过具体例子说明了通信复杂性如何在实践和理论上产生深远影响,并指出通信复杂性在计算复杂性研究中的重要性。
最后,姚先生回到人工智能的主题,回顾了AI从图灵测试提出以来的发展历程。他回顾了人工智能在20世纪的起起落落,强调了深度学习在21世纪的崛起及其对计算机科学的巨大影响。姚先生认为,图灵测试的提出虽然已过去70年,但其带来的问题和挑战仍在不断推动人工智能领域的进步。尤其是近年来,深度学习在图像识别、围棋对弈和蛋白质折叠等领域取得了突破性成果,表明AI已经接近通过图灵测试。他号召计算机科学家们继续提出和探索新的问题,以推动人工智能和计算机科学的发展。
姚先生总结道,提出好问题是科学研究的重要艺术,并鼓励研究者们找到适合自己的提问方式。他认为,一个好的问题应该是漂亮的,即简答、新颖、令人惊讶;也应该是重要的,即人们关心其答案;并且应该具有普遍吸引力,能够超越学术界限,引起广泛关注。
姚期智教授是著名的计算机科学家,他在复杂性理论、密码学、量子计算和通信复杂性等多个计算机科学分支都做出了重要贡献。他提出的姚极小极大原理在分析算法效率方面发挥了关键性作用,使其成为计算复杂性理论的核心基石。此外,他在公钥密码系统、量子计算领域的研究,为安全通信和高级量子信息理论奠定了坚实的基础。姚期智教授于2000年获得享有计算机科学诺贝尔奖之称的图灵奖,并获得1996年获高德纳奖,2021年获京都奖,2024年获基础科学终身成就奖。
Adi Shamir
揭示多项式时间内神经网络模型参数分析提取新方法
7月15日下午,BIMSA A3-2-102报告厅,世界著名密码学家、图灵奖得主Adi Shamir教授发表题为“多项式时间的神经网络模型密码分析提取”的演讲,详细介绍了如何在多项式时间内从黑箱实现中提取深度神经网络(DNN)模型的参数。
当前,全球每年在训练深度神经网络上的投入达数十亿美元,同时消耗了无数GPU小时。尽管如此,很多公司在训练完模型后并不会公开其内部参数,只允许外界通过黑箱操作来调用模型。这种做法引发了一个重要问题:在仅能进行黑箱操作的条件下,窃取这些神经网络模型的难度有多大?
Shamir教授首先回顾了这一领域的历史研究。早在1994年,Charles Fefferman就证明了基于sigmoid的神经网络的内部参数可以通过其输入输出关系唯一确定。然而,这一结果并未说明提取这些参数的具体难度。当前最好的算法由Carlini、Jagielski和Mironov在Crypto 2020会议上提出,其方法类似于针对嵌入在黑箱实现中的密钥的差分选择明文攻击,凭借 ReLU 神经网络是分段线性函数这一事实,利用在临界点的查询会揭示有关模型参数的信息的性质,可以有效地窃取黑箱模型的参数。这种方法虽然只需要多项式数量的查询,但时间复杂度却是指数级的,最终他们仅在极小规模的DNN中验证了他们的方法。
之后,Shamir教授在演讲中介绍了一种新技术,能够在在多项式查询次数和时间内精确提取ReLU为基础的深度神经网络的所有实值参数。Shamir教授将分组密码的差分密码分析(differential cryptanalysis of block ciphers)的思想应用于神经网络参数提取,通过选择适当的输入变化方向,可以最大化某些神经元输出的变化,从而更有效地提取参数。Shamir教授阐述了DNN的基本原理及其非线性特性,分析了其与分组密码(block ciphers)的内在相似性。Shamir教授指出,通过利用网络中存在的内部对称性及其影响,可以有效减少计算复杂度。Shamir教授详细讲解了方法的细节,方法采用逐层推进的手段,每次只考虑恢复某一层的网络参数,并剥离该层以继续处理下一个隐藏层。
Shamir教授通过对CIFAR10数据集分类的一个全尺寸神经网络的实际应用,展示了这一方法的实用效率。该神经网络具有3072个输入节点、8个隐藏层,每层256个神经元,总共约120万个神经元参数,而Shamir教授的新方法在一台256核计算机上提取其参数仅需30分钟。这一结果证明了新方法的理论可行性,更展示了其在实际应用中的强大潜力。
Shamir教授的研究成果为深度学习模型的安全性提供了新的视角,也为未来在安全与机器学习交叉领域的进一步研究提供了坚实的基础。他在演讲的最后表达了对这一领域未来研究方向的展望,并鼓励更多的研究者投身于这一具有挑战性和前景的研究领域。
Adi Shamir教授是世界计算机科学家,他是RSA加密算法的联合发明者之一,这一算法已成为现代网络安全的重要基石。Shamir教授还在密码分析、零知识证明、以及秘密共享等领域做出了重要贡献。他于2002年获得计算机领域的最高荣誉——图灵奖,2023年获基础科学终身成就奖,2024年获沃尔夫奖。
Leslie Valiant
提出“可教育性”概念解析人类文明成就
7月16日上午,BIMSA A2报告厅,著名计算机科学家、图灵奖获得者Leslie Valiant教授发表了一场题为“Educability”的演讲,深入探讨了人类之所以能发展出复杂文明的核心能力。他提出了一个新的概念“可教育性(Educability)”,并详细阐述了这一概念如何解释人类独特的成就。
Valiant教授指出,尽管“智能”常被用来描述人类的卓越能力,但目前没有一致的定义能够明确解释智能的行为表现。因此,他提出需要一个行为上更明确的概念来替代智能,这个概念必须在计算上是可行的。教授提出“可教育性”这一能力,它综合了从经验中学习、从他人处学习以及将这两种学习方式结合并应用到具体情境中的能力。
Valiant教授进一步解释了“可教育性”的三个组成部分:首先,通过经验归纳获得信念和知识,这类似于目前广泛应用于机器学习中的“可能近似正确(Probably Approximately Correct,PAC)”模型;其次,将学到的知识和信念结合起来应用于具体情况;最后,通过他人的描述和讲授获得知识。这些能力的结合,使得人类能够不断进步和发展出先进的技术和科学。
他特别提到了大规模语言模型在生成流畅的文本方面的表现,这表明通过计算明确的任务可以有效模拟人类的能力。但他也指出,当前机器学习模型主要擅长的是从例子中学习,并未涵盖更广泛的人类能力。因此,“可教育性”概念的提出,旨在拓展计算模型的应用范围,更全面地模拟和理解人类的能力。
在演讲的最后,Valiant教授提出了六个基于“教育能力”概念的研究方向。他强调,通过计算模型更好地理解人类能力,不仅能够为未来的科技发展提供目标,还能为教育方法提供更科学的基础。
Leslie Valiant教授是著名的计算机科学家,因其在计算理论方面的杰出贡献而获得了2010年的图灵奖。他的工作包括创建了PAC(Probably Approximately Correct)学习理论,这是机器学习理论的基石之一。此外,他在计算复杂性理论、并行计算和进化计算方面也做出了重要贡献。2024年,Leslie Valiant教授获基础科学终身成就奖。
文字:胥森哲
编辑 / 排版:张妍
审核:牛芸 雍稳安