引言

求真书院强调通识教育，旨在培养大师级“通才”。“求真大讲堂”是求真书院学生的通识必修环节，由求真书院院长丘成桐先生倡议设立，主题内容包罗万象，从人文诗词到天文科技，从沟通表达到艺术美学，皆聘请在各相关领域的知名学者讲授。求真书院鼓励学生通过汲取不同领域的知识，丰富学科知识体系，更充分地迎接未来的挑战。跟随大师步伐，共赴求真求美之旅。

主讲人

黄高，清华大学自动化系副教授，博士生导师。博士毕业于清华大学，博士后工作于美国康奈尔大学。主要研究领域为深度学习和计算机视觉，提出了主流卷积网络模型DenseNet。共计发表学术论文100余篇，被引6万余次，最高单篇引用超过4万次。获国家优青、CVPR最佳论文奖、达摩院青橙奖、世界人工智能大会SAIL奖、教育部自然科学一等奖、AI 2000人工智能最具影响力学者、《麻省理工科技评论》“35岁以下科技创新35人”等，担任IEEE-TPAMI、IEEE-TBD、Pattern Recognition等国际期刊编委和CVPR、ICCV、NIPS、ICML等国际会议领域主席。

深度神经网络是推动人工智能快速发展的核心技术之一，在计算机视觉、语音识别和自然语言处理等领域有着极其广泛的应用。本讲座将围绕深度神经网络的架构演进，回顾深度学习的发展历程，并介绍卷积神经网络、循环神经网络、Transformer等经典网络模型。讲座还将探讨在当前通用基础模型快速发展的背景下，神经网络架构研究可能存在的机会与挑战。

深度神经网络的基础

讲者首先介绍了人工智能在日常生活中的广泛应用，包括人脸识别、医学影像处理和辅助驾驶等。这些技术的核心是深度学习，而深度学习的基础是深度神经网络。

神经网络的发展历程

l 早期历史：1940年，Microlodge和Pizza提出了神经元的概念。1957年，康奈尔大学的Roseblood教授发明了感知机，这是人工神经网络的雏形。

l 第一次热潮和瓶颈：感知机的提出引发了第一次人工智能热潮，但由于其线性模型的局限性，无法解决复杂的非线性问题，导致了热潮的衰退。

l 多层神经网络和反向传播算法：1986年，Hinton等人提出了反向传播算法，使得多层神经网络的训练成为可能。多层神经网络的非线性特性使其具有了通用逼近能力，可以解决更复杂的问题。

l 支持向量机的兴起：在1990年代，支持向量机（SVM）因其优越的性能和稳定的训练过程，成为主流方法，导致了神经网络研究的再次低潮。

l 深度学习的复兴：进入21世纪后，随着计算能力的提升和大量数据的积累，深度学习再次兴起，深度神经网络在图像识别、语音识别等领域取得了突破性的进展。

深度神经网络架构的演进

深度神经网络架构的几个重要发展阶段：

l 快速发展阶段（2012-2015年）：以AlexNet为代表，深度学习在这一时期爆发，研究者们致力于构建更深的网络，如VGG和GoogleNet。

l 成熟阶段（2015-2017年）：ResNet和DenseNet等架构的提出，使得构建更深的网络成为可能，同时解决了深度网络优化难的问题。

l 轻量化阶段（2017-2020年）：随着深度学习的广泛应用，研究重点转向如何在移动设备等有限资源环境中实现高效的深度学习模型。

l Transformer的兴起（2020-2022年）：虽然Transformer在2017年被提出，但直到2020年才在计算机视觉领域取得显著成果，推动了深度学习的进一步发展。

深度神经网络架构的重要性

讲者指出，神经网络架构在深度学习中的核心地位，主要体现在以下几个方面：

l 表征能力：不同的网络架构决定了模型的表征能力，即模型能够学习和处理的任务的复杂程度。

l 优化难度：深度网络的训练难度与其架构密切相关，梯度消失问题在深度网络中尤为突出。

l 泛化能力：不同的网络结构影响模型在未见过的数据集上的表现，这是机器学习中的关键问题。

l 计算效率：网络结构的设计直接影响计算效率，特别是在深层网络中，这一问题更加显著。

当前的研究热点

当前大模型时代的到来，使得深度神经网络在多个领域展现出了巨大的潜力。例如，Alphago在围棋上的成功和ChatGPT在自然语言处理中的广泛应用，展示了深度神经网络的强大能力。

未来展望

讲座最后展望了深度神经网络的未来发展趋势。随着技术的不断进步，深度神经网络将继续在更广泛的应用场景中发挥重要作用，推动人工智能的发展。

总结

此次讲座通过回顾深度神经网络的发展历程，深入浅出地介绍了其基础概念和前沿技术，使听众对这一领域有了更全面的了解。讲者鼓励有数学基础的学生积极参与人工智能研究，期待未来有更多的创新和突破。