引言

求真书院强调通识教育，旨在培养大师级“通才”。“求真大讲堂”是求真书院学生的通识必修环节，由求真书院院长丘成桐先生倡议设立，主题内容包罗万象，从人文诗词到天文科技，从沟通表达到艺术美学，皆聘请在各相关领域的知名学者讲授。求真书院鼓励学生通过汲取不同领域的知识，丰富学科知识体系，更充分地迎接未来的挑战。跟随大师步伐，共赴求真求美之旅。

主讲人介绍

段亦涛，网易有道首席科学家，计算机系博士，国家发改委人工智能专项项目技术负责人，目前全面负责网易有道技术创新与相关实践工作。重点研究领域是以深度学习为代表的最新AI技术在互联网领域的应用，包括机器翻译、图像识别等。近年来主导有道神经网络神经翻译等核心技术研究和开发，在多家国际顶级会议及期刊发表论文20余篇。2023年带领技术团队研发垂类大模型，成功推出全国首个教育大模型子曰。

讲座摘要

大模型以及AIGC是近年来AI技术重大的进展。它们不仅在很多任务上达到了前所未有的效果，在某些领域已经做到落地实用的水平。有道一直致力于AI技术在教育领域的探索。本讲座介绍相关技术的现状概览和发展趋势，以及有道在AIGC应用方面的积累和认知，从实践的角度探讨AI的价值和挑战。

讲座回顾

AI技术的发展与应用

主讲人首先介绍了AI技术的核心目标——理解和复制人类智能，并强调了在实际应用中检验AI技术效果的重要性。他指出，AI技术的发展与应用之间的紧密联系，尤其是大模型技术的出现，为AI的能力带来了新的期望。他提到，尽管技术不断进步，但找到合适的应用场景来驱动AI技术的发展至关重要。

大模型技术的应用与挑战

段一涛先生深入探讨了大模型技术，特别是大语言模型的当前技术状况、应用和挑战。他提到，大语言模型的架构并非全新，其核心基于Transformer模型，并通过自学习方式进行训练。他解释了大模型如何通过instruction tuning和alignment两个步骤，激发出新的能力，从而产生涌现能力（emergent abilities）。

构建大型语言模型的三个阶段

构建大型语言模型（LLM）分为三个阶段：

预训练（Pretraining）：构建强大的基础模型，具备语言生成、上下文学习、世界知识、推理和代码生成等能力。此阶段的挑战包括数据质量、训练稳定性和足够长的训练时间。重要的工作包括GPT-3、Gopher、Chinchilla和PaLM。

指令调整（Instruction-tuning）：解锁新的能力，如响应指令、新任务的泛化和思维链。此阶段的挑战在于扩展指令。重要的工作包括Instruct-GPT、FLAN、T0和Self-instruct。

对齐（Alignment）：与人类对齐，提供信息的响应、公正的响应和拒绝不当提示。此阶段的挑战包括对齐成本和语言模型混合。重要的工作包括ChatGPT、Sparrow和Anthropic RLHF。

心理理论与AI的未来发展

在讲座中，段一涛先生提到了"Theory of Mind"（心理理论）能力，并将其与大型语言模型（LLM）的能力联系起来。主讲人指出，当前的大型语言模型在心理理论能力上大约达到了一个9岁孩子的水平。这意味着模型在理解他人心理状态方面已经取得了一定的进展，但仍然有提升的空间。他强调了心理理论能力在AI未来发展中的重要性，尤其是在教育和人机交互领域，这种能力可以帮助AI更好地适应和理解人类的需求和情感。心理理论与AI的交互：在有道的教育应用中，心理理论能力可能被用来提升AI的交互质量，使得AI能够更准确地响应学生的需求，提供个性化的教学和反馈。

有道的大模型实践

有道将AI技术应用于教育领域，开发了包括软件、硬件和服务在内的多种产品，如翻译、词典、词典笔和学习机等。有道还提供培训服务，并通过开放平台与合作伙伴如华为、OPPO等分享其技术能力。有道在大模型技术方面的实践，包括开发名为“子曰”的大模型，并在教育领域实现落地应用。他介绍了有道的两大应用：Hiko（口语练习工具）和小p老师（AI老师），以及它们在翻译、文字处理、问答等方面的功能。这些应用展示了有道如何将AI技术转化为实际的教育工具，以提升学习体验和效果。

AI技术的未来展望

最后，主讲人对AI技术的未来进行了展望，指出尽管大模型技术存在局限性，但技术仍在不断发展，尤其是在推理能力和解数学能力方面取得了显著进步。他提到了OpenAI的GPT-4模型，并探讨了test time compute等技术方向，这些方向可能会进一步提升模型的推理和问题解决能力。

结语

段一涛先生的讲座内容丰富、见解深刻，为听众提供了AI技术在教育领域应用的宝贵洞见，并对未来的发展趋势进行了展望。通过本次讲座，我们对AI技术如何从机器学习转变为人类学习有了更深入的理解，并期待AI技术在教育领域带来更多的创新和变革。