浙江大学：DeepSeek技术溯源及前沿探索

　　浙江大学计算机科学与技术学院朱强教授的《DeepSeek技术溯源及前沿探索》解读来了。这是正经的计算机科班的解读。该报告主要是介绍大模型的发展历程和技术原理，分为五部分，从语言模型、Transformer架构、chatGPT一直讲到DeepSeek，并对新一代智能体进行前沿展望。

　　一、语言模型

　　1.语言模型的基本任务是计算词序列成为一句话的概率。报告从早期的统计方法(如N-gram)到基于神经网络的LSTM/GRU，再到Transformer架构的演进进行了详细讲解。

　　2.Word Embedding：通过低维词向量表示单词，使得语义相近的单词在向量空间中距离相近。报告还介绍了One-hot Encoding的局限性，并展示了Word Embedding如何解决这些问题。

　　二、Transformer架构

　　1.Transformer是当前大模型的技术基座，其核心创新在于自注意力机制(Self-Attention)和多头注意力机制(Multi-Head Attention)，这些机制使得模型能够并行计算并捕捉全局上下文信息。

　　2.报告详细解释了Transformer的训练机制，特别是如何通过Query、Key、Value的机制来实现对文本的理解和处理。

　　三、ChatGPT

　　1.ChatGPT是基于GPT-3.5的模型，通过人类反馈的强化学习(RLHF)进行微调，使其能够生成翔实、公正的回应，并拒绝不当问题。

　　2.报告还介绍了ChatGPT的技术演进路径，从GPT-3到GPT-3.5，再到ChatGPT的推出，展示了其在生成、创造和上下文学习方面的强大能力。

　　四、DeepSeek技术

　　1.DeepSeek是浙江大学自主研发的大模型技术，报告详细介绍了其技术演进路径，从DeepSeek-V3到DeepSeek-R1，再到DeepSeek-R1-Distill。

　　2.DeepSeek-V3对标GPT-4，采用了混合专家模型(MoE)和极致的工程优化，显著提升了模型的推理能力和训练效率。

　　3.DeepSeek-R1则通过强化学习和规则奖励机制，进一步提升了模型的推理能力，特别是在数学和编程任务上的表现。

　　五、新一代智能体

　　报告探讨了从大语言模型(LLM)到智能体(Agent)的演进，强调了智能体的核心能力是逻辑推理(系统2)，并介绍了智能体在任务规划、工具使用和记忆管理方面的能力。