✳相遇
导航

人工智能、蒸馏观念与推理的重新框定

17271 字
86 分钟
人工智能、蒸馏观念与推理的重新框定

原题: Artificial intelligence, conceptions of distillation and the reframing of reasoning
作者: David Beer、Benjamin N Jacobsen
作者单位: 英国约克大学
期刊: Big Data & Society,2026 年,第 13 卷第 2 期,4—6 月,1—12 页
DOI: 10.1177/20539517261442383
通讯作者: David Beer,英国约克大学;david.beer@york.ac.uk
原文文件: beer-jacobsen-2026-artificial-intelligence-conceptions-of-distillation-and-the-reframing-of-reasoning.pdf

译注:本译文依据所提供的 PDF 全文翻译,保留原文的论述、数据、文内引文和参考文献。“power without scale”译为“不依赖规模扩张的能力”,指缩小架构规模而保留能力,而非完全没有规模。文中“power”兼有模型能力与社会权力之意,按语境分别译出。参考文献保留原文书目信息,并附中文题名;原文中的年份和技术表述未作实质性校订。

摘要#

本文选取一个具体案例,考察概念如何塑造人工智能模型的发展,并提出:蒸馏概念的运用,正在促成人工智能领域对推理的一种特定的重新框定。蒸馏概念在人工智能开发文化中流通,并在近期的发展中呈现出特定形态。DeepSeek-R1 推理模型的发布,标志着人工智能发展方向上一个关键且可能具有颠覆性的时刻。本文探讨蒸馏概念如何成为这一模型的框定方式及其影响力的核心,以及这一概念未来将如何继续塑造人工智能。通过细读伴随 DeepSeek-R1 发布的研究论文,本文考察蒸馏这一人工智能研究中已有的观念,如何作为概念重新获得活力。文章探讨蒸馏如何参与推进我们在此所说的“不依赖规模扩张的能力”,继而直接考察蒸馏如何被用于重新框定推理,最后讨论如何确立推理的度量与基准测试,以验证蒸馏对人工智能模型的变革作用。本文关注蒸馏概念在塑造人们对人工智能的认知、人工智能基础设施、规划和预期方面所发挥的作用。

关键词: 人工智能;推理;DeepSeek;机器学习;模型;算法

引言#

DeepSeek-R1 推理模型于 2025 年 1 月 20 日发布,同时承诺提供“额外福利:开源蒸馏模型!”(DeepSeek API Docs,2025;原文附有表情符号)。这原本可能只是科技行业又一次例行的人工智能产品发布,却似乎彻底扰动了一个尚在形成、但已初具定势的人工智能秩序。通过重塑预期、重新配置投射于人工智能之上的未来图景,DeepSeek 的 R1 发布迅速成为一个广为人知的重大时刻。正如本文将要探讨的,这其中涉及我们所说的“推理的重新框定”。对人工智能未来的认知,受到一些概念的运用及其被赋予活力的过程的塑造;这些概念框定了人工智能的形式和方向,DeepSeek 案例就代表了这样的一个时刻。2025 年初,这些转变最直接地表现为一系列人工智能相关企业的估值突然调整,同时人工智能开发的既定方向也发生变化,包括其所依托的基础设施、芯片、容量、数据可得性和训练要求。在发布后的短时间内,报道中出现了某些令人难以想象的价值损失规模。例如,美国芯片制造商英伟达的股价在 DeepSeek 发布后大跌 17%,相当于损失了 5890 亿美元市值。此事被认为是历史上单家公司价值最大的单日跌幅(Saul,2025)。无论此后的估值如何变化,这一新模型的发布显然构成了一次冲击。

DeepSeek 推理模型的发布也引发了大量报道与评论,并迅速被视为一个关键时刻,至少给人的印象如此。它似乎使那些参与所谓“人工智能竞赛”的人感到“困惑”(Taylor,2024:10)。随之而来的种种宣言,表明这一行业存在国际竞争(见 Bloom,2025)。美国总统唐纳德·J. 特朗普称其为美国科技公司的“警钟”,强化了中美人工智能竞赛的地缘政治叙事(Koromi,2025)。硅谷风险投资家马克·安德森沿着类似的论路宣称:“DeepSeek-R1 是人工智能的斯普特尼克时刻”,借此指涉苏联将第一颗人造卫星送入轨道,以及由此开启的 20 世纪 50 年代太空竞赛。美国前总统乔·拜登于 2022 年对中国实施芯片及硬件出口限制之后,正如 Karen Hao 所说,DeepSeek“恰恰因为受限而创新,而不是克服限制后才创新”(引自 Hawkins,2025)。它似乎以远少于 OpenAI 等美国公司的资源,完成了同等程度的工作。然而,随着尘埃落定,Paul Taylor(2024:11)根据迄今呈现的情况得出结论:仍然“很难确切知道 DeepSeek 究竟有多大创新性”。Google DeepMind 首席执行官 Demis Hassabis 也表达了类似观点(Kharpal,2025)。不过,我们认为,它的重要性与 DeepSeek-R1 系统本身的概念框定有关,更具体地说,与将“蒸馏”用作一种概念和计算层面的框定工具有关。我们以此为例,考察概念如何框定并构想人工智能模型的条件与形式。

社会科学领域已经有许多研究考察了算法系统的政治经济条件(Cheney-Lippold,2024;Crawford,2021;Luitse,2024),尤其是大型语言模型的政治经济条件(Luitse and Denkena,2021),但本文并不剖析 DeepSeek-R1 模型的政治经济学。尽管模型的相对效能,以及围绕那个时刻流通的叙事和“人工智能的文化政治”(Cai,2025)显然十分重要,我们也不以它们为重点。本文所讨论的并非模型本身的具体运行机制,而是那些正在重新框定和重新描绘人工智能整体方向、理解方式与想象的基础性概念。我们具体考察 DeepSeek 如何运用蒸馏观念,主动推动对人工智能推理的重新框定。

伴随 R1 模型发布的解释性研究论文于 2025 年 1 月 22 日发表,题为《DeepSeek-R1:通过强化学习激励大型语言模型的推理能力》。这篇研究论文旨在叙述、解释并论证有关新 R1 模型的一系列主张。因此,细读其内容,我们便能看到这些叙事、解释和主张如何围绕某些概念锚点构建;这些锚点本身对于阐释该模型,以及确立更广泛的人工智能转型要求,都十分重要。我们不把智能、推理或蒸馏等概念视为人工智能发展的稳定或固定参照点,而是希望通过考察 DeepSeek-R1 模型如何“涉及特定的组织或排序方式”,将这些概念看作“正在建构之中,正在被组织进特定叙事和方法之中”(Ahmed,1998:12)。换言之,正是在对这一特定模型的概念性解释中,我们可以发现正在发生、并将继续塑造人工智能的推理重新框定。这并不仅限于推理模型采用逐步处理形式的技术层面(Caballar and Stryker,2025);正如本文将讨论的,我们更关注这些模型如何受到特定推理形式或方式的影响。本文并非通过探究模型的技术细节来加深对模型的理解,而是思考概念及其内涵和目的如何塑造人工智能模型,又如何受到模型的塑造。这也是思考概念表述与人工智能架构之间关系的一种尝试。因此,本文旨在探讨概念与其技术应用之间的张力。推理和蒸馏都是这种张力出现的例子。我们在此考察这些概念如何在这一特定案例中得到界定并涌现,以及这如何融入对人工智能更广泛的概念化过程。

本文细读 DeepSeek 的研究论文及其付诸运用的蒸馏观念,考察这一概念如何作为改变人工智能模型理解方式的手段或机制而被部署和发展。我们考察蒸馏概念如何被运用,以及它如何可能在超出 R1 这一特定模型的范围内,继续影响和塑造人工智能的方向。因此,我们并不从一个预先给定的蒸馏定义出发,而是探讨该术语如何在其使用和运用过程中得到界定与重新界定。这是一项阅读计算机科学的实践:将论文视为能够揭示机器学习内部意义建构过程的文本。在近期一篇讨论如何从人文社会科学立场阅读计算机科学文本的文章中,Amoore 等人(2023:2)提出:

“研究机器学习,意味着阅读计算机科学的文本;而在阅读这些文本的过程中,也必然且不可避免地参与到正在发生的世界建构之中。除了读什么,还存在另一个问题:阅读如何发生,以及何种阅读方式能够让我们在机器学习为世界赋予意义之时介入其中。”

受到这一方法的启发,我们将 DeepSeek 研究论文作为一篇关键技术文章,考察其中正在发生的世界建构,以及那个世界是如何被建构出来的。同样,通过这种阅读,我们也把“注意力延伸到计算机科学的机器学习领域,其教科书和论文中所锻造的世界观与规范性承诺”(Amoore et al.,2023:11)。在本案例中,我们以这样的注意力阅读 DeepSeek-R1 模型的研究论文,并把它视为对“正在被塑造的世界与正在被创造的意义”的一种叙述(Amoore et al.,2023:11)。Amoore 等人的这种方法提示我们:人工智能的叙述中包含着世界的某些版本,而这些版本又会塑造被编码进人工智能之中的世界模型。因此,应当考察人工智能创新文本如何唤起世界图景,或将世界投射到模型之上。我们也把它看作一个“机器学习世界观正在被发明和发现”的时刻(Amoore et al.,2023:11)。鉴于其实际影响和潜在影响力,伴随 DeepSeek-R1 模型发布的研究论文,代表着一种尤为有力、值得分析的世界建构。我们并非主张 DeepSeek 在此直接制造了世界,而是说模型中包含着世界的某些版本,后者随后可能在社会生活中发挥组织秩序的作用,这与 Amoore 等人(2024)的论点相一致。

我们首先考察蒸馏如何与从大型模型转向更浓缩模型的趋势相联系。我们把这种对密度的追求,称为对一种“不依赖规模扩张的能力”的构想。这里并非指完全没有规模的能力,而是无须扩大规模的能力:在架构规模缩小并不断缩减的条件下产生的能力,也就是在保留能力的同时缩小规模。接着,我们从 DeepSeek 叙述中描绘的这一更广泛转向出发,直接考察过程的蒸馏与推理本身的重新框定,以理解人们如何认识这些过程。最后,我们考察蒸馏如何作为一种方法,被置于与其他替代模型可比较的位置,以及如何利用对能力和潜力的基准测试来评估这些系统。在这一部分,我们讨论推理本身如何被视为可测量的对象,以及这些度量如何使不同模型的容量和能力得以相互对照。在能力基准测试的支持下,蒸馏观念被用于强调能力的集中。通过应用特定指标属性,对推理的测量不可避免地改变了推理的定义方式、概念化方式及其界限的设定。总体而言,我们承认这篇论文还可以有其他读法和关注重点,但我们认为,DeepSeek-R1 这一时刻代表着围绕蒸馏这一核心概念重新配置和重新框定人工智能的一种尝试,而这一概念又超出了单一模型的范围。我们并不认为 DeepSeek 在这方面是全新的案例,而是把它看作对某一概念的特定再激活,使其在构想这些系统时发挥作用。DeepSeek 模型的影响,与这一基础性的蒸馏概念直接相关;这也将凸显该概念未来对这一领域的影响,以及它在界定人工智能模型应如何被理解、概念化和框定方面的作用。我们认为,正是在这里,可以看到推理正被主动地重新框定。

不依赖规模扩张的能力:从大型模型到高密度模型#

在 2025 年的研究论文中,DeepSeek 解释说,他们发现,一个经过大规模强化学习(reinforcement learning,简称 RL)训练的先前模型,“自然涌现出了许多强大而有趣的推理行为”。然而,由于仍面临诸多挑战,DeepSeek 研究人员尝试开发 DeepSeek-R1,“在强化学习之前引入多阶段训练与冷启动数据”(DeepSeek-AI,2025:3)。他们声称,对处理阶段或步骤的这种调整,使 R1 模型在推理方面取得了突破。具体来说,就是在强化学习之前增加阶段,并增加使用“冷启动数据”的训练。“冷启动数据”这一术语,被广泛用于指面对新数据时“缺乏对其属性和特征的了解”(Patel and Patel,2020:4.1;另见 Camacho and Alves-Souza,2018)。在 DeepSeek 对这里所发生转变的叙述中,“稠密模型”(dense models)这一观念尤为突出(DeepSeek-AI,2025:3)。按照他们的说法,缩小大型模型的尺寸,并非只是创造出一个更小的模型;这种被感知到的浓缩,还创造出一个密度更高的模型。密度被等同于在较小规模下保留处理能力和性能水平。我们在此使用“密度”一词,并非直接采用其技术意义,而是指 DeepSeek 叙述中为模型提供的概念性与修辞性框架。我们注意到,蒸馏过程的存在会使人联想到这一术语。这也揭示了研究概念与人工智能模型关系时的一个更广泛问题:这些概念既可以有特定技术应用,又具有种种内涵,并以特定方式构想这些系统。本文更侧重于对人工智能发展之概念化的社会学分析,因此我们希望同时保留概念的构想作用,以及它们描述架构某些技术特征的作用。

在人工智能中,密度通常具体指神经网络的神经元与各层之间连接的安排方式。一个节点的连接越多,密度就越高,这与社会网络分析中的密度观念相似(见 Crossley,2008)。“稠密模型”指一种神经网络算法:某一层的所有神经元都与下一层的所有神经元相连,或者某一层的每个输入都与下一层的每个输出相连(Corbett,2022)。这也被称为“全连接”神经网络。在 DeepSeek 案例中,“稠密模型”这一观念频繁出现,用来框定其更加突出地关注蒸馏所带来的结果。例如,他们描述道:

“我们进一步探索将 DeepSeek-R1 蒸馏到更小的稠密模型中。以 Qwen2.5-32B(Qwen,2024b)为基础模型,直接从 DeepSeek-R1 进行蒸馏,效果优于对其应用强化学习。这表明,更大的基础模型所发现的推理模式,对于提升推理能力至关重要。我们将蒸馏后的 Qwen 和 Llama(Dubey et al.,2024)系列模型开源。值得注意的是,我们蒸馏得到的 14B 模型大幅超越了当时最先进的开源模型 QwQ-32B-Preview(Qwen,2024a),而蒸馏后的 32B 和 70B 模型则在稠密模型的推理基准测试中创下了新纪录。”(DeepSeek-AI,2025:3)

这些经过蒸馏、密度更高的模型,可能在缩小规模的同时达到上述推理能力基准,至少这一叙述如此主张。我们将在后文重新讨论这种基准测试过程。值得注意的是,在 DeepSeek-R1 论文的 16 页主体内容中,“distillation”(蒸馏)和“distilled”(经蒸馏的)总共出现了 48 次,这也说明了该概念的核心地位。

这种对密度与蒸馏的关注,与深度学习和人工智能中更广泛的规模导向既产生共鸣,又似乎相互抵牾。正如图灵奖得主 Bengio 等人(2021:63)所说,“仅仅通过扩大规模,往往就能大幅改善深度学习系统的性能”;他们还补充说,“有了更多的数据和更多的计算,它们通常会工作得好得多”。此外,斯坦福大学以人为本人工智能研究机构发布的《2024 年人工智能指数报告》指出,在过去 20 年中,人工智能模型的“参数量”(通过学习获得、用于支持解释和预测的数值)和“训练算力”(分配的计算与硬件资源)均呈指数增长,而这种趋势“在过去五年中尤为显著”(HAI,2024:49—51)。简言之,这一观念或假设是:人工智能模型“会随着体量增大而不断改进”(Bengio et al.,2021:63)。这种“可扩展性思维”(Pfotenhauer et al.,2022),或者说对规模的强制性追求,长期主导着人工智能共同体。“越大越好”原则的一个突出实例,是 OpenAI 于 2020 年发布的 GPT-3:它拥有 1750 亿个参数,而 2019 年发布的 GPT-2 只有 15 亿个参数。谈到 OpenAI 的这些具体模型时,斯坦福大学的研究者宣称,这种规模增长使“上下文学习”成为可能,即“只需提供一个提示,就能使语言模型适应某个下游任务……这是一种既未被专门训练、也未被预期会出现的涌现属性”(Bommasani et al.,2022:5)。

IBM 的一位作者对规模问题作了如下解释:

“对于某一给定任务,表现最好的模型通常太大、太慢或太昂贵,难以适用于大多数实际用例;但它们往往具有独特品质,这些品质来自模型规模与利用海量训练数据进行预训练的能力相结合……反过来,小模型运行更快,对计算的要求更低,却缺乏那些参数量远大于自身的大模型所具备的准确性、精细程度和知识容量。”(Bergmann,2024)

这种扩大算法模型规模的能力,既创造了人工智能版图中明显的等级结构,也不断延续着它。与所谓“人工智能工业化”或“大型人工智能”(Big AI)的趋势相呼应(van der Vlist et al.,2024),OpenAI、Google DeepMind、Meta、微软和苹果等大型科技公司,正日益成为唯一拥有必要数据、微芯片、计算能力、基础设施和资金支持,能够构建大规模基础模型的主体。不过,可以认为 DeepSeek 希望将这种对规模扩张的强制性追求问题化。它反复强调,通过蒸馏,正如某个小标题所写,“小模型也可以很强大”(DeepSeek-AI,2025:4)。这里的“能力”观念,与模型在特定基准上的表现,以及它与其他更大模型之间的比较密切相关。

借助基准测试来比较模型并识别蒸馏的潜力,DeepSeek 进一步论述道:

“我们使用 DeepSeek-R1 生成的推理数据,对研究共同体中广泛使用的若干稠密模型进行了微调。评估结果表明,经蒸馏得到的较小稠密模型在基准测试中表现出色。DeepSeekR1-Distill-Qwen-7B 在 AIME 2024 上取得了 55.5% 的成绩,超过 QwQ-32B-Preview。此外,DeepSeek-R1-Distill-Qwen-32B 在 AIME 2024、MATH-500 和 LiveCodeBench 上的得分分别为 72.6%、94.3% 和 57.2%。这些结果显著超过了此前的开源模型,并可与 o1-mini 相媲美。我们向社区开源了基于 Qwen2.5 和 Llama3 系列的 1.5B、7B、8B、14B、32B 和 70B 蒸馏模型检查点。”(DeepSeek-AI,2025:4)

通过对稠密模型进行这种迭代式微调,其目标是依据某些度量来产生推理,而推理也随之被重新框定于这些度量的参数之中。DeepSeek 承认,稠密模型已被广泛使用,但它通过自身特定的蒸馏方法加以调整,以在其中实现推理。这里可以看到,比较对象被用来说明:蒸馏与能力在较小模型中的集中有关。他们试图“证明大型模型的推理模式可以被蒸馏到较小模型中,并且相较于小模型通过强化学习发现的推理模式,能够取得更好的表现”(DeepSeek-AI,2025:4)。按照这种叙述,在蒸馏范式中,大型模型之所以有价值,似乎在于它们能够成为“推理模式”的来源,供更小、更易部署的模型汲取,另见 Hinton 等人(2015)对蒸馏的定义。也正因如此,DeepSeek-R1 被视为“基础模型”(base model),即它有可能作为一个源模型,让大量适用于各种任务、密度更高的其他模型成为可能。这暗示着,未来还可能有更多蒸馏和更高程度的浓缩。因此,这种基础模型观念与更一般意义上的“基础模型”(foundation models)有所呼应。但关键区别在于,后者通常被理解为在广泛数据上训练的大规模模型,能够“通过自然语言提示进行适配,从而在各种任务上达到尚可的表现”(Bommasani et al.,2022:3)。相比之下,蒸馏则被概念化为一种强大机制,可以从一个大规模模型中派生出许多不同的小模型,用来执行特定任务。

DeepSeek 用一句简单的话概括自己的方法:尝试“将 DeepSeek-R1 的推理能力蒸馏到小型稠密模型中”(DeepSeek-AI,2025:5)。因此,蒸馏观念对于构想人工智能,以及标示这一发展所意图代表的特定方向转变,都具有重要分量。人工智能中“扩大规模”的要求,也就是更多数据、更多计算、更大的基础设施等,在根本上具有扩张性和攫取性(Sadowski,2019)。问题在于,“有限媒介”不可避免地存在限制(Cubitt,2017)。另一方面,蒸馏被理解为在这些限制之内、并借由这些限制发挥作用。对蒸馏的援引投射出缩减、浓缩和压缩的承诺,并将这些转化为生产性过程:从更大的模型转向更小但依然强大的模型。这形成了一种“不依赖规模扩张的能力”的愿景。这个愿景从一开始就似乎在质疑可扩展性思维。渗透于当代人工智能技术版图大部分领域的扩容或扩张要求,因而受到挑战。然而,不依赖规模扩张的能力,并不意味着简单地远离庞大与海量。相反,它在算法语境中表达了小与大之间另一种关系。它概括了人工智能模型训练与微调中循环、流通及递归的种种可能性(Hui,2019)。这代表着在不同规模之间及跨越不同规模的迭代运动。从某种意义上说,蒸馏将规模问题移开了;变得重要的,是究竟保留了什么、蒸馏了什么,以及蒸馏过程中产生了、又能够产生哪些新模型。此外,在 DeepSeek-R1 论文的结论中,作者强调了蒸馏的重要性。他们指出,未来需要进一步蒸馏和更高程度的浓缩,而不是将其视为固定或一次性的过程。这带有递归性:模型向模型提供输入,以实现更进一步的蒸馏,从而获得愈加浓缩的模型;这种趋势可以被视为递归社会的一种表征(见 Beer,2022)。

需要再次强调,DeepSeek 在 R1 模型中以非常具体的含义使用蒸馏概念,并以非常具体的方式使其发挥作用。同时,也应注意,这一概念已经在人工智能研究中流通了更长时间。在 2015 年一篇被广泛引用的论文中,人工智能研究者 Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean 基于此前计算机科学关于机器学习压缩技术的研究(Bucila et al.,2006),发展了“蒸馏”观念;截至本文写作时,该论文已被引用超过 23000 次。Hinton 等人的论文题为《蒸馏神经网络中的知识》。其中,蒸馏被视为“一种训练”:先训练一个大型模型或模型组合,再把它从数据中学到的知识,从这个较大模型转移到“一个更适合部署的小模型”中(Hinton et al.,2015:1)。Hinton 及其谷歌同事认为,蒸馏是将“笨重模型的泛化能力转移到小模型”的有效方法(Hinton et al.,2015:2)。他们将最简单形式的蒸馏定义为:

“通过在迁移集上训练蒸馏模型,并为迁移集中的每个样例使用一个软目标分布,将知识转移到蒸馏模型中;这些软目标分布由笨重模型通过采用较高温度的 softmax 生成。”(Hinton et al.,2015:3)

换言之,较大模型针对某个任务学会赋予的一组概率,例如如何准确区分图像中的猫和狗,被压缩并转移到较小模型中。因此,蒸馏的目标与动态过程,既涉及规模和计算问题,也涉及如何使小模型的性能接近更大的神经网络算法。类似地,DeepSeek 也在探索这一更广泛概念框架的一种特定应用。

尽管不同研究对蒸馏概念的使用可能存在差异,Hinton 等人的概念化仍值得仔细讨论,因为他们对机器学习算法所学到的知识采取了“一种更加抽象的看法”(Hinton et al.,2015)。在他们看来,知识可以脱离任何特定的具体实现而被抽象出来,指的是“一种从输入向量到输出向量的、经学习得到的映射”(Hinton et al.,2015:1—2)。简言之,蒸馏涉及模型从已见输入数据中学习洞见,并在训练后将其应用于世界中未见数据的能力。但它还不止于此:它涉及一种迁移。正如他们在论文中所说,难题在于如何“改变模型的形式,同时保留相同的知识”(Hinton et al.,2015:1)。不过,他们也指出,训练一个庞大而“笨重”的模型会带来挑战,因为它不仅会为自己被要求检测的对象分配概率,如判别式机器学习模型所做的那样,还会为“所有不正确的答案分配概率,即使这些概率非常小”(Hinton et al.,2015:2)。这会影响模型从已见数据集中学习结构和模式、并良好泛化到未见输入数据的程度。因此,问题是:小型算法模型如何学会对未见数据进行良好泛化?更具体地说,如何训练一个小模型,使其“以与大模型相同的方式进行泛化”?(Hinton et al.,2015:2)

为了展示这一方法的有效性,Hinton 及其同事使用完整的 MNIST 数据集,也就是 60000 个手写数字训练样例,训练了一个大型神经网络。随后,他们从数据集或“迁移集”中去掉了数字 3。这意味着,正如他们所说,“从蒸馏模型的角度来看,3 是一个从未见过的、神话般的数字”(Hinton et al.,2015:4)。然而,在从大型神经网络迁移知识之后,他们展示了:“尽管在训练中从未见过数字 3,蒸馏模型仍然正确识别了测试集中 98.6% 的数字 3”(Hinton et al.,2015:4)。换言之,通过使用蒸馏技术,可以训练一个小模型,使其以与较大神经网络模型非常相似的方式、达到非常接近的准确率来进行泛化。虽然康奈尔大学计算机科学家 Bucila 及其同事(2006:1)关于“模型压缩”的早期工作,在训练方法和测试数据集等方面与 Hinton 等人(2015)的工作有所不同,但它触及了与蒸馏相同的核心观念。他们解释说:“本文展示了如何将复杂模型所学习的函数,压缩到一个小得多、快得多而性能相当的模型中。”他们还指出:“模型压缩背后的主要思想,是使用快速而紧凑的模型,去近似一个更慢、更大、但表现更好的模型所学习的函数。”(Bucila et al.,2006:1)总之,无论这些方法如何以不同方式被运用,两篇论文都表明,蒸馏概念本身正在超出个别案例的范围流通,并重新框定人们研究和发展推理,进而研究和发展人工智能与机器学习的方式。需要强调的是,DeepSeek 对蒸馏一词作了特定使用,而这一术语同时也在人工智能研发领域更广泛地流通。

那么,蒸馏对于理解当代人工智能,以及理解它在 DeepSeek 模型案例中的运用,具有怎样更广泛的意义?IBM 产品管理技术总监 Kate Soule 近期评论 DeepSeek 及其对蒸馏的强调所带来的广泛社会经济影响时说:“激励在于构建非常大的模型,以帮助你构建非常小的模型。”(Soule,引自 IBM,2025)她还补充道:“我们将逐渐达到这样一个点:拥有足够强大的工具,来打造我们所需要的小模型,而这些小模型未来将运行我们 80%—90% 的生成式人工智能工作流。”在这种视角下,人工智能模型的可扩展性与规模扩张,只有在它们为进一步模型蒸馏提供可能性时才具有价值。从这个意义上说,DeepSeek 体现了一种正在涌现的“不依赖规模扩张的能力”逻辑:它承诺通过反复蒸馏,使任何小模型都能像大模型一样运行。与“大型人工智能”(van der Vlist et al.,2024)的观念相对,DeepSeek 似乎正在为这种“小型人工智能”辩护。类似于 Pfotenhauer 等人(2022:6)对规模这一概念的论述,蒸馏有可能成为科技公司和人工智能研究者的“一种强制性要求和框定工具”,从而“规定什么似乎值得做、参与的规则是什么,以及我们如何定义问题或解决方案”。它创造出一种必须如此行事的要求,并可能进一步具有规范性。因此,DeepSeek 对蒸馏的运用构想了这样一种未来:模型越来越多地产生其他模型,尽管后者体量更小,但适用于各种现实世界任务。所有人工智能模型,无论规模大小,都变得潜在可蒸馏,或者至少遵循着必须进行蒸馏的逻辑。

推理的重新框定#

在这里,我们需要把推理理解为更广泛的一组逻辑与思维方式,而非一个固定的技术术语。这再次表明,在概念的使用及其伴随的内涵和愿景,与人工智能架构中更为严格的技术应用之间,可能出现张力。上一节强调,蒸馏被框定为一个持续且迭代的过程。这一点也在 DeepSeek-R1 的框定方式,以及相关研究论文结论中对“教师模型”的提及中得到重申(DeepSeek-AI,2025:16)。正如他们所说:

“我们进一步探索将推理能力蒸馏到小型稠密模型中。我们使用 DeepSeek-R1 作为教师模型生成 80 万个训练样本,并对若干小型稠密模型进行微调。”(DeepSeek-AI,2025:16)

教师模型的观念属于更广泛的蒸馏技术体系。在众多蒸馏方法中:

“最常见的方法之一称为教师—学生技术。简言之,教师模型规模较大,使用具有已知正确目标值的标准训练数据进行训练。学生模型则使用教师模型的预测进行训练,而不是使用训练数据。换句话说,学生模型学习模仿教师模型。”(Pure AI,2025)

教师训练模型,而模型学习模拟和模仿。蒸馏不仅有许多不同的实现方法,“教师—学生技术也存在许多变体”(Pure AI,2025)。

在围绕蒸馏概念重新框定推理的过程中,教师模型的观念十分重要。在为 IBM 撰写的一篇人工智能蒸馏概述中,Bergmann(2024)既回应了前文提到的规模问题,也讨论了如何支持移动端应用:

“大多数具有商业可行性的大型语言模型,规模过大且计算需求过高,无法在手机或其他边缘设备上本地运行。这带来了各种部署、计算和隐私方面的复杂问题,而一个能够直接在移动设备上运行的较小模型,本可以绕开这些问题。因此,知识蒸馏的模型压缩提供了一种很有前景的方式:将大型模型的涌现品质,转移到足够小、可以在设备端运行的模型之中。”(Bergmann,2024)

因此,蒸馏的承诺不仅与不依赖规模扩张的能力有关,也与一种不依赖规模扩张的移动性有关。我们还可以加上提速的承诺:预计它能够“比原来的较大模型响应更快,从而在推断阶段的运行和使用成本低得多”(Pure AI,2025)。一方面,这些承诺凸显了 Ludovico Rella(2024:5)所说的“贴近人工智能的硬件底层”的重要性,也就是考虑“信息的物质性所带来的可供性和施加的限制”。另一方面,当这些承诺与蒸馏联系起来时,蒸馏就成为重新框定人们如何理解人工智能的一股强大力量。其要点在于:

“知识蒸馏是一种机器学习技术,旨在把大型预训练模型,即‘教师模型’,所学到的内容转移到较小的‘学生模型’。在深度学习中,它被用作模型压缩与知识迁移的一种形式,尤其适用于庞大的深度神经网络……蒸馏知识的首要目标,是训练学生网络,使其与教师网络所作的预测相匹配。”(Bergmann,2024)

蒸馏模型在训练时借助教师模型已经完成的工作,却又试图超越其特征与推理能力。尽管人工智能和机器学习中的“理性”观念已经被以不同方式探讨和概念化(Aradau and Blanke,2022;Parisi,2019),仍值得指出:这里的“人工智能推理”更具体地指模型以逐步方式解决特定任务的能力,利用“可用信息生成预测、作出推断并得出结论”(Caballar and Stryker,2025)。与上述教师模型技术相一致,蒸馏因此成为“将领先专有模型的先进能力,转移到更小、更易获取的开源模型中的有效手段”(Bergmann,2024)。Bergmann(2024)进一步解释说:

“知识蒸馏技术不仅旨在复现教师模型的输出,还要模拟其‘思维过程’。在大型语言模型时代,知识蒸馏已经使风格、推理能力,以及与人类偏好和价值观的对齐等抽象品质得以迁移。”

通过超出教师模型指导范围的推理,蒸馏在更小规模运行的同时,获得了自身的推理方式。蒸馏方法的目标,是“训练学生模型,使其不仅模仿教师模型针对某个输入的最终输出,还模仿教师模型得出这一最终输出所采取的推理步骤”(Bergmann,2024)。

这一时刻不仅是全球资本主义有所醒悟的时刻,也是 DeepSeek 开发者有所领悟的时刻;按照他们的说法,系统本身也经历了这一时刻。在相关研究论文第 8 页,作者用一小段文字简要描述了他们所称的“DeepSeek-R1-Zero 的顿悟时刻”(Aha moment)(DeepSeek-AI,2025:8)。这为理解人工智能模型与创造它们的人相互纠缠时,推理如何交织在一起,提供了一个耐人寻味的切口。实际上,“顿悟时刻”是他们赋予开发者与系统本身共同经历的突然领悟的一种标签。DeepSeek 论文解释道:“在 DeepSeek-R1-Zero 的训练中观察到的一个尤其有趣的现象,是‘顿悟时刻’的发生。”(DeepSeek-AI,2025:8)这显然是强调模型推理能力的一种尝试,应当从这一角度看待。有趣的是,作者为自己划出一个处于过程之外的位置,将自己定位为这一时刻的“观察者”。这使他们既在过程之内,又在过程之外:他们将一种能动性投射到系统上,而自己既是系统的一部分,又置身其外。有关人的系统内位置,这些叙述存在张力。人被描绘成观众,而非积极行动的主角,能动性则被安置在机器之中。这个时刻发生在一个中间阶段:开发尚不确定,某个特定行动可能被视为项目后续阶段的关键。顿悟时刻也是在它发生之前及发生之时有待被识别的东西。因为“在这一阶段”,节奏放慢了,“DeepSeek-R1-Zero 通过重新评估最初的方法,学会为某个问题分配更多思考时间”(DeepSeek-AI,2025:8)。顿悟时刻实际上是处理过程的内在部分,是反思与重新评估发生之处,也是对探索所带来的惊讶的共同体验。DeepSeek 作者认为,这是模型学习的一部分:“这种行为不仅证明了模型不断增长的推理能力,也是一个引人入胜的例子,展示了强化学习如何产生出人意料且复杂精妙的结果。”(DeepSeek-AI,2025:8)

顿悟时刻既关乎过程,也关乎结果。它与蒸馏的研究相关,因为它表明:尽管发生了蒸馏,一种推理能力,甚至一种尚不确定的能动性,仍被赋予模型。DeepSeek 叙述中的这一论路,强调了他们认为正在发生的转变时刻。不过,用 N. Katherine Hayles(2012:18)的话说,它也可以被概念化为“技术生成”(technogenesis)的时刻:这个出人意料的“顿悟时刻”,既由人类与算法始终已经交织于复杂适应性系统之中的状态所产生,又凸显了这种状态;在这样的系统中,技术“不断变化,同时也使生活与之交织的人发生变化”。即使开发者将自己置于推理模型之外,他们仍与模型纠缠在一起。顿悟时刻的突然性涉及不连续性,提醒我们人类与算法相互交融、共同涌现的方式。DeepSeek 的叙述也为 Luciana Parisi(2019a,2019b:32)所说的“人工智能的异质主体”提供了一个例子:算法可以被认为展现出自身的思维方式,尽管这是一种去自然化的,或“源自工具内部的异质思维方式”。这一出现在过程之中的领悟时刻,与围绕蒸馏概念重新构想人工智能模型的一组特定理想联系在一起。

该论文提出的“蒸馏”观念,构成了一种能力:它来自较大模型的蒸馏版本所具备的推理能力和强化学习。正如我们已经看到的,DeepSeek 对蒸馏的关注并非凭空而来。相反,这一概念早已在人工智能开发者之间流通,并在不同语境中呈现不同形式、表达和应用。它脱离原初的参照点,被以不同方式重新赋予用途,例如在 DeepSeek-R1 论文中,塑造人们对人工智能及其未来的理解。事实上,这也是 DeepSeek 声明的目标:“开源的 DeepSeek-R1 及其 API,将帮助研究共同体在未来蒸馏出更好的小型模型。”(DeepSeek-AI,2025:4)DeepSeek 论文中的一个类似小标题写道:“蒸馏:赋予小模型推理能力”(DeepSeek-AI,2025:11)。在这个模型中,被蒸馏的对象正是推理能力。因此,DeepSeek 论文所代表的,是一种尝试:以特定方式,并按照 R1 模型的特征及其被如此命名的顿悟时刻,重新框定推理。由此我们可以追问:在这种对理性或推理的重新框定中,存在怎样的“识认体制”(regime of recognition)(Amoore,2020)?这样的观念包含并围绕着理性的哪些属性构建?在 DeepSeek 对 R1 模型的叙述中,可以找到一些线索。

“微调”和“精炼”等术语,被用于强调对既有方法及“基础模型”的特定用途重置,随后这些观念又被回传给更广泛的人工智能开发者群体。他们解释说,为了:

“让更高效的小模型具备类似 DeepSeek-R1 的推理能力,我们使用借助 DeepSeek-R1 整理的 80 万个样本,直接对 Qwen(Qwen,2024b)和 Llama(AI@Meta,2024)等开源模型进行微调……我们的发现表明,这种直接的蒸馏方法显著增强了较小模型的推理能力。”(DeepSeek-AI,2025:11)

按照这一说法,推理能力不仅从教师模型转移到蒸馏模型,还被认为通过蒸馏得到加强与巩固。前述微调有一部分通过监督式机器学习完成;这种监督微调,即下文的 SFT,与前面关于互动式方法的讨论相一致。DeepSeek 解释道:

“对于蒸馏模型,我们只应用监督微调,不包含强化学习阶段,尽管加入强化学习可以显著提升模型性能。我们在这里的首要目标是证明蒸馏技术的有效性,将强化学习阶段的探索留给更广泛的研究共同体。”(DeepSeek-AI,2025:11)

这说明,对推理的重新框定被保持为一个开放、持续、可进一步发展的过程。它凸显了 Halpern 和 Mitchell(2022:14)所说的“智能化强制要求”(smartness mandate)通常具有的“原型或演示性质”,以及由此产生的持续未完成的未来建构。进一步加入强化学习,是被提出用来继续增强蒸馏模型能力的一种可能性。正如他们强调的,在这些开发工作中,他们试图展示的是不断实施蒸馏的效能,而不是为蒸馏给出最终定论。换言之,蒸馏在这里成为一种框定工具,也是一种计算技术,构想了对大规模人工智能模型进行“持续实验与反馈”的过程,并由此成为“生产现实与行动潜能”的手段(Halpern and Mitchell,2022:105)。因此,这里所见的推理重新框定,被保留为一个转折点,而非关于蒸馏可能性及其可能带来的进一步浓缩的最终宣告。

能力与潜力的基准测试:比较和评估蒸馏效果#

通过蒸馏概念重新框定人工智能推理,是由某些测量形式支撑并获得正当化的,也就是通过某些方式,确定蒸馏模型及其推理能力的相对效能。基准成为测量推理的手段,进而识别出某些特征,用来框定推理究竟由什么构成。因此,一个被呈现得仿佛很简单的复杂问题可以是:哪种推理更好?

前文已经提到,基准测试被用来展示人工智能蒸馏过程似乎使之成为可能的、在更小规模下获得的能力。基准通常指那些“代表特定任务或技术挑战,并被常规化地用于比较、复现和再现模型结果”的数据集(Orr and Crawford,2024:4956)。不仅如此,基准还被视为“人工智能进步的主要推动力”,因为正如人工智能研究者 François Chollet(2019:8)所说:

“它们可复现,因为测试集固定;公平,因为每个人使用相同的测试集;可扩展,因为多次运行评估的成本很低;易于设置;而且足够灵活,能够适用于各种可能的任务。”

因此,人工智能推理本身受到更广泛的指标应用及其逻辑的影响,并不令人意外,例如参见 Rottenburg 等人(2015)。指标本身带来某些逻辑,并界定某些推理方式。这体现在一系列比较中,它们旨在证明通过模型蒸馏所获得的相对能力。

DeepSeek 论文中题为“蒸馏模型评估”的部分包含一张表,提供了“DeepSeek-R1 蒸馏模型与其他可比模型在推理相关基准上的比较”。在分析这张表时,DeepSeek 进一步说明:

“如表 5 所示,仅仅蒸馏 DeepSeek-R1 的输出,就能使高效的 DeepSeek-R1-7B,即 DeepSeek-R1-Distill-Qwen-7B,下文采用类似缩写,在各方面超越 GPT-4o-0513 等非推理模型。DeepSeek-R1-14B 在所有评估指标上都超过 QwQ-32BPreview,而 DeepSeek-R1-32B 和 DeepSeek-R1-70B 在大多数基准上显著超过 o1-mini。这些结果展示了蒸馏的强大潜力。此外,我们发现,对这些蒸馏模型应用强化学习能够带来显著的进一步提升。我们认为这值得继续探索,因此这里只展示通过简单监督微调蒸馏得到的模型结果。”(DeepSeek-AI,2025:14)

暂且放下一些细节不谈,文中提出需要“进一步探索”,既使这些主张有所节制,也凸显了推理重新框定的持续性。然而,基准测试的使用,对于塑造人们在根本上认为什么是推理,以及如何在这一模型之内,或者说通过这种对理性的建模来框定推理,至关重要。正如 François Chollet(2019:3)所说:“为了朝着实现我们领域的承诺迈进,我们需要对智能作出精确、定量的定义和测量。”这也提出了一个问题:人工智能推理的观念与性能指标,在多大程度上可以彼此分离?或者用 Bratton 和 Agüera y Arcas(2022)的话说:“理性的表现,究竟在何时成为一种理性?”换言之,基准不仅对人工智能模型如何被测量至关重要,也对人们如何思考这些模型至关重要。

以 ImageNet 为例,它被认为是 2010 年代初深度学习革命的主要催化剂之一。ImageNet 是一个对计算机视觉研究极具影响力的基准数据集。更具体地说,它是训练和测试人工智能模型进行目标检测与分类的重要图像资源(Denton et al.,2021)。然而,ImageNet 数据集在向人工智能共同体提供一个包含多样图像类别的大型数据集的同时,也构成了一种标准,帮助塑造了人工智能开发的规范:在后来的 ImageNet 竞赛中,基于机器学习的模型几乎完全取代了基于规则的系统。正如 Will Orr 和 Crawford(2024:4956)所说,基准数据集“不仅设定了共同体认为值得解决的问题,而且构成了衡量成功的指标本身”。他们进一步指出,这意味着,“一个模型要被视为最先进,就必须正确预测热门基准的输出”。换言之,什么被视为“良好表现”,在很大程度上取决于并受制于评估和测量模型所采用的基准数据集。此后的研究表明,这些基准标准在性别或种族表征方面可能严重失衡(Crawford and Paglen,2019;Noble,2018),由此形成的基准会使算法模型延续社会中的伦理政治偏见。

在 DeepSeek 论文中,蒸馏也被以类似的标准化方式看待:它设定“格式”(Koopman,2025),使不同模型中的不同蒸馏程度能够相互比较。蒸馏的能力,主要通过模型性能,以及它在某些已知基准数据集上能够实现什么来观察。在“蒸馏与强化学习”这一节,他们声称:“我们可以看到,通过蒸馏 DeepSeek-R1,小模型能够取得令人印象深刻的结果。”(DeepSeek-AI,2025:14)基准测试在此承担着使这些主张正当化的作用;它使各种模型评估成为可能,同时也设定了蒸馏与推理被认为代表什么的界限。正是这种基准测试,使某些模型的人工智能推理能力,看起来比另一些模型更加合理。

不过,这同样不被视为其所提出的人工智能转型的终点。

将基准测试与持续重新框定的意识相结合,DeepSeek 得出如下结论:

“强化学习训练取得了与 QwQ-32B-Preview 相当的性能。然而,从 DeepSeek-R1 蒸馏得到的 DeepSeek-R1-Distill-Qwen-32B,在所有基准上的表现都显著优于 DeepSeek-R1-Zero-Qwen-32B。”(DeepSeek-AI,2025:15)

因此,基准的政治性主要不在于展示模型是否有效,而在于依据所选指标的逻辑,展示它相较于其他类似模型究竟好多少。从这一视角看,基准创造了比较与正当化的方式,也提供了一种依据可比性能建立模型等级的手段。在这一特定语境中,各种度量还提供了机会,用来证明蒸馏概念的效用,以及它在不同模型中如何呈现不同表现;更准确地说,是它如何塑造不同模型的性能度量。当然,模型的开发也会响应其将被测量和基准测试的方式。因此,基准的政治性不仅在于为某些人工智能模型相对于其他模型的可见性与正当性提供依据;它还凸显,蒸馏等概念如何能够对我们未来定义人工智能“问题空间”的方式产生作用(Lury,2021)。我们应当注意,基准在评估人工智能方面的重要性,以及选择哪些基准来衡量推理,将如何成为人工智能发展的一个具有界定性和规范性的部分,也将如何影响我们对推理本身的建模;人工智能模型还会塑造更广泛的概念化方式,正如 Amoore 等人(2024)所探讨的那样。用于评估效能的某种特定基准愿景,建立在“推理被认为是什么”与“如何将其转化为度量”之间的关系之上。

蒸馏与强化学习之间的比较,或者说竞争,使 DeepSeek 得出了两点结论:

“第一,将更强大的模型蒸馏到较小模型中,能够取得出色结果;而较小模型若依赖本文所述的大规模强化学习,则需要巨大的计算能力,甚至可能仍无法达到蒸馏的表现。第二,虽然蒸馏策略既经济又有效,但要进一步突破智能的边界,可能仍然需要更强大的基础模型和更大规模的强化学习。”(DeepSeek-AI,2025:15)

这些结论再次显现出这种重新框定的持续性。第一点重申了蒸馏被认为具有的优势;第二点则提到,通过尚未在更强大的“基础模型”中充分发展起来的“蒸馏策略”,进一步突破智能的边界。简言之,蒸馏在这里代表着一种借助基准度量而得以实现的、重新框定人工智能推理的尝试,而不是关于可能性边界的最终结论。我们在此保留一个供未来探究的问题:推理是如何通过那些能够被基准测试的事物得到定义的?因此,这两个概念之间存在张力。推理方式可能会适应对其进行基准测试的能力。本文无法解决这一问题,但未来研究可以考察:基准测试如何被概念化和实施,以适应人工智能中的推理逻辑;进而还需要研究,这又如何对推理本身的框定方式产生重大影响。

结论#

我们有必要理解概念与人工智能如何相互关联:概念塑造模型和架构的发展,而人工智能也塑造概念涌现与流通的条件。我们的主张是,要理解人工智能的社会学层面,就必须保留概念与架构之间的张力。本文选取一个尤为引人注目的案例,考察其中的概念形成过程。通过细读 DeepSeek 为其具有影响力的 R1 推理模型发表的关键解释性研究成果,我们探讨了人工智能行业中蒸馏、密度和能力这几个相互关联的概念,如何在人工智能开发者的叙述中涌现。

无论 DeepSeek 未来如何发展,我们的观点是:蒸馏概念很可能从这一节点继续延续下去。我们集中细读了一份人工智能开发者的产出,即支持 DeepSeek 发布 R1 模型的特定公司研究文献,由此展示了在这一具体案例中,蒸馏概念如何成为人工智能推理这些特定转变的核心。我们认为,这代表着在人工智能逻辑内部,并依据推理能力的指标或基准,对推理进行重新框定。具体而言,在这个案例中,它是围绕蒸馏这一核心概念重新框定推理。本文探讨了蒸馏如何被用于呈现大型人工智能模型,与更小、更浓缩的模型之间的差异。这些看似密度更高的人工智能模型,被框定为提供一种不依赖规模扩张的能力,从而试图运用这一概念,扭转人们对于必须扩大处理规模的普遍预期。这种重新框定,使一种能力观念得以附着于“缩减”并被压缩的模型上:这些模型经历蒸馏过程,去除了被界定为超出需要的处理部分。本文展示了,推理能力如何被理解为既得到蒸馏又得以保留,以及这种能力随后如何通过比较和基准测试,强化或证明蒸馏作为概念与计算技术所被认为具有的力量。

正如本文所展示的,蒸馏概念已经在人工智能研发领域流通了一段时间。然而,2025 年初 DeepSeek-R1 模型发布所产生的影响,赋予了它新的具体性和目的。暂且搁置那个时刻的经济与技术影响,作为一种组织和框定力量,蒸馏概念对于这一发展,以及人们所感知到的人工智能当下和未来的方向转变,都是核心所在。着眼于这种未来建构,DeepSeek 在论文结论中提出了未来计划。因此,蒸馏概念对于理解人工智能的整体想象,以及由此形成的物质发展方向,具有特殊的重要性。换言之,细读伴随 R1 模型发布的 DeepSeek 研究论文,可以看出,被重新赋予用途的蒸馏概念作为人工智能发展核心观念的重要性。蒸馏与人工智能模型尺寸的缩减联系在一起,并由此与密度增加,以及被感知到的处理能力集中联系在一起。在这里,能力通过一种必须做减法的要求而实现。也就是说,在这些愿景中,不必要的部分被去除,留下密度更高的模型版本。其图景是一个更精简、能源和资源需求更低,却仍保有大得多的模型之推理能力的人工智能版本。围绕人工智能发展所形成的更广泛的权力集中,被单个模型内部的能力集中所取代。其结果是,蒸馏概念正在引导这一创新,而它的影响也意味着,它很可能继续框定其他创新。

本文聚焦一个重要且具有影响力的案例,但我们的关键观点是:蒸馏与其他概念一样,在这一特定 DeepSeek 模型之前和之后,都有自身的生命历程。我们认为,正是通过考察这些概念及其与人工智能建模的关系,才能理解人工智能的社会学维度,以及塑造其形式和发展条件的过程与逻辑。蒸馏概念本身也会对更广泛的人工智能未来政治经济格局产生影响,因为人们正在追求那些被认为能够兼顾能力与架构效率的模型。概念塑造模型,而模型随后也会塑造概念的生命历程。我们无法知道它将朝哪个方向发展,但正如本文所展示的,蒸馏概念已在这里讨论的 DeepSeek 推理模型的开发和框定过程中被重新激活,并将在未来模型的框定中继续被重新激活。因此,关注人工智能内部概念的生命历程,有可能揭示技术与社会的交界面。随着推理模型的发展和适应,尝试通过蒸馏生成浓缩且更小的模型,以实现更高程度的不依赖规模扩张的能力,将继续成为一种框定性的目标。蒸馏概念及其带来的推理重新框定,对人工智能发展,以及这些逻辑随后如何融入社会世界,都具有结构性塑造的潜力。

作者 ORCID#

资助#

作者未就本文的研究、撰写及/或发表获得任何财务支持。

利益冲突声明#

作者声明,在本文的研究、撰写及/或发表方面不存在潜在利益冲突。

参考文献#

下列中文题名为便于阅读所附的译名,并不表示存在相应的正式中文版。作者、年份、卷期和页码依据原文保留。

  • Ahmed S (1998). Differences That Matter: Feminist Theory and Postmodernism(《至关重要的差异:女性主义理论与后现代主义》). Cambridge: Cambridge University Press.
  • Amoore L (2020). Cloud Ethics: Algorithms and the Attributes of Ourselves and Others(《云伦理:算法与自我及他者的属性》). Durham and London: Duke University Press.
  • Amoore L, Campolo A, Jacobsen B, et al. (2023). Machine learning, meaning making: On Reading computer science texts(机器学习与意义建构:论阅读计算机科学文本). Big Data & Society 10(1): 1–11.
  • Amoore L, Campolo A, Jacobsen B, et al. (2024). A world model: On the political logics of generative AI(一个世界模型:论生成式人工智能的政治逻辑). Political Geography 113: 1–9.
  • Aradau C and Blanke T (2022). Algorithmic Reason: The New Government of Self and Other(《算法理性:自我与他者的新型治理》). Oxford: Oxford University Press.
  • Beer D (2022). The problem of researching a recursive society: Algorithms, data coils and the looping of the social(研究递归社会的问题:算法、数据盘绕与社会的循环). Big Data & Society 9(1): 1–6.
  • Bengio Y, LeCun Y and Hinton G (2021). Deep learning for AI: Turing lecture(面向人工智能的深度学习:图灵讲座). Communications of the ACM 64(7): 58–65.
  • Bergmann D (2024). What is knowledge distillation?(什么是知识蒸馏?). IBM. 原文链接(访问日期:2025 年 3 月 18 日).
  • Bloom P (2025). DeepSeek: How China’s embrace of open-source AI caused a geopolitical earthquake(DeepSeek:中国拥抱开源人工智能如何引发地缘政治地震). The Conversation. 原文链接(访问日期:2025 年 4 月 1 日).
  • Bommasani R, Hudson DA, Adeli E, et al. (2022). On the opportunities and risks of foundation models(论基础模型的机遇与风险). ArXiv: 1–214.
  • Bratton B and Aguera y Arcas B (2022). The Model is the message(模型即讯息). Noema. 原文链接.
  • Bucila C, Caruana R and Niculescu-Mizil A (2006). Model compression(模型压缩). 载:KDD ’06,2006 年 8 月 20—23 日,美国宾夕法尼亚州费城,1–7 页.
  • Caballar RD and Stryker C (2025). What is reasoning in AI?(人工智能中的推理是什么?). IBM. 原文链接.
  • Cai Q (2025). The cultural politics of artificial intelligence in China(中国人工智能的文化政治). Theory, Culture & Society 42(3): 1–20.
  • Camacho LAG and Alves-Souza SN (2018). Social network data to alleviate cold-start in recommender system: A systematic review(利用社交网络数据缓解推荐系统中的冷启动:系统性综述). Information Processing & Management 54(4): 529–544.
  • Cheney-Lippold J (2024). The silicon future(硅的未来). New Media & Society 27(7): 4164–4180.
  • Chollet F (2019). On the Measure of Intelligence(论智能的度量). ArXiv: 1–64.
  • Corbett A (2022). Neural Networks: Three Key Types(神经网络:三种关键类型). DigiLab. 原文链接.
  • Crawford K (2021). Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence(《人工智能地图集:权力、政治与人工智能的行星代价》). New Haven and London: Yale University Press.
  • Crawford K and Paglen T (2019). Excavating AI: The politics of images in machine learning training sets(挖掘人工智能:机器学习训练集中的图像政治). 原文链接.
  • Crossley N (2008). Pretty connected: The social network of the early UK punk movement(联系紧密:英国早期朋克运动的社会网络). Theory, Culture & Society 25(6): 89–116.
  • Cubitt S (2017). Finite Media: Environmental Implications of Digital Technologies(《有限媒介:数字技术的环境影响》). Durham and London: Duke University Press.
  • DeepSeek-AI (2025). DeepSeek - R1: Incentivizing reasoning capability in LLMs via reinforcement learning(DeepSeek-R1:通过强化学习激励大型语言模型的推理能力). ArXiv: 1–22.
  • DeepSeek API Docs (2025). DeepSeek-R1 release(DeepSeek-R1 发布). DeepSeek. 原文链接(访问日期:2025 年 2 月 13 日).
  • Denton E, Hanna A, Amironesei R, et al. (2021). On the genealogy of machine learning datasets: A critical history of ImageNet(论机器学习数据集的谱系:ImageNet 的批判性历史). Big Data & Society 8(2): 1–14.
  • HAI (2024). Artificial Intelligence Index Report 2024(《2024 年人工智能指数报告》). Stanford University Human-Centered Artificial Intelligence (HAI),1–502 页. 报告链接.
  • Halpern O and Mitchell R (2022). The Smartness Mandate(《智能化的强制要求》). Cambridge, Massachusetts: The MIT Press.
  • Hawkins A (2025). Who is behind DeepSeek and how did it achieve its AI ‘Sputnik moment’?(DeepSeek 背后是谁,它如何实现人工智能的“斯普特尼克时刻”?). The Guardian. 原文链接.
  • Hayles NK (2012). How We Think: Digital Media and Contemporary Technogenesis(《我们如何思考:数字媒介与当代技术生成》). Chicago and London: Chicago University Press.
  • Hinton G, Vinyals O and Dean J (2015). Distilling the Knowledge in a Neural Network(蒸馏神经网络中的知识). ArXiv: 1–9.
  • Hui Y (2019). Recursivity and Contingency(《递归与偶然性》). London: Rowman & Littlefield Publishers.
  • IBM (2025). DeepSeek facts vs hype, model distillation, and open source competition(DeepSeek 的事实与炒作、模型蒸馏及开源竞争). YouTube. 视频链接.
  • Kharpal A (2025). DeepSeek’s AI model is ‘the best work’ out of China but the hype is ‘exaggerated,’ Google DeepMind CEO says(Google DeepMind 首席执行官称:DeepSeek 人工智能模型是中国的“最佳成果”,但炒作“有所夸大”). CNBC. 原文链接.
  • Koopman C (2025). Data Equals: Democratic Equality and Technological Hierarchy(《数据平等者:民主平等与技术等级》). Chicago: University of Chicago Press.
  • Koromi C (2025). Trump: China’s DeepSeek AI is a ‘wake-up call’ for US tech(特朗普:中国的 DeepSeek 人工智能给美国科技业敲响“警钟”). Politico. 原文链接.
  • Luitse D (2024). Platform power in AI: The evolution of cloud infrastructures in the political economy of artificial intelligence(人工智能中的平台权力:人工智能政治经济格局中云基础设施的演变). Internet Policy Review 13(2): 1–44.
  • Luitse D and Denkena W (2021). The great transformer: Examining the role of large language models in the political economy of AI(伟大的变换器:考察大型语言模型在人工智能政治经济格局中的作用). Big Data & Society 8(2): 1–14.
  • Lury C (2021). Problem Spaces: How and Why Methodology Matters(《问题空间:方法论如何及为何重要》). Cambridge: Polity.
  • Noble SU (2018). Algorithms of oppression(《压迫的算法》). New York: New York University Press.
  • Orr W and Crawford K (2024). The social construction of datasets: On the practices, processes, and challenges of dataset creation for machine learning(数据集的社会建构:论机器学习数据集创建的实践、过程与挑战). New Media & Society 26(9): 4955–4972.
  • Parisi L (2019a). Critical computation: Digital automata and general artificial thinking(批判性计算:数字自动机与通用人工思维). Theory, Culture & Society 36(2): 89–121.
  • Parisi L (2019b). The alien subject of AI(人工智能的异质主体). Subjectivity 12: 27–48.
  • Patel K and Patel HB (2020). A state-of-the-art survey on recommendation system and prospective extensions(推荐系统的前沿综述及未来拓展). Computers and Electronics in Agriculture 178(2020): 1–10.
  • Pfotenhauer S, Laurent B, Papageorgiou K, et al. (2022). The politics of scaling(规模扩张的政治). Social Studies of Science 52(1): 3–34.
  • Pure AI (2025). Understanding LLM distillation, enabling revolutionary DeepSeek R1 Model(理解大型语言模型蒸馏:使革命性的 DeepSeek R1 模型成为可能). Pure AI. 原文链接(访问日期:2025 年 3 月 18 日).
  • Rella L (2024). Close to the metal: Towards a material political economy of the epistemology of computation(贴近硬件底层:迈向计算认识论的物质政治经济学). Social Studies of Science 54(1): 3–29.
  • Rottenburg R, Merry SE, Park SJ and Mugler J (编) (2015). The World of Indicators: The Making of Governmental Knowledge Through Quantification(《指标的世界:通过量化建构治理知识》). Cambridge: Cambridge University Press.
  • Sadowski J (2019). When data is capital: Datafication, accumulation, and extraction(当数据成为资本:数据化、积累与攫取). Big Data & Society 6(1): 1–12.
  • Saul D (2025). Biggest market loss in history: Nvidia stock sheds nearly $600 Billion as DeepSeek Shakes AI Darling(史上最大市值损失:DeepSeek 冲击人工智能宠儿,英伟达股票市值蒸发近 6000 亿美元). Forbes. 原文链接.
  • Taylor P (2024). AI Wars(人工智能战争). London Review of Books 47(5): 10–11.
  • Van der Vlist F, Helmond A and Ferrari F (2024). Big AI: Cloud infrastructure dependence and the industrialisation of artificial intelligence(大型人工智能:云基础设施依赖与人工智能工业化). Big Data & Society 11(1): 1–16.

版权与许可#

© 作者,2026 年。原文为原创研究论文,依据知识共享署名—非商业性使用 4.0 国际许可协议(CC BY-NC 4.0)发布。在按照 SAGE 及其开放获取页面所规定的方式注明原作出处的前提下,无须另行许可即可出于非商业目的使用、复制和传播本文。本文件为原文的中文翻译。

文章再使用指引:SAGE Journals Permissions。期刊主页:Big Data & Society。

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

人工智能、蒸馏观念与推理的重新框定
https://blog.xuefei.art/posts/ai-distillation-reframing-reasoning/
作者
雪飞
发布于
2026-09-11
许可协议
CC BY-NC-SA 4.0

文章目录