大模子一个 token 一个 token 生成，后果太低何如办？

微信 AI 联手清华大学，提倡了一个新的解法：

一个 token 能装下的信息太少，不如把它们打包成衔接向量，让大模子从瞻望下一个 token，舛错为瞻望下一个向量。

参谋团队给这种新范式取名CALM（衔接自纪念话语模子）。

实验标明，将 K 个词元压缩成一个衔接向量，不错将话语模子建模为一系列衔接向量，生成法子减少至蓝本的 1/K。

这么一来，模子就能在均衡性能和策划资本时，完了更高的性价比。

有网友以为，这种要领看上去越来越接近大脑现实管制险阻文的格局。

还有网友提倡，CALM 像是 DeepSeekOCR/Glyph 的纠正版。

晋升每个瞻望单位的语义带宽

参谋东谈主员指出，瞻望下一个 token 的现存模子范式，一开动是因为基于字符级运行的模子策划量太大而被提倡的。

也等于说，要领背后的重要念念想是：晋升每个文本单位的信息密度，概况镌汰序列长度并权贵晋升模子后果。

进一步挖掘内容，不错总结出一条晋升大模子生成后果的有用道路：执续晋升每个瞻望单位的语义带宽。

问题在于，要是想让一个 token 装更多的信息，就得把词表作念得超大，反而会让策划量和存储资本爆炸。

微信 AI 和清华大学团队想了个主义：把多个 token 打包成一个衔接向量，让模子每次管制一个向量，而不是一个 token。这么一来，比如一个序列的长度为 T，将 K 个 token 打包为 1 个向量，序列长度就会镌汰为 T/K。

他们想象了一个高保真自编码器，能将 K 个 token 压缩成一个衔接向量，并能以向上99.9%的准确率从中重构原始 token。

衔接自纪念话语模子

不外，从管制 token 向管制向量舛错，还濒临着一个要紧挑战：

由于不存在有限词汇表，模子将无法借助尺度的 softmax 层，对悉数可能收尾策划出明确的概率离别。

这也就意味着，需要为此开发全新的建模用具。

于是，参谋团队提倡了CALM——一套无缺的、无需依赖概率似然的框架。

△CALM 框架无似然话语建模

侦探方面，CALM 给与"能量亏欠"来教模子学习衔接向量。

无须算概率，而是改用"能量分数"来判断模子生成的向量好不好。

具体来说，为了完了衔接向量生成，参谋东谈主员给与轻量级生成头手脚模子的中枢输出组件。该生成头以临了一个遮拦景况为条目，来生成输出向量。

同期，为幸免迭代式采样经由形成新的推理瓶颈，参谋东谈主员引入了Energy Transformer。

Energy Transformer 专为衔接向量的高效单步生成想象，无需迭代，仅需 1 步策划即可输出衔接向量。

能量亏欠是 CALM 侦探 Energy Transformer 时用的亏欠函数，不依赖概率策划，而是用"距离"和"千般性不停"两个维度判断向量质地——既让生成的向量逼近实在值，又幸免模子只会生成一种向量。

无似然话语模子评估

不算概率了，困惑度（Perplexity）这个评估策画也就不好用了。

为此，参谋东谈主员提倡了BrierLM，一种基于布里尔分数的新式话语模子评估策画。

只需从模子中抽取样本，就能无偏地估算出 BrierLM 值。

实考据明，BrierLM 值和困惑度高度有关，能保证对模子才能的公正相比。

无似然温度采样

咫尺流行的谎言语模子是通过温度采样来完了可控生成的，但这通常依赖于概率离别。

CALM 提倡了无似然温度采样，这一算法基于拒却采样，通过转念样本的接受概率来完了温度摈弃。

实验收尾：更具性价比

参谋东谈主员通过实验考据，CALM 在均衡性能和策划资本时更有性价比。

在尺度话语建模任务上，CALM-M（K=4，参数目 371M）在性能上与 Transformer-S（281M 参数）相称，但侦探浮点运算数（FLOPs）减少了 44%，推理 FLOPs 减少了 34%。

模子越大，CALM 的上风越彰着。而且跟着语义带宽 K 的加多，CALM 的性能 - 后果比也会更优。

不外，参谋东谈主员也提到，压缩的 token 数 K 太多时，反而会导致性能着落，可能需要更换更大的模子。

论文地址：

https://arxiv.org/abs/2510.27688

一键三连「点赞」「转发」「堤防心」

宽待在驳倒区留住你的观点！

—  完  —

� �  年度科技风向标「2025 东谈主工智能年度榜单」评比报名火热进行中！咱们正在寻找 AI+ 时间领航者  点击了解笃定

❤️‍� �   企业、居品、东谈主物 3 大维度，共开荒了 5 类奖项，宽待企业报名参与   � �  

一键眷注 � � 点亮星标

科技前沿发扬逐日见万博manbext体育官网娱乐网