Posts on 我的个人随笔

对照记

Tue, 28 Jul 2026 23:35:28 +0800

今天，如果一个长沙人到了南京，一个很直接的困惑就是要理解“河西”这个概念。

长沙和南京城市布局很像。长沙有湘江，南京有长江。这个相似的布局里，江水从南往北流过，地图上看，古城就发源于江流的右侧。而到了今天，江流的左边也自然蓬勃发展成为新区。

在长沙，地图上湘江的左边就叫河西。在南京，地图上长江的左边叫江北。南京的河西在地图上长江右边，指的是秦淮河西面。

而在长沙，对应秦淮河贯穿城市的水道叫做浏阳河。

对应的，两个城市都有个地区叫新河。

两个城市的地铁一号线和二号线交汇的地方都是市中心。长沙的中心是五一广场，南京的中心是新街口。

所以，一个长沙人在新街口听到新河，反应是不要过江，这个反应是对的。如果听到河西，就会反应要过江，接着就会提示自己不要过江。如果又是个没有睡好的中年人，接着就会困惑起来。

不过，如果经过了香港地名的考验，这种困惑也就慢慢消散了。香港有三个相邻的地铁站，长沙湾，荔枝角，美孚。长沙湾广场在荔枝角地铁站，而荔枝角公园在美孚地铁站！不要说外地人，就是本地人也没几个搞得清楚的。

香港的长沙湾地铁站还有一个政府大楼，地下有个停车场，叫做南京停车场。查了一下来源，因为这个地方原来是英军的军营，叫做南京军营。

香港，南京，长沙…

大模型究竟是如何变聪明的？

Tue, 28 Jul 2026 23:22:36 +0800

近年来，人工智能领域发生了一场静悄悄的革命。从早期的“问一答一”，到如今以 DeepSeek-R1、OpenAI o1 为代表的“会深度思考的 AI”，模型的表现发生了质的飞越。

很多人不禁要问：AI 的智能究竟是由什么决定的？为什么同一个大模型，让它“多想一会”，它就能解出极其复杂的数学和编程难题？

如果我们将理论计算机科学、神经网络拓扑学以及信息论的核心洞察熔于一炉，就会发现，AI 的智能表现并非神秘的黑盒，而是由一个由四大核心要素共同驱动的动态系统。

一、智能的四个核心支柱要理解 AI 的智能，我们需要先解构决定它表现的四种基本力量：

知识底座：模型的“智力天花板” 这是模型的内功。它由模型的参数规模和海量预训练数据共同决定。如果把 AI 比作一个人，知识底座就是他读过的所有书、记住的所有事实。这是模型智能的绝对天花板——如果一个知识点在预训练阶段从未被写入模型的记忆库中，无论后面怎么推理，它也无法凭空创造这个事实。
拓扑相干：神经元网络的“传导效率” 这是模型的骨骼与神经系统。不同的神经网络架构（例如 Transformer、Mamba 或各种混合架构），决定了信息在微观神经元之间流动的顺畅程度。优秀的架构设计能够让微观梯度流极其顺畅，保证信息在几十甚至上百层网络中传递时不会丢三落四；而平庸的架构则容易产生“信息梗阻”，导致模型学得慢、容易混淆逻辑。
思考深度：时间维度的“折叠效应” 这是近年来 AI 能够突破逻辑难题的最关键钥匙——思维链（Chain of Thought）与测试时计算。传统的 AI 回答问题是“脱口而出”（单步预测），它能调用的计算深度完全受限于网络的物理层数；而现代 Reasoning 模型在给出最终答案前，会在后台生成成千上万个“思考 Token”。每多思考一步，就相当于在时间维度上将网络的计算深度向前延伸了一层。
迷雾与噪声：任务本身的不确定性与残余熵这是 AI 在解题过程中面临的阻力。它包括两部分：一是任务本身的难度（如一个开放性的哲学问题本质上就比单纯的加减法拥有更高的不确定性）；二是模型内部存在的死记硬背、逻辑漏洞和噪声。这些阻力就像摩擦力一样，不断干涉模型的判断。

二、智能演化的核心逻辑：用“时间”消解“迷雾” 这四大要素是如何交织在一起，决定 AI 最终是“胡言乱语”还是“妙笔生花”的？

我们可以用一个非常直观的物理图景来理解：

智能的本质，就是 AI 利用自身架构的传导效率，在思考时间维度的拉伸下，将庞大的知识容量转化为消除任务迷雾与噪声的过程。

为什么“直觉回答”常常会产生幻觉？当模型面对一道高难度的逻辑题（高迷雾/高噪声），如果不允许它进行长思考，模型的“有效计算深度”就被死死定格在其静态的网络层数上。在这种状态下，面对巨大的阻力，模型的推演能力不足以穿透迷雾，因此只能基于概率给出看似合理实则错误的“胡猜”结果——这就是幻觉的产生。
长思考机制是如何改变游戏的？当允许模型展开长思考时，奇迹发生了：

计算深度的爆发：模型把原本无法在一步内解决的高阶非线性难题，拆解成了成百上千个微小的线性步骤。

指数级的噪声压制：就像物理学中的退火冷却过程一样，长思考赋予了模型在隐空间中“回溯”、“试错”和“自我纠错”的能力。沿着时间拓扑展开的思考步骤，能够以指数级的效率压制和消解阻力与噪声。

逼近上限：随着思考时间的延长，噪声的干扰被压制到接近于零，模型的解题准确率便会顺畅地逼近其知识库所能支撑的理论最高上限。

三、这对未来 AI 的发展意味着什么？理解了这套智能运行逻辑，我们就能清晰地看懂未来 AI 演进的三大必然趋势：

从“堆积参数”转向“延长思考”：过去提升 AI 能力主要依靠把模型做大（增加知识容量），这需要极其昂贵的算力；而现在，通过在推理阶段给模型更多的“思考时间”，小模型也能在复杂逻辑任务上击败庞大的老一代模型。

古诗与通信

Tue, 28 Jul 2026 22:12:11 +0800

我年轻时读过一点信息论，知道香农把“信息”定义成消除不确定性的东西。后来读古诗，忽然觉得这定义用在诗上特别贴切。一首五言绝句，一共二十个汉字，码长固定。好诗读完，脑子里多出好多原先没有的图像、情绪和联想；烂诗读完，只觉得作者在那儿干瞪眼。同样是二十个字，信息量差出天来。

诗人就是编码器。一堆感受、观察和情绪被他硬压进固定长度的字符里。压得越狠，单位长度的熵就越高。好诗之所以难写，就在于编码效率。诗人得在极短的码长里，尽可能消灭读者的不确定性。他不能把话说明白，说明白了就没信息了；又不能完全不说，不说读者解不出来。最好的状态，是留下恰到好处的模糊，让读者自己补全。补全的过程，就是解码。不同的人解码结果略有差异，这正是诗的乐趣所在——它不是无损压缩，而是带一点有损的、允许主观重构的压缩。

古人显然隐隐约约知道这回事。他们把诗写得那么短，不是因为懒，而是因为懂得珍惜信道容量。纸贵、笔墨贵、时间贵，不能废话。到了后来，纸便宜了，人却开始废话。现代诗有时候动不动几十行上百行，读完只觉得作者很努力，却没传过来什么新东西。码长增加了，信息量没跟上，效率反而下降。

再进一步，诗还是给人看的。编码再巧妙，解码端出问题也不行。读者得有共同的码本——共同的生活经验、共同的文化背景。否则再高明的压缩，也解不出原意。有些诗现在读起来费劲，不是诗不好，是码本变了。时代换了信道，旧码有时会失效。

所以读古诗，其实是在做一件很古老的通信实验：看看几百年前的人，能不能隔着时间，把一点什么东西准确地传到你脑子里。传成功了，你就觉得那诗好。传失败了，你就骂作者故弄玄虚。至于诗人当时有没有想到香农，我不知道。反正他们把活干得挺漂亮。