到巴塞那次正是夏天。出发时深圳香港都是赤日炎炎,想着巴塞也靠海,估计也是闷热潮湿吧。结果一出巴塞的机场,天气不冷不热,空气不干不湿。突然就想起了初中地理学过的地中海式气候。 初中地理老师应该是南方人,讲的普通话一点也不普通。上课之前就会在黑板上用彩色粉笔画那节课内容的地图,不管中外,都能画的五彩斑斓,具体而微。美国地方大,至少讲了三节课,所以至少看他画了三次落基山脉,印象特别深。有几年来回跑美国,只要飞过落基山脉,都会想起地理老师一丝不苟在美国左边画一列三角形。地中海式气候就没这么深的印象了,因为没法画。老师讲的啥当时就没听懂,考到了就只能自己瞎掰。在遇到巴塞吹面不热的夏日空气时,一下子都明白了。可惜没机会在那张答卷上写,这就是地中海式气候。 城市中心有座山,奥林匹克体育馆就在这个山上。上山途中,有几个年轻人用数码单反在拍自己写的剧本。这样的团队里,自然有一个明眸皓齿的女主角,两个万事不愁的男配角。掌机的导演是一个短发女生,皮衣皮裤,如果再过几年可以直接去演《龙纹身的女孩》。经过他们身边时,导演叫住我,问是否可以帮他们拍张合影。是否可以?当然可以。用我的相机来拍更可以!地中海式气候的镜头里,年轻,好看,导演比女一更好看。 米拉公寓就在市中心,坐公交也不会错过。要买门票,但是里面还住了人,所以进去参观的时候必须跟着导游。很多门上都有标识,不让游客随便按门铃。很好奇哪些人会住在游人如鲫的公寓里,一天到晚听着导游讲故事还不能开门。或者,住在艺术作品中的感觉能弥补吧。书上说,高地设计了门把手后,自己每一个都摸过。所以我是偷偷的摸了各种不同的门把手,的确都很舒服。用数量弥补质量,就算和天才握过手了吧。 住的酒店靠着诺坎普球场。开会间隙溜过去想买张球票,比划了半天才搞清楚人家不卖单场票。此时此刻,无比想念黄牛。但是估计西班牙的黄牛也听不懂我说的英语,就悻然作罢不去折腾了。然而天无绝人之路,过几天周末回酒店,发现球场锣鼓喧天红旗招展人山人海川流不息。随便问了一下,大致明白了是在庆祝巴萨那年联赛夺冠,进球场不要买票!唯一的问题是不知道活动会搞些啥,问也问不明白。反正是免费的,靠得又近,就早点去占位置吧。下午两点钟几个中国同事一起杀过去,慢慢发现五点球队才会到,但是等我们知道了安排,球场已经坐满了。于是连上厕所都要轮流去,怕别人抢我们的位置。 无数人干等的时候自然会搞点气氛,看着大电视里巴萨对皇马那年经典的五比零起哄。看着我们几个腼腆的亚洲人,旁边的大叔半开玩笑半认真的说,你们是马德里来的吗?一句话惊醒梦中人,在球场不high就是立场问题!于是跟着起哄做人浪,一直等到梅西入场。可惜皮克那时还没遇见夏奇拉,不然买一送一,也许还能听到拉丁美人唱歌。 鹿鼎记的回目都是金大侠集了查慎行的句子。有一回题目是绝世奇事传闻里,最好交情见面初。金大侠改了一点点,用绝世的奇事来形容韦小宝说书的内容。原文的句子是“绝奇世事传闻里,最好交情见面初”,用来说记忆中的巴塞罗那倒更很合适。初见不仅感觉好,多年不见还忘不了。
对照记
今天,如果一个长沙人到了南京,一个很直接的困惑就是要理解“河西”这个概念。 长沙和南京城市布局很像。长沙有湘江,南京有长江。这个相似的布局里,江水从南往北流过,地图上看,古城就发源于江流的右侧。而到了今天,江流的左边也自然蓬勃发展成为新区。 在长沙,地图上湘江的左边就叫河西。在南京,地图上长江的左边叫江北。南京的河西在地图上长江右边,指的是秦淮河西面。 而在长沙,对应秦淮河贯穿城市的水道叫做浏阳河。 对应的,两个城市都有个地区叫新河。 两个城市的地铁一号线和二号线交汇的地方都是市中心。长沙的中心是五一广场,南京的中心是新街口。 所以,一个长沙人在新街口听到新河,反应是不要过江,这个反应是对的。如果听到河西,就会反应要过江,接着就会提示自己不要过江。如果又是个没有睡好的中年人,接着就会困惑起来。 不过,如果经过了香港地名的考验,这种困惑也就慢慢消散了。香港有三个相邻的地铁站,长沙湾,荔枝角,美孚。长沙湾广场在荔枝角地铁站,而荔枝角公园在美孚地铁站!不要说外地人,就是本地人也没几个搞得清楚的。 香港的长沙湾地铁站还有一个政府大楼,地下有个停车场,叫做南京停车场。查了一下来源,因为这个地方原来是英军的军营,叫做南京军营。 香港,南京,长沙…
大模型究竟是如何变聪明的?
近年来,人工智能领域发生了一场静悄悄的革命。从早期的“问一答一”,到如今以 DeepSeek-R1、OpenAI o1 为代表的“会深度思考的 AI”,模型的表现发生了质的飞越。 很多人不禁要问:AI 的智能究竟是由什么决定的?为什么同一个大模型,让它“多想一会”,它就能解出极其复杂的数学和编程难题? 如果我们将理论计算机科学、神经网络拓扑学以及信息论的核心洞察熔于一炉,就会发现,AI 的智能表现并非神秘的黑盒,而是由一个由四大核心要素共同驱动的动态系统。 一、 智能的四个核心支柱 要理解 AI 的智能,我们需要先解构决定它表现的四种基本力量: 知识底座:模型的“智力天花板” 这是模型的内功。它由模型的参数规模和海量预训练数据共同决定。 如果把 AI 比作一个人,知识底座就是他读过的所有书、记住的所有事实。这是模型智能的绝对天花板——如果一个知识点在预训练阶段从未被写入模型的记忆库中,无论后面怎么推理,它也无法凭空创造这个事实。 拓扑相干:神经元网络的“传导效率” 这是模型的骨骼与神经系统。不同的神经网络架构(例如 Transformer、Mamba 或各种混合架构),决定了信息在微观神经元之间流动的顺畅程度。 优秀的架构设计能够让微观梯度流极其顺畅,保证信息在几十甚至上百层网络中传递时不会丢三落四;而平庸的架构则容易产生“信息梗阻”,导致模型学得慢、容易混淆逻辑。 思考深度:时间维度的“折叠效应” 这是近年来 AI 能够突破逻辑难题的最关键钥匙——思维链(Chain of Thought)与测试时计算。 传统的 AI 回答问题是“脱口而出”(单步预测),它能调用的计算深度完全受限于网络的物理层数;而现代 Reasoning 模型在给出最终答案前,会在后台生成成千上万个“思考 Token”。每多思考一步,就相当于在时间维度上将网络的计算深度向前延伸了一层。 迷雾与噪声:任务本身的不确定性与残余熵 这是 AI 在解题过程中面临的阻力。它包括两部分:一是任务本身的难度(如一个开放性的哲学问题本质上就比单纯的加减法拥有更高的不确定性);二是模型内部存在的死记硬背、逻辑漏洞和噪声。这些阻力就像摩擦力一样,不断干涉模型的判断。 二、 智能演化的核心逻辑:用“时间”消解“迷雾” 这四大要素是如何交织在一起,决定 AI 最终是“胡言乱语”还是“妙笔生花”的? 我们可以用一个非常直观的物理图景来理解: 智能的本质,就是 AI 利用自身架构的传导效率,在思考时间维度的拉伸下,将庞大的知识容量转化为消除任务迷雾与噪声的过程。 为什么“直觉回答”常常会产生幻觉? 当模型面对一道高难度的逻辑题(高迷雾/高噪声),如果不允许它进行长思考,模型的“有效计算深度”就被死死定格在其静态的网络层数上。 在这种状态下,面对巨大的阻力,模型的推演能力不足以穿透迷雾,因此只能基于概率给出看似合理实则错误的“胡猜”结果——这就是幻觉的产生。 长思考机制是如何改变游戏的? 当允许模型展开长思考时,奇迹发生了: 计算深度的爆发: 模型把原本无法在一步内解决的高阶非线性难题,拆解成了成百上千个微小的线性步骤。 指数级的噪声压制: 就像物理学中的退火冷却过程一样,长思考赋予了模型在隐空间中“回溯”、“试错”和“自我纠错”的能力。沿着时间拓扑展开的思考步骤,能够以指数级的效率压制和消解阻力与噪声。 逼近上限: 随着思考时间的延长,噪声的干扰被压制到接近于零,模型的解题准确率便会顺畅地逼近其知识库所能支撑的理论最高上限。 三、 这对未来 AI 的发展意味着什么? 理解了这套智能运行逻辑,我们就能清晰地看懂未来 AI 演进的三大必然趋势: 从“堆积参数”转向“延长思考”: 过去提升 AI 能力主要依靠把模型做大(增加知识容量),这需要极其昂贵的算力;而现在,通过在推理阶段给模型更多的“思考时间”,小模型也能在复杂逻辑任务上击败庞大的老一代模型。 ...
古诗与通信
我年轻时读过一点信息论,知道香农把“信息”定义成消除不确定性的东西。后来读古诗,忽然觉得这定义用在诗上特别贴切。一首五言绝句,一共二十个汉字,码长固定。好诗读完,脑子里多出好多原先没有的图像、情绪和联想;烂诗读完,只觉得作者在那儿干瞪眼。同样是二十个字,信息量差出天来。 诗人就是编码器。一堆感受、观察和情绪被他硬压进固定长度的字符里。压得越狠,单位长度的熵就越高。好诗之所以难写,就在于编码效率。诗人得在极短的码长里,尽可能消灭读者的不确定性。他不能把话说明白,说明白了就没信息了;又不能完全不说,不说读者解不出来。最好的状态,是留下恰到好处的模糊,让读者自己补全。补全的过程,就是解码。不同的人解码结果略有差异,这正是诗的乐趣所在——它不是无损压缩,而是带一点有损的、允许主观重构的压缩。 古人显然隐隐约约知道这回事。他们把诗写得那么短,不是因为懒,而是因为懂得珍惜信道容量。纸贵、笔墨贵、时间贵,不能废话。到了后来,纸便宜了,人却开始废话。现代诗有时候动不动几十行上百行,读完只觉得作者很努力,却没传过来什么新东西。码长增加了,信息量没跟上,效率反而下降。 再进一步,诗还是给人看的。编码再巧妙,解码端出问题也不行。读者得有共同的码本——共同的生活经验、共同的文化背景。否则再高明的压缩,也解不出原意。有些诗现在读起来费劲,不是诗不好,是码本变了。时代换了信道,旧码有时会失效。 所以读古诗,其实是在做一件很古老的通信实验:看看几百年前的人,能不能隔着时间,把一点什么东西准确地传到你脑子里。传成功了,你就觉得那诗好。传失败了,你就骂作者故弄玄虚。至于诗人当时有没有想到香农,我不知道。反正他们把活干得挺漂亮。