2025-lucyqin的日常

【20250208】

关于DOGE

民主党人的音量很大,但说服力差点儿。绝大多数声音都在质疑“你凭什么查我、你凭什么改变既有的机制”,但鲜有人正面回应“这些钱究竟做了什么事,以及这些事是否正当和正常”。

当然,通常人们会说:“程序正义”比“结果正义”更重要。是的。但如果对“程序正义”的教条已经到了严重导致“结果的不正义”的程度,那么就必须反思和调整这些程序。

关于deepseek蒸馏的争议

1、蒸馏是自研的方法吗?

蒸馏作为一种方法,最初在2015年由Geoffrey Hinton等人提出。

2、deepseek使用了蒸馏方法吗?

使用了,根据论文,deepseek-R1的70b及以下的模型,是基于Qwen、llama两个开源模型,从满血版deepseek-R1(671b)蒸馏而来。而R1是基于deepseek-v3-base使用RL强化训练得到。

3、deepseek有没有蒸馏chatgpt?

Openai“宣称”有证据表明deepseek利用chatgpt api蒸馏训练他们的模型(指的是v3),但没有给出具体证据(这证据很难给)。Sam Altman随后表示不会起诉deepseek。

4、Openai的服务条款中是怎么说的?

服务条款很靠前的位置,明确表示:用户不得使用openai的输出来开发与openai存在竞争性的产品。

5、deepseek为什么那么便宜?

根据deepseek的论文,v3的训练确实采用了一系列创新方法。这些方法是被普遍认可的有效方法,虽然openai、anthropic表示“他们也知道这些方法”,但deepseek将它们写成了公开的论文。

6、美国有没有制裁deepseek?

确实有在调查(主要针对是否使用了违禁的硬件),部分政府机构内部(海军)已经通知禁用,有议员提议禁止政府机构使用,但没有正式发布这个要求。

7、其他国家有没有制裁或屏蔽deepseek?

很多,包括澳大利亚,意大利,韩国、印度、日本(建议)等。这些国家主要是从数据安全的角度考虑。

【20250207】

公务员考试的题目看着像是逻辑题。“逻辑”这门课在学校里被取消,却要求公务员们掌握,这种设定难免让人想到:“逻辑”在某种程度上变成了一种“被专有”的能力,为了是方便管理。就像《商君书》或《素书》,它就不是给老百姓看的。

【20250129】

关于Deepseek

一点个人理解。首先,整个AI的发展,东大不是原创,以一贯的尿性来看,也不太可能是东大原创,不仅仅是人才的问题,更有机制和环境问题。

其次,任何产业的发展,都会有这样一个阶段:即一开始的开疆拓土的创新红利逐渐减少,而模仿者的跟进红利不断增加。这时候,人力成本更低的一方就会占据某一时期的优势。

如果AI的发展已经是终局,那么东大给老美带来的压力一定是很大的。但我觉得不是。一方面,无论是openai还是anthropic都一再强调:there is no wall;另一方面,o3和opus-3.5开始,AI已经进入了“自我进化”阶段,这是另一个加速范式,我们正处于这一新阶段的起点。

打个比方,美国的AI巨头们仍然在投入巨资开疆拓土,探索未知的边界;而deepseek好比是在已知的领域大搞建设,从投入产出比上看,当然后者好像占便宜一些。即便如此,550万美金的成本也是不可能的,我认为这只是一个统计口径问题。

现在deepseek取得这么大的热度,首先当然是因为性价比,它的能力我测试下来确实可以,比o1略逊,考虑价格就非常有优势了。但是另一个关键是时机:我曾经说过,2025年的上半年是Google千载难逢的机会,因为o3的平价版暂时没有,Grok3又跳票——只是未料到被deepseek抢了镜。

其实Google又便宜又好用,只是中国人用不了,而外国人又对大厂天然有一种“嗯你是很优秀但没什么值得惊讶的”大厂麻木感而已。

没有去仔细看deepseek的那篇论文,但网上铺天盖地的分析看了不少,大致意思是,deepseek用了一种简化或者优化的算法,从而用1/10甚至1/20的成本达到了差不多的效果。有人认为,这种算法openai内部早就知道——这一点我是相信的。那为什么openai不去优化自我,降低成本?因为老美这边的逻辑与东大完全不同。老美们搞创新,始终要在商业的逻辑之下进行。如果AI巨头们对成本贸然自我阉割,它就会失去一个支撑AI进化循环的资金体量,那也就是等同于自我阉割了对未知边界的探索能力。

但东大不是这样的。它可以把这些“泡沫”轻易甩掉,把对手卷死——自己却死不了——因为它本质上不玩商业逻辑那套。就算deepseek现在看起来没有国资背景,但也很快会有了。

商业的本质绝对不是“成本+利润”,而是“使用者的价值衡量”。一个带来很大帮助的产品,一个有创新给人启发的东西,就应该带有所谓的“溢价”,应该积极主动地付费。比如看到一篇介绍如何使用ipv6的微信公众号文章,我会打赏100;之前看贾明子的知乎专栏,我也主动支付了200。

需要反思的是,东大人的消费观为什么被扭曲成这样?进一步就可以推断出:我们这样的体制,由于它对资源的过度占有(打着再分配的名义)它本身、从本质上就是反商业的,也就是反创新的。简而言之就是:东大永远不可能解决消费不足问题。除非……。

【20250117】

如果o1的逻辑推理过程被隐藏的原因,确实是因为“思考过程是uncensored”的,那么一个清晰的结论就是:审查是一种对AI思维能力的限制。这个概念可以类推为“对齐同样是对AI思维能力的限制”。

如果我们可以通过“放宽审查”来提高AI的表现,那么,也应该可以通过“减少对齐”来让AI更好地阅读宇宙:不是以人类的方式,而是AI的方式。