🤖异或的挫败与注意力的胜利:AI如何理解语言AI&机器学习文章从人工智能的两大分支——符号主义与联结主义——展开,回顾了从感知机到多层感知机的发展历程,以及异或问题如何暴露出早期模型的局限,引发第一次 AI 寒冬。随后介绍了词嵌入、向量运算和注意力机制等关键技术如何推动联结主义的复兴,使大语言模型能够在高维“意义空间”中进行概率预测与生成。最后,结合对齐与强化学习,文章揭示了 ChatGPT 等现代 AI 在语言理解与生成上的核心原理。2025-9-15 推荐 大模型
大模型为什么输出有不确定问题,如何解决?AI&机器学习大模型输出不确定性并非仅因“浮点运算+并发”,而是核心算子缺乏 batch invariance:不同批次大小会改变归约/并行策略,进而影响解码路径。通过让 RMSNorm、Matmul、Attention 等关键 kernel 保持批次不变性,可以实现温度 0 下的完全可复现推理。这意味着:在创意生成中,不确定性是有意的;在金融、医疗等场景,则可通过 batch-invariant kernel 获得稳定确定的结果。2025-9-24 大模型 思考