🤖异或的挫败与注意力的胜利:AI如何理解语言

文章从人工智能的两大分支——符号主义与联结主义——展开,回顾了从感知机到多层感知机的发展历程,以及异或问题如何暴露出早期模型的局限,引发第一次 AI 寒冬。随后介绍了词嵌入、向量运算和注意力机制等关键技术如何推动联结主义的复兴,使大语言模型能够在高维“意义空间”中进行概率预测与生成。最后,结合对齐与强化学习,文章揭示了 ChatGPT 等现代 AI 在语言理解与生成上的核心原理。
异或的挫败与注意力的胜利:AI如何理解语言

Lazy loaded image大模型“不确定性”的真相:不是温度而已,关键在 batch invariance

LLM 推理“不确定性”的根因不在温度或“并发+浮点”,而在于 batch invariance 缺失:同一请求的数值会随拼批规模与切分策略改变。通过对 RMSNorm、Matmul、Attention 做 batch-invariant 改造(统一 KV 布局、固定 split-size 等),在 temperature=0 下可实现位级一致的可复现输出,代价是可接受的性能损失,为金融/法律等高确定性场景及 True On-Policy RL 奠定基础。
大模型“不确定性”的真相:不是温度而已,关键在 batch invariance
在终点之前,请先活一次
软件工程师大概率是个过渡职业

Lazy loaded imageAnthropic co-founder: AGI predictions, leaving OpenAI, what keeps him up at night | Ben Mann

本视频采访了Anthropic的联合创始人Ben Mann,讨论了多项关于人工智能(AI)及其安全性、经济影响的议题。Ben提到,超智能(AGI)可能在2028年左右实现,而AI的进步并没有减缓,反而加速了。他离开OpenAI创立Anthropic的原因是觉得在OpenAI中AI安全问题没有得到足够重视,尤其是在超智能的对齐问题上。Ben分享了自己对AI带来失业率上升、经济结构变化的看法,并指出AI将重塑社会及职场,并对未来的人类角色提出了重要的思考。他还提供了未来AI时代中如何应对职业变动的建议,强调“使用工具”的重要性,并关注对孩子的教育,特别是好奇心和创造力的培养。 Highlights • 🤖 超智能的到来: Ben预计超智能(AGI)将在2028年左右到来,超智能的对齐问题至关重要,可能会影响整个人类社会。 • 🔍 离开OpenAI的原因: Ben与团队离开OpenAI是因为认为AI安全未得到充分重视,尤其是如何“把上帝关进盒子”这一超智能控制问题。 • 📉 AI对就业的影响: AI的发展可能会导致失业率上升,尤其是低技能职位会遭到取代。社会需要应对这些变化,并提前规划过渡期。 • 📈 AI加速进步: Ben强调AI的进步没有减缓,模型发布频率逐渐加快,每月或每季度更新一次,而不是像过去那样一年一次。 • 💼 AI与工作: 他提出“经济图灵测试”的概念,表示AI如果能取代一定比例的工作,将对全球经济产生深远影响。 • 🧑‍💻 未来职业建议: Ben建议使用AI工具的能力至关重要,尤其是能够灵活调整与AI交互方式,提高工作效率和创造力。 • 👶 教育与未来: 对孩子的教育需要强调好奇心、创造力和善良,这些素质将帮助他们在未来的AI时代中获得成功。
Anthropic co-founder: AGI predictions, leaving OpenAI, what keeps him up at night | Ben Mann
为什么我不再去人多的地方扎堆

Lazy loaded image如何高效学习

本文系统总结了高效学习的核心要素: 1. 目标:用 SMART 原则制定清晰、可衡量、可实现的学习目标。 2. 方法:结合费曼学习法、刻意练习和“输入–内化–输出”循环,把知识转化为技能。 3. 时间:通过番茄工作法、GTD、时间切块,专注并高效利用学习时间。 4. 心态:保持成长型思维,接纳失败,持续好奇与探索。 同时,推荐了学习资源(Coursera、edX、B站、YouTube)、知识管理工具(印象笔记、Anki)、以及 AI 工具(ChatGPT、Claude、Perplexity),强调了学以致用与及时输出的重要性:把所学知识应用到项目、写作和分享中,并通过复盘和奖励机制维持长期动力。
如何高效学习

Lazy loaded image那个看似完美的同学,和我渐渐改变的生活

在悉尼的交换学期,我遇见了一位几乎“完美”的同学。他外表出众、性格谦逊,深受大家喜爱,却始终保持着一层距离。与他相处的日子,我既感到不真实,也在潜移默化中模仿了他的生活方式:护肤、健身、饮食清淡……直到有一天,我开始怀疑自己:这还是我吗?这篇文章记录了那段经历,以及我对“真实与不真实”的思考。
那个看似完美的同学,和我渐渐改变的生活

Lazy loaded image白领大屠杀 Behind the Curtain: A white-collar bloodbath

本文聚焦 AI 革命带来的就业冲击。Anthropic CEO Dario Amodei 警告:未来 1–5 年,AI 或将消灭一半入门级白领岗位,失业率可能飙升至 10%–20%。这场技术浪潮与前三次工业革命不同,AI 不再只是工具,而是能直接替代人类智力劳动的“劳动力本身”。 面对挑战,UBI(全民基本收入)被寄予厚望,但在大国几乎难以实现。文章指出,未来的唯一出路是摆脱“牛马思维”,依靠创造力、洞察力和创新来破局。然而,二八定律将继续生效,80% 的人可能在新秩序中被边缘化。 结论:AI 革命不仅是技术转折,更是人类文明的自我重塑。唯有主动适应、不断重塑的人,才能在巨变中找到生存与发展的空间。
白领大屠杀 Behind the Curtain: A white-collar bloodbath

Lazy loaded imageFBI顶级探员的终极识人术

这篇笔记围绕 FBI 顶级探员的“识人术”展开,核心观点是 信任=可预测性。判断一个人是否值得信赖,不在于他是否“好人”,而在于能否预测其行为。文中提出六大信号——利益捆绑、长期意愿、可靠性、行为模式、沟通方式、情绪稳定——作为识人的系统方法。同时揭示“残酷真相”:人性善变、直觉靠不住、外表浮云、能力常被高估。最终强调,真正的识人之道在于基于事实和数据的理性分析,并辅以 Stempathy(坚忍+共情) 的心态,以此提高预测准确率,建立稳固信任关系。
FBI顶级探员的终极识人术
世界并不非黑即白:读李维菁,想到爱与文艺之人的痛
盛溪
盛溪
盛溪的学习&生活博客
Announcement
🌟 欢迎来到盛溪的博客!🌟
大家好,我是盛溪。在这里,我将分享我的生活感悟、学习心得以及其他一些有趣的发现。希望我的文章能为你的生活带来一点启发和乐趣。
微信号: felix_windsor
📅 更新通知:
  • 我会定期更新博客,分享新的内容。
💬 互动环节:
  • 如果你有任何问题或想法,欢迎在评论区留言。我非常期待与你的互动!
📚 推荐阅读:
  • 不定期推荐一些我觉得有价值的书籍或资源,希望能对你有所帮助。
感谢你的访问和支持,希望你能常来逛逛!
盛溪敬上