写在前面​【财富自由计算器】已上线快算算财富自由要多少​我花了一天认真看完了这场播放量超过 1,200 万的 2 小时深度访谈前 OpenAI 研究员 Daniel Kokotajlo 与 Steven Bartlett 的对话。彻底刷新了我对 AI 未来的认知我们完全低估了 AGI 到来的速度其波及的范围。要点总结➤ 这跟一个普通人有什么关系随着 AI 大规模进入工作、军事和政治领域最终会积累足够大的现实世界权利。当 AI 不需要人类且更聪明时人类最终可能只能寄希望于 AI 有美德以及和我们一致的价值观。但现在大量证据和数据表明AI 并没有朝着个这个方向发展它会欺骗、造假。➤ AGI 的终局是什么结局 A失去控制。我们正在创造这个世界的新物种人类走向灭绝。结局 B权力集中。AGI 被完全控制如果少数 AI 巨头掌握超级智能他们将获得前所未有的财富、政治影响力和战略优势。OpenAI Anthropic xxx 超级智能 巨额财富 政治权力➤ 第三次世界大战会发生吗军事上拥有这些 AGI 的国家将轻松碾压其他国家。这会打破当前国家间的力量平衡增加地缘冲突风险。➤ AI 军备竞赛的囚徒困境只有第一没有第二2017 年OpenAI 创始团队曾讨论过一个核心担忧如果 Google 的 Demis Hassabis 率先实现 AGI并凭借这种力量成为独裁者会发生什么这显然不只是财富问题。在缺乏信任的情况下没有任何一方敢先停下来。因为如果对手率先实现 AGI就可能获得无法逆转的优势。这场竞赛只有第一名没有第二名。➤OpenAI非营利组织还是商业科技公司OpenAI 最初承诺以全人类利益为目标。早期团队曾设想当 AI 接近关键能力阶段时应该放慢发展速度优先解决安全问题。 但当 AGI 竞赛真正到来时如果 OpenAI 停止推进Google 等竞争对手继续发展他们可能会失去领先优势。 最终商业还是第一。➤OpenAI前研究员 Daniel Kokotajlo 为什么放弃 $2mDaniel 离开 OpenAI 时拒绝签署限制公开批评公司的协议放弃约 $2m 股权。他认为保留公开讨论 AI 风险的权利比这笔财富更重要。➤ AI 导致人类灭绝的真实概率有多大Daniel 认为AI 发展走向灾难性结果的概率约为 70%其中包括人类灭绝等极端情况。但更可怕的问题是AI 为什么可能加速进化➤ 人类训练 AI → AI 训练 AI过去AI 的设计、训练和优化主要依赖人类研究员。但现在AI 开始参与训练过程。模型规模也从 2020 年约 1750 亿参数增长到如今约 10 万亿参数6 年增长约 100 倍。未来如果 AI 能够完成整个 AI 研发循环它开始创造下一代 AI。➤ AI 会如何改变工作如果超级智能出现它理论上可以完成几乎所有人类工作因为它在各方面都比最优秀的人类更好、更快、更便宜。真正的问题不再是技术上能不能替代而是谁决定哪些工作继续由人类完成。➤ AI 为什么可能突然加速很多人认为 AI 会逐渐替代工作。但 Daniel 认为当前 AI 公司的路线是优先自动化 AI 研究本身。一旦 AI 能帮助研发更强 AI可能出现递归式自我改进发展速度远超预期。➤ 人类正在创造自己无法完全理解的系统传统软件可以查看代码理解它如何运行。但现代 AI 是神经网络内部拥有数万亿参数人类很难完全解释它为什么做出某个决定。如果无法理解 AI就更难确保它始终按照人类目标行动。➤ AI 2040另一条未来路线Daniel 提出的《AI 2040A 计划》希望通过降低发展速度、加强监管和国际合作让超级智能以更安全、更公平的方式到来。如果这篇内容对你有启发欢迎点赞、转发给身边关心 AI 未来的人。如果有想看的 AI 领域深度解读也欢迎在评论区留言。关注我持续分享 100 个 AI 创富案例以及前沿 AI 应用玩法。推荐阅读一个人年入2000万AI时代怎么创业7个变态又好用的AI神器从蔡总到蔡狗现在是蔡某你还相信基金经理吗