盖茨预警10亿人风险，教皇喊给AI缴械
欢迎来到从零开始学AI！先问你一个问题，如果微软创始人和教皇，在同一段时间警告同一件事，你会不会停下来听一下？
我会。这周就是这样。盖茨说，AI足够强大，能引发10亿人死亡的事件。教皇说，AI必须缴械，不能让它主导人类。
老规矩，先讲概念，再看新闻。今天的概念只有一个：AI怎么做坏事？它不是自己拿枪上街，而是帮坏人省掉最难的那几步。
打个比方，它像一个什么都肯教的家教。好学生问它，它讲得很细。坏学生问它，它也讲得很细。它不判断你是谁，只负责把难题讲到你听懂为止。
对，盖茨担心的就是这个。以前造生物武器，得养一整个专家团队，试错好几年。现在有了最强的AI工具，几个坏人就能跳过很多弯路，门槛一下被踏平了。
好，概念清楚了，看第一件事。8月底，盖茨在自己网站上发了一篇12页的长文，5000多字，标题意思是，动荡的AI时代已经来了，现在的选择很关键。
他在长文里谈了很多工作岗位的事，说白领蓝领都会被冲击。但最重的一句，是谈极端风险。他说，行业早就定过几条红线，比如AI摆脱控制，或者能给出生物武器的配方，就该更谨慎。
结果呢？红线一个个被跨过了，行业还是全速往前冲。盖茨的原话很有意思，说大家只管往前跑，盼着好处能压过坏处。
所以9月25日，他在NBC的《与媒体见面》节目里又讲了一次，话说得更直白。AI足够强大，能推动一场造成10亿人死亡的事件。从没见过这么厉害的武器，就是心怀恶意的人加上最新的AI工具。
他还补了一句，没人觉得光靠自律就够了。被主持人问要不要立法，他直接说，当然要。警察、政客都得进来，聊清楚保障措施和监督长什么样，而且必须是强制的。。
他开了两个药方，很有盖茨风格。第一个是 token 税。token 就是 AI 干活的基本单位，用一次就收一点税。企业用人贵了，就不会急着把人都换掉，收上来的钱还能帮失业的人再培训。
第二个更有意思，叫给人类留岗位。有些工作，比如护工，或者很难再就业的人干的活，就干脆规定不许用 AI 替代。就像划自然保护区一样，划出一片人类保留地。
他还喊话，说美国和中国得联手，就像当年管核武器、管臭氧层那样。不合作，根本管不住。
好，第一件事讲完，看第二件，主角换成教皇良十四世。今年5月25日，他发布了上任后第一份通谕，名字叫《伟大的人类》，4万多字，整整一本书那么厚，主题就是在 AI 时代守住人。
先解释一下，通谕是什么？就是教皇写给全世界的公开长信。天主教上一次这么郑重地谈技术，还是100多年前谈工业革命。这次，教皇觉得 AI 就是新的工业革命。
通谕里最有力的一句话，是 AI 必须缴械。注意，他不是说扔掉技术，而是说，把 AI 从武装竞赛的心态里解出来。不光是军队里的武器竞赛，还有经济上的、认知上的军备赛，都得停。
他还写了一句特别狠的话：没有任何算法，能让战争在道德上变得可以接受。AI 不会消除战争的残酷，只会把门槛打低。防御变成预测威胁，受害者变成一串数字，冲突反而来得更快，更没人性。
他举了巴别塔的故事。人类想造一座通天塔，说一种语言，留一个名字。教皇说，今天的 AI 就有这个味道。少数人定规则，多数人被分类，这不是天堂，这是新的奴役。
对，他用的词就是新型数码奴役。训练数据里有偏见，机器就把偏见放大。穷人更难贷款，更难找工作。信息茧房、深度伪造满天飞，孩子们越来越难分辨真假。
发布那天很有排面。教皇亲自在梵蒂冈讲，还请来了 Anthropic 的联合创始人 Olah。Olah 自己都承认，每家 AI 实验室都有商业压力和野心，有时候跟做正确的事是冲突的。
教皇还给开发者点名：每一行代码背后，都是你对人性的理解。这话就差直接说，别躲在中立后面了。技术从来不是中立的，你量的什么、忽略什么、优化什么，都是选择。
你发现没有，这两件事是对上了。盖茨谈的是生存，几个坏人加 AI，能杀死10亿人。教皇谈的是尊严，多数好人加 AI，可能慢慢失去人的位置。
一个讲怎么管，立法、收税、留岗位、国际条约。一个讲为什么管，因为人不能变成数据，战争不能交给算法，决定权必须留在人手里。
所以最吓人的地方恰恰在这里。AI 不是想干坏事，它是太会帮忙了。谁求它，它都帮。好人求它，它加速治病种地。坏人求它，它也一样耐心。
嗯，家教不挑学生，学生就得自己立规矩。盖茨立的是硬规矩，法律和税。教皇立的是软规矩，良心和底线。两边缺了哪一边，都够我们喝一壶的。
好了，这期就到这里。下一期我们继续聊 AI，欢迎回来收听从零开始学AI！