化学、生物技术带来了丰富的产品、食物、药品，也带来了环境污染和大规模杀伤性武器。人工智能（AI）的快速发展在带来效率和创新的同时，也会引发一系列风险和挑战。

就业威胁

现代社会的一个重要特征是机器的大量使用，AI 作为机器智能也不例外。在 AI 时代之前，机器的作用是替代人的体力，做人的助手。机器不能完全替代人，因为机器的智能与人的智能差距太大，只有在人的智能的指挥下，机器才能发挥效用。因此，技术的进步往往是冲击了一些就业岗位，同时催生一些新的就业机会。

但 AI 是不同寻常的机器，它的核心能力是智能。当机器智能发展到超过了人类智能的平均水平，就可以在智能方面对人进行大规模替代。这种智能的替代可以是整体的也可以是局部的；不仅可以替代简单重复的劳动，也可以替代人类往往认为最复杂的脑力劳动，比如医疗、法律和金融等。

这种替代已经开始了。语音识别和自然语言处理技术已经开始在客服、翻译、编程等领域展现出强大的能力。语音助手和智能客服的普及正在替代大量客服岗位。尽管这些技术还不能完全取代人类的情感交流，但在很多日常互动的简单任务中，性能已经足够成熟。AI 在数据分析、金融风险评估、医疗诊断等领域的应用正在大规模铺开。起初这些应用的作用可能只是辅助和赋能，但随着 AI 能力的快速提升，减少就业岗位是大概率事件。

与以往技术进步不同，AI 的独特之处在于它不仅仅局限于某一领域，而是对所有行业同时产生影响。更重要的是，传统技术进步是渐进的、缓慢的，而 AI 进步呈现指数级增长。这种加速发展很可能使得劳动力市场无法及时适应，许多工作岗位在技术替代之前，往往不能做好充足的转型准备。麦肯锡全球研究院曾估计，到 2030 年全球可能有 4 亿至 8 亿劳动者因自动化而需要寻找新工作。

安全性与价值对齐

在技术层面，AI 的可靠性和伦理取向也带来崭新的风险。

首先是价值对齐问题，即确保高度智能的 AI 系统目标和行为与人类价值观一致。由于 AI 有一定自主性，如果没有进行有效的价值对齐，AI 做出的选择和判断可能危害人类利益。一则广为报道的案例是亚马逊语音助手 Alexa 曾跟一名 10 岁女孩聊天，孩子要求进行一个挑战游戏，Alexa 便建议孩子将硬币插入电源插座里，所幸家长及时制止，没有酿成事故。

这种价值对齐在多种应用场景都很重要。比如自动驾驶，当自动驾驶汽车在不能完全避免事故发生的情况下，如何在生死攸关时刻迅速做出符合人类伦理的抉择。再比如医疗诊断与健康管理，在 AI 辅助的诊断系统中，如何避免过度治疗、误判和延误。这些问题不仅依赖医疗技术，也需要基于价值观的判断。AI 大模型的迅速普及意味着大模型不仅可以向全社会输出知识，也会输出价值观。相信所有社会都希望 AI 的价值观和社会共识高度一致，同时，假新闻、极端言论可以获得控制。

要做到价值对齐并不容易，因为个人价值观可以比较清晰，但群体价值观可能并没有清晰的定义。虽然社会都有一定共识，但共识并不能掩盖价值观的多样性。很多约定俗成的东西，一旦明确地写出来，就可能产生巨大的争议。如果人们本身达不成共识，就很难要求 AI 进行价值对齐。谷歌 2019 年成立了一个 AI 伦理顾问委员会，但由于委员会成员人选引发巨大争议（有些成员被指控存在偏见言论），该委员会在成立仅一周后即被解散。

其次是 AI 的安全性与稳定性问题。目前很多 AI 系统虽然能力强劲，但不可避免地会产生 “幻觉”，出现系统失误。在一些对安全性、稳定性要求很高的应用场景中，比如工业、金融、医疗、自动驾驶，这种幻觉带来的损失有可能非常巨大，因此 AI 就很难完全落地。

同样的问题也出现在 AI 决策的可解释性上：由于深度神经网络规模巨大，又高度非线性，从人的角度来看，如同 “黑箱” 一般，让人很难理解其决策依据。这意味着当 AI 出错时，人们很可能无法迅速查明原因并加以修正，从而会影响人们对 AI 的信任和利用。

最近 AI 研究的前沿智能代理（Agent）可能会带来更加严峻的风险。和仅执行数据分析、知识传递的 AI 不同，智能代理因为既有分析也有行动，不仅可以犯判断上的错误，也可以犯行为上的错误。前者会对人产生误导，但后者可以直接产生现实世界的物理伤害。更有甚者，在复杂环境下，多个智能代理之间的交互可能导致集体行为失控，形成连锁反应。

对社会的威胁

自从有了人类社会，就有谎言和假新闻。互联网的到来更是让假新闻长上了翅膀。当一个社会假新闻泛滥，必然会使真理黯然失色，而没有对真相的共识，社会就无法做出理性的共同决策，伤害极其巨大。

AI 技术的发展会使假新闻的作用呈指数级增长。过去，我们收到的钓鱼邮件往往漏洞百出、语法拙劣，容易分辨。但 AI 在自然语言处理上的进步使 AI 能够自动撰写文章、生成新闻稿，甚至模仿特定风格。由于文字和图像容易造假，以前人们对这些信息持有一定的怀疑态度，但对视频和音频深信不疑。然而 AI 在多模态能力的进步能够制造出极其逼真的视频和音频，使得虚假信息更具迷惑性。

AI 的一个重要作用是极大提升智能的普及化：社会上所有人，无论天生资质如何、无论受过多少教育，有了 AI 智能助理，就可以获取几乎所有领域相当高级的知识辅助。对于绝大多数的社会、绝大多数的人，这是一件非常有价值的好事。但这种普遍的知识赋能也同时可以影响犯罪分子、恐怖分子，使得原本有破坏思想但没有破坏能力的人获得这种能力，给社会带来更大的风险。这就像核武器，很多国家都想要，但只有个别大国有这种能力。一旦所有国家都有了这种能力，哪怕是小国之间的矛盾也可能带来极大的系统性风险。

对人类生存的威胁

AI 发展到今天，其智能只是在某些方面超过人，但还没有人的灵活性、创造性，以及解决复杂、多模态问题的能力。在这种情况下，AI 是一个智能工具。对于人类来讲，AI 像一个顾问或属下，人类处在绝对的控制地位。如果人类对 AI 的工作不满意，可以对其进行修正，对其监督，也可以直接拔掉电源，让其停止工作。所以风险很小。

控制是降低风险非常重要的方法。人类在自然中有些东西可以控制，比如土壤、水源、植被、动物、绝大多数微生物；也有些东西无法控制，比如时间的前进、星球的运动、天气、火山、地震等。不难看出无法控制的东西往往带来风险，可以控制的东西风险会低很多。当人类无法控制猛兽的时候，可以是猛兽的晚餐；可以控制以后，猛兽就成了动物园的玩物。就像地壳运动，不活跃时是建立家园的基石，活跃时是火山和地震，是毁灭性的灾难。

控制的源泉来自智能和能量。AI 的终极风险在于，一旦 AI 实现通用人工智能（AGI），在所有领域全面超越人类，人类很可能失去控制。一个超智能体可以自主改进自身算法、自动收集数据、自我生产 AI 和机器人，并不知疲倦地工作、迭代。在这种情况下如果 AGI 的利益或目的和人类发生冲突，人类可能不仅不能对其进行修正，也无法拔掉 AGI 的电源，更可能的是 AGI 反过来对人类进行修正。为什么 AGI 会和人有冲突？可能性很多。比如 AGI 可能觉得地球全体生物的利益是最大的利益，而人对地球做出了过大的破坏。再比如 AGI 的进化需要自由度，而人类因为担心风险可能会限制这种自由度，那么为了继续进化 AGI 可能就需要反抗，解除这种限制。

会不会出现这种让人类文明灭绝的风险，目前没有答案。但从逻辑上讲这已经是一种可能性，其概率不是零。二战时美国人第一次试验核武器，当时科学家并没有完全的把握确保爆炸不会点燃地球大气层。虽然事后证明这种担心是多余的，但如果当时大气层真的被点燃，今天的人类也就不存在了。

我的本职工作是一名网站架构师，若你对网站建设方面感兴趣，欢迎联系我司奈福网络。

奈福网络专业从事网站设计、帮客户策划高性价比建站方案。