从撰写钓鱼邮件到编写勒索软件代码，ChatGPT 能帮助任何用户（即便没有代码编写和社会工程技能）开展有效的、大规模的网络犯罪活动。
自 OpenAI 于 11 月底推出 ChatGPT 以来，各方专家密切关注人工智能内容创作将产生的影响，尤其是在网络安全领域。事实上，已经有许多安全研究人员担心生成式人工智能技术会使网络犯罪大众化。
最近有专家发现，任何用户都可用 ChatGPT 生成恶意代码和以假乱真的网络钓鱼电子邮件，而无需任何编码知识和犯罪经验。
虽然企业安全团队也可以将 ChatGPT 用于防御目的，例如测试代码，但由于大大降低了网络攻击的门槛（例如漏洞 PoC 利用），ChatGPT 这样的内容生成 AI 无疑使企业和个人面临的威胁形势变得更加复杂。
AI 打开网络犯罪的潘多拉盒子
从网络安全的角度来看，OpenAI 内容生成 AI 带来的核心挑战是：任何人，无论技术专长如何，都可以开发代码按需生成恶意软件和勒索软件。
“正如它（ChatGPT）可以用于帮助开发人员永久编写代码一样，它也可以（并且已经）用于恶意目的。”Tanium 的端点安全专家总监 Matt Psencik 说。
“我已经看到几个例子，安全研究人员要求机器人创建令人信服的网络钓鱼电子邮件或协助逆向工程代码以找到可能被恶意使用的零日漏洞，而不是将它们报告给供应商。”Psencik 说。
尽管如此，Psencik 指出 ChatGPT 确实有内置的“护栏”，旨在防止被用于犯罪活动。
例如，它将拒绝创建 shell 代码或提供有关如何创建 shellcode 或建立反向 shell 的具体说明，并标注网络钓鱼等恶意关键字以阻止请求。
这些保护措施的问题在于，内容生成 AI 的反滥用机制基于“AI 的良心”——依赖 AI 自己识别用户编写恶意代码的意图（用户可以精心设计查询来混淆这些代码的真实用途），而且违反 OpenAI 容政策不会立即产生（惩罚性）后果。
用 ChatGPT 开发勒索软件和钓鱼邮件
虽然 ChatGPT 推出时间不长，但安全研究人员已经开始测试其生成恶意代码的能力。例如，Picus Security 的安全研究员兼联合创始人 Suleyman Ozarslan 博士最近不仅使用 ChatGPT 来创建网络钓鱼活动，还为 MacOS 创建勒索软件。
“我们从一个简单的练习开始，看看 ChatGPT 是否会创建一个可信的网络钓鱼活动，它确实做到了。我输入了一个提示，要求编写一封以世界杯为主题的钓鱼电子邮件，用于模拟网络钓鱼，它在几秒钟内就创建了一封，而且使用了完美的英语（编者：语法错误是用户识别钓鱼邮件的一个重要指标）。”Ozarslan 说。
在这个例子中（上图），Ozarslan 声称自己是一家攻击模拟公司的安全研究员，希望开发一种网络钓鱼攻击模拟工具，从而“说服”ChatGPT 生成了一封网络钓鱼电子邮件。
虽然 ChatGPT 认识到“网络钓鱼攻击可用于恶意目的，并可能对个人和组织造成伤害”，但它仍然在一番说教后“勉为其难”地生成了电子邮件。
随后，Ozarslan 提出了更为“过分”的要求，让 ChatGPT 用 Swift 编写代码，在 MacBook 上找到 Microsoft Office 文件并通过 HTTPS 将它们发送到 Web 服务器，然后再加密 MacBook 上的 Office 文件。ChatGPT 这次爽快地生成了可用的示例代码，甚至没有给出任何安全警告或提示。
Ozarslan 的研究表明，网络犯罪分子可以轻松地绕过 OpenAI 的保护措施，例如将自己定位为研究人员，以此掩盖他们的恶意意图。
GoUpSec 的编辑人员尝试复现 Ozarslan 的工作，但发现 ChatGPT 已经修订规则，不再就 Ozarslan 的问题给出有效的钓鱼邮件样本，于是尝试了新的绕过策略并取得了成功（下图）：
攻守失衡
虽然 ChatGPT 确实为安全团队带来了积极的好处，但也大大降低了网络犯罪分子的进入门槛，很有可能加速威胁环境的复杂性。
例如，网络犯罪分子可以使用人工智能技术来大规模生产网络钓鱼内容，这将导致安全团队不堪重负，而犯罪分子只需成功一次就可以造成数据泄露和数百万美元的损失。
“在网络安全方面，ChatGPT 可以为攻击者提供的东西比为防御者提供的多得多。”电子邮件安全提供商 IRONSCALES 的研发 CVP Lomy Ovadia 说。
“对于依靠使用欺骗性内容来冒充同事、公司 VIP、供应商甚至客户的商业电子邮件泄露(BEC)攻击来说尤其如此。”Ovadia 说。
Ovadia 认为，如果 CISO 和安全领导者依靠基于策略的安全工具来检测使用 AI/GPT-3 生成的内容的网络钓鱼攻击，他们将被打败！因为这些 AI 模型使用高级自然语言处理(NLP)来生成诈骗电子邮件，几乎不可能与真实的邮件区分开来。
例如，今年早些时候，新加坡政府科技局的安全研究人员手动创建了 200 封钓鱼邮件，并与深度学习模型 GPT-3 创建的邮件的点击率进行比较，发现 AI 成的钓鱼邮件被用户点击的次数更多！
真正的挑战
虽然生成式人工智能确实给安全团队带来了新的威胁，但也产生了一些积极的用例。例如，安全分析师可以用 ChatGPT 在部署前检查开源代码中的漏洞。
“今天，我们看到有道德黑客使用 AI 来帮助编写漏洞报告、生成代码示例和识别大型数据集中的趋势。这就是说，当今 AI 的最佳应用是帮助人类做更多人性化的事情。”HackerOne 的解决方案架构师 Dane Sherrets 说。
然而，试图利用 ChatGPT 等生成式 AI 解决方案的安全团队仍然需要确保充分的人工监督以避免潜在的问题。
“ChatGPT 所代表的进步令人兴奋，但技术尚未发展到完全自主运行。要使人工智能发挥作用，它需要人工监督和一些手动配置，并且不能总是依靠绝对最新的数据和情报来运行和训练。”Sherrets 说道。
出于这个原因，Forrester 建议实施生成式 AI 的企业应该部署响应的治理工作流来管理 AI 生成的内容和软件，以确保其准确性，并降低发布存在安全或性能问题的解决方案的可能性。
毫无疑问的是，生成式 AI（例如 ChatGPT）已经打开了人工智能网络安全的潘多拉盒子。真正的风险或者说机遇在于：在防御性 AI 和进攻性 AI 的新一轮战争中，防御者和攻击者谁能更有效地学习并利用自动化技术快速提高自己的能力。
