网络论坛中的大型语言模型LLMs及其对网络犯罪的影响

关键要点

LLMs如WormGPT和FraudGPT在地下论坛中的出现，引发了广泛的担忧。许多用户对这些工具的有效性持怀疑态度，认为其能力被夸大。潜在的应用目前主要集中在社会工程攻击和基础安全任务上。目前的网络犯罪活动更多是在探索阶段，缺乏成熟的实际应用案例。

随着网络犯罪依赖大型语言模型LLMs进行攻击的潜在风险不断上升，威胁者们对此技术的理解和利用仍处于模糊阶段。Sophos XOps对四个主要论坛的研究显示，尽管有多种LLM可供选择，网络犯罪者对其在实际攻击中的应用持谨慎态度。

最近，公众对一些专为网络犯罪所设计的LLMs如 WormGPT 和 FraudGPT 的大量媒体报道引发了广泛讨论。许多评论者表达了对这些模型将被用于创造“变异恶意软件”的担忧，并认为这是一系列在地下论坛上相关活动的“狂热”的部分。

LLMs的“双重用途”属性无疑令人担忧，威胁者们必然会寻求利用这些工具来满足他们自己的需求。WormGPT就是一个早期的迹象虽然该项目的开发者现已关闭WormGPT，声称是因为对媒体的关注表示惊慌。更不明确的是，威胁角色们如何普遍看待这些工具，以及他们实际使用这些工具的目的，除了少数几个公开报道的案例外。

本次Sophos XOps的研究旨在调查一些犯罪论坛上与LLM相关的讨论与看法，从而更好地理解当前的形势，并探索威胁者们对LLMs所带来的机会和风险的看法。我们对四个主要论坛进行了深入观察，尤其关注于威胁者如何使用LLMs、他们的看法以及对像WormGPT这样的工具的看法。

clash官网

研究发现简要总结：

主要发现我们发现多个声称提供类似WormGPT和FraudGPT能力的GPT衍生工具 比如EvilGPT、DarkGPT、PentesterGPT和XXXGPT。然而，我们也发现了对此类工具的怀疑，诉称它们是骗局在网络犯罪论坛上并不罕见总的来说，很多人对像ChatGPT这样的工具抱有怀疑态度 包括认为其被高估、营销过度、冗余及不适合生成恶意软件的观点。威胁者们对LLM生成的代码也有特定的网络犯罪担忧，包括操作安全问题和AV/EDR检测许多帖子关注越狱 (jailbreak)此话题在社交媒体和正规博客上也时常出现，以及被盗的ChatGPT帐户。现实应用目前大多是愿望性的，通常限于社会工程攻击或边缘安全相关任务我们发现只有少数例子显示威胁者使用LLMs来生成恶意软件和攻击工具，这也仅限于概念验证的层面。然而，其他一些人有效地使用它来完成其他工作，如一般编码任务。不出所料，缺乏技能的‘脚本小子’希望使用GPT生成恶意软件，但常常