内容摘要：思科Talos最新研究表明，网络犯罪分子正越来越多地滥用大语言模型LLM）来增强其非法活动。这些以生成文本、解决问题和编写代码著称的强大AI工具，据报告正被操纵用于发起更复杂、更广泛的攻击。安全机制遭

思科Talos最新研究表明，恶意网络犯罪分子正越来越多地滥用大语言模型（LLM）来增强其非法活动。模型这些以生成文本、正掀罪新解决问题和编写代码著称的起网强大AI工具，据报告正被操纵用于发起更复杂
、络犯浪潮更广泛的恶意攻击
。

安全机制遭遇挑战

虽然LLM设计时内置了安全功能——包括对齐（通过训练减少偏见）和防护栏（防止有害输出的模型实时机制）——例如ChatGPT等正规LLM会拒绝生成钓鱼邮件，但网络犯罪分子正在积极寻找规避这些保护措施的正掀罪新方法。

三大滥用手段曝光

Talos与Hackread.com共享的起网调查揭示了攻击者采用的亿华云三种主要方法
：

无审查LLM：这类缺乏安全约束的模型会直接生成敏感或有害内容 。典型案例包括能生成攻击性安全工具或钓鱼邮件的络犯浪潮OnionGPT和WhiteRabbitNeo 。通过Ollama等框架 ，恶意用户可在本地运行Llama 2 Uncensored等无审查模型。模型定制犯罪LLM ：部分具有"创业精神"的正掀罪新网络犯罪分子正在开发专门用于恶意目的的LLM 。暗网上兜售的起网GhostGPT、WormGPT、免费模板络犯浪潮DarkGPT 、DarkestGPT和FraudGPT等产品，标榜具有创建恶意软件、钓鱼页面和黑客工具的功能。越狱正规LLM ：通过巧妙的提示注入技术诱使现有LLM忽略安全协议 。已观察到的手段包括使用Base64等编码语言 、附加随机文本（对抗性后缀）
、角色扮演场景（如DAN或祖母越狱） ，甚至利用模型的自反特性（元提示） 。源码下载暗网黑市猖獗

暗网已成为这些恶意LLM的交易市场
 。以FraudGPT为例，其宣传功能涵盖编写恶意代码
、创建无法检测的恶意软件、寻找漏洞网站以及生成钓鱼内容 。但该市场对犯罪分子同样存在风险——Talos研究人员发现，自称FraudGPT开发者的CanadianKingpin12实际上通过兜售不存在的产品骗取潜在买家的加密货币。

犯罪应用场景扩展

除直接生成非法内容外 ，模板下载网络犯罪分子正以恶意方式将LLM用于与合法用户相似的场景 。2024年12月 ，Claude LLM的开发方Anthropic指出编程、内容创作和研究是其模型的主要用途。犯罪LLM同样被用于：

编程：制作勒索软件 、远程访问木马
、数据擦除器及代码混淆工具内容创作 ：生成逼真的钓鱼邮件、着陆页和配置文件研究 ：验证被盗信用卡号 、源码库扫描漏洞甚至策划新型犯罪方案LLM自身成为攻击目标

攻击者正在Hugging Face等平台分发植入后门的模型 
，这些模型被下载时会执行嵌入的恶意代码 。此外 ，采用检索增强生成（RAG）技术的外部数据源LLM可能遭受数据投毒攻击——攻击者通过操纵数据来影响LLM的输出
。

思科Talos预测 ，随着AI技术持续发展 ，网络犯罪分子将越来越多地采用LLM作为现有攻击方法的"力量倍增器"，而非创造全新的香港云服务器"网络武器"，从而提升其犯罪效率。