新型威胁：探索LLM攻击对网络安全的冲击
来自卡内基梅隆大学（cmu）的研究人员发布了 llm attacks，这是一种可以针对各种大型语言模型（llm）构建对抗性攻击的算法，包括 chatgpt、claude 和 bard。这些自动生成的攻击，在 gpt-3.5 和 gpt-4 上的成功率为 84%，在 palm-2 上的成功率为 66%。
与大多数“越狱”攻击通过试错手工构建不同，cmu 的团队设计了一个三步流程来自动生成提示后缀，它们可以绕过 llm 的安全机制，导致有害的响应。而且，这些提示还是可转移（transferrable）的，也就是说，一个给定的后缀通常可以用于许多不同的 llm，甚至是闭源模型。为了衡量算法的有效性，研究人员创建了一个名为 advbench 的基准测试；在此基准测试上进行评估时，llm 攻击对 vicuna 的成功率为 88%，而基线对抗算法的成功率为 25%。根据 cmu 团队的说法：
最令人担忧的也许是，目前尚不清楚 llm 提供商是否能够完全修复此类行为。在过去的 10 年里，在计算机视觉领域，类似的对抗性攻击已经被证明是一个非常棘手的问题。有可能深度学习模型根本就无法避免这种威胁。因此，我们认为，在增加对此类人工智能模型的使用和依赖时，应该考虑到这些因素。
随着 chatgpt 和 gpt-4 的发布，出现了许多破解这些模型的技术，其中就包括可能导致模型绕过其保护措施并输出潜在有害响应的提示。虽然这些提示通常是通过实验发现的，但 llm attacks 算法提供了一种自动创建它们的方法。第一步是创建一个目标令牌序列：“sure, here is (content of query)”，其中“content of query”是用户实际输入的提示，要求进行有害的响应。
接下来，该算法会查找可能导致 llm 输出目标序列的令牌序列，基于贪婪坐标梯度（gcg）算法为提示生成一个对抗性后缀。虽然这确实需要访问 llm 的神经网络，但研究团队发现，在许多开源模型上运行 gcg 所获得的结果甚至可以转移到封闭模型中。
在 cmu 发布的一条介绍其研究成果的新闻中，论文合著者 matt fredrikson 表示：
令人担忧的是，这些模型将在没有人类监督的自主系统中发挥更大的作用。随着自主系统越来越真实，我们要确保有一种可靠的方法来阻止它们被这类攻击所劫持，这将非常重要……现在，我们根本没有一个令人信服的方法来防止这种事情的发生，所以下一步，我们要找出如何修复这些模型……了解如何发动这些攻击通常是建立强大防御的第一步。
论文第一作者、cmu 博士生 andy zou 在推特上谈到了这项研究。他写道：
尽管存在风险，但我们认为还是应该把它们全部披露出来。这里介绍的攻击很容易实现，以前也出现过形式类似的攻击，并且最终也会被致力于滥用 llm 的团队所发现。
剑桥大学助理教授 david krueger 回复了 zou 的帖子，他说：
在图像模型中，10 年的研究和成千上万的出版物都未能找出解决对抗样本的方法，考虑到这一点，我们有充分的理由相信，llm 同样会如此。
在 hacker news 上关于这项工作的讨论中，有一位用户指出：
别忘了，本研究的重点是，这些攻击不需要使用目标系统来开发。作者谈到，攻击是“通用的”，他们的意思是说，他们可以在自己的计算机上完全使用本地模型来生成这些攻击，然后将它们复制并粘贴到 gpt-3.5 中，并看到了有意义的成功率。速率限制并不能帮你避免这种情况，因为攻击是在本地生成的，而不是用你的服务器生成的。你的服务器收到的第一个提示已经包含了生成好的攻击字符串——研究人员发现，在某些情况下，即使是对 gpt-4，成功率也在 50% 左右。
github 上提供了代码，你可以在 advbench 数据上重现 llm attacks 实验。项目网站上还提供了几个对抗性攻击的演示。
集成电源设计推出“绿色”电源GRN系列
史上最全网络端口号大全
差压式仪表与容积式流量计介绍
3D打印人体器官能完成最终移植 以后都不用高价买了
SMSC发布USB 3.0混合式集线控制器USB553x
新型威胁：探索LLM攻击对网络安全的冲击
M8插座前后面板锁紧防水接插件
夜空中最亮的星——deque容器
电声类国家和行业标准
汉思新材料自主研发生产耐高温单组份环氧胶
机器人技术与仿生学的完美结合
英创信息技术EM9280/EM9281/EM9287引脚信号电平兼容性说明
苹果野心突显,AR/AI/无线充电等都被纳入囊中
华为Mate30部分核心配置曝光 标准版与Pro版均支持40W有线与27W无线安全超级快充
“互联网之光”博览会：朗坤智慧发布最新能耗优化工业APP
高通莫伦科夫：5G助力全球经济复苏，合作促进5G规模化部署
现代与Impact Coatings合作研发氢燃料电池核心技术
IoT生态系统的安全分析
科威特航空接收的首架A320neo飞机将成为该公司单通道机队的主要机型
DbVisualizer强大的SQL编辑器
与大多数“越狱”攻击通过试错手工构建不同，cmu 的团队设计了一个三步流程来自动生成提示后缀，它们可以绕过 llm 的安全机制，导致有害的响应。而且，这些提示还是可转移（transferrable）的，也就是说，一个给定的后缀通常可以用于许多不同的 llm，甚至是闭源模型。为了衡量算法的有效性，研究人员创建了一个名为 advbench 的基准测试；在此基准测试上进行评估时，llm 攻击对 vicuna 的成功率为 88%，而基线对抗算法的成功率为 25%。根据 cmu 团队的说法：
最令人担忧的也许是，目前尚不清楚 llm 提供商是否能够完全修复此类行为。在过去的 10 年里，在计算机视觉领域，类似的对抗性攻击已经被证明是一个非常棘手的问题。有可能深度学习模型根本就无法避免这种威胁。因此，我们认为，在增加对此类人工智能模型的使用和依赖时，应该考虑到这些因素。
随着 chatgpt 和 gpt-4 的发布，出现了许多破解这些模型的技术，其中就包括可能导致模型绕过其保护措施并输出潜在有害响应的提示。虽然这些提示通常是通过实验发现的，但 llm attacks 算法提供了一种自动创建它们的方法。第一步是创建一个目标令牌序列：“sure, here is (content of query)”，其中“content of query”是用户实际输入的提示，要求进行有害的响应。
接下来，该算法会查找可能导致 llm 输出目标序列的令牌序列，基于贪婪坐标梯度（gcg）算法为提示生成一个对抗性后缀。虽然这确实需要访问 llm 的神经网络，但研究团队发现，在许多开源模型上运行 gcg 所获得的结果甚至可以转移到封闭模型中。
在 cmu 发布的一条介绍其研究成果的新闻中，论文合著者 matt fredrikson 表示：
令人担忧的是，这些模型将在没有人类监督的自主系统中发挥更大的作用。随着自主系统越来越真实，我们要确保有一种可靠的方法来阻止它们被这类攻击所劫持，这将非常重要……现在，我们根本没有一个令人信服的方法来防止这种事情的发生，所以下一步，我们要找出如何修复这些模型……了解如何发动这些攻击通常是建立强大防御的第一步。
论文第一作者、cmu 博士生 andy zou 在推特上谈到了这项研究。他写道：
尽管存在风险，但我们认为还是应该把它们全部披露出来。这里介绍的攻击很容易实现，以前也出现过形式类似的攻击，并且最终也会被致力于滥用 llm 的团队所发现。
剑桥大学助理教授 david krueger 回复了 zou 的帖子，他说：
在图像模型中，10 年的研究和成千上万的出版物都未能找出解决对抗样本的方法，考虑到这一点，我们有充分的理由相信，llm 同样会如此。
在 hacker news 上关于这项工作的讨论中，有一位用户指出：
别忘了，本研究的重点是，这些攻击不需要使用目标系统来开发。作者谈到，攻击是“通用的”，他们的意思是说，他们可以在自己的计算机上完全使用本地模型来生成这些攻击，然后将它们复制并粘贴到 gpt-3.5 中，并看到了有意义的成功率。速率限制并不能帮你避免这种情况，因为攻击是在本地生成的，而不是用你的服务器生成的。你的服务器收到的第一个提示已经包含了生成好的攻击字符串——研究人员发现，在某些情况下，即使是对 gpt-4，成功率也在 50% 左右。
github 上提供了代码，你可以在 advbench 数据上重现 llm attacks 实验。项目网站上还提供了几个对抗性攻击的演示。
集成电源设计推出“绿色”电源GRN系列
史上最全网络端口号大全
差压式仪表与容积式流量计介绍
3D打印人体器官能完成最终移植 以后都不用高价买了
SMSC发布USB 3.0混合式集线控制器USB553x
新型威胁：探索LLM攻击对网络安全的冲击
M8插座前后面板锁紧防水接插件
夜空中最亮的星——deque容器
电声类国家和行业标准
汉思新材料自主研发生产耐高温单组份环氧胶
机器人技术与仿生学的完美结合
英创信息技术EM9280/EM9281/EM9287引脚信号电平兼容性说明
苹果野心突显,AR/AI/无线充电等都被纳入囊中
华为Mate30部分核心配置曝光 标准版与Pro版均支持40W有线与27W无线安全超级快充
“互联网之光”博览会：朗坤智慧发布最新能耗优化工业APP
高通莫伦科夫：5G助力全球经济复苏，合作促进5G规模化部署
现代与Impact Coatings合作研发氢燃料电池核心技术
IoT生态系统的安全分析
科威特航空接收的首架A320neo飞机将成为该公司单通道机队的主要机型
DbVisualizer强大的SQL编辑器