生成式人工智能（genAI）和大型语言模型（LLMs）的出现，如ChatGPT，引发了一场波及每个行业和企业的变革。这些技术不仅带来新的能力、效率和可能性，还动摇了现有的结构、流程、治理和运营活动。许多组织正在将生成式人工智能纳入他们的应用程序，并增加功能和技术，如模型基础或检索增强生成（RAG）模式。随着这些能力的逐渐理解，一个趋势正在显现：代理人工智能。

01

什么是代理人工智能？

代理人工智能是一种新的趋势，使用人工智能在迭代工作流程中，包含能够自主行动以实现特定目标的代理。它们可以做出决策并采取行动，而无需人类干预或参与。它们始终在线，实时监听、反应和分析特定领域的数据，做出决策并付诸行动。

人工智能的下一个前沿是代理人工智能，它使用复杂的推理和迭代规划来自主解决复杂的多步骤问题。它将提高各行业的生产力和运营。代理人工智能系统从多个来源获取大量数据，以独立分析挑战、制定策略并执行供应链优化、网络安全漏洞分析和帮助医生完成耗时任务等任务。

Gartner预测到2028年，三分之一的人类与生成式人工智能的互动将演变为直接与自主、意图驱动的代理进行交互。虽然这种自主性和自动化的结合为某些应用提供了更多优势，但现在对安全性的需求更加迫切。

02

代理人工智能的概述

让我们深入探讨代理人工智能，以了解并设定所需安全措施的基准。

代理和代理型人工智能与现有的生成式人工智能服务（如副驾驶或聊天机器人）并不相同。传统的生成式人工智能服务接受特定的命令或提示并返回响应。代理作为工作流程的一部分，根据代理返回的结果进行操作。

代理人工智能汇集了一套工具、框架和模式，以自动化端到端的业务流程工作流，使人工智能和人类能够协同工作。利用代理，可以构建解决方案，以提供端到端的结果，这些结果可以组合在一起，自主实现业务目标。

AI代理是该架构中驱动每个自动化任务的基础工作单元，它们旨在执行特定、独特的自主任务，并融入更广泛的工作流程中。在这里，它将提供来自LLMs、内部业务系统、数据源或其他 AI 服务的信息，以及来自外部系统的数据。这些代理可以与LLMs互动，从而创建各种内容。这包括可以由工作流程过程中的其他代理进一步执行的生成代码。

指导这些代理的工作流程是控制器，它根据从每个代理返回的数据所做的规则和决策建立的独特活动顺序，调用所需的代理。在这个过程中，工作流程可以选择合适的代理与适当的 API 进行交互，确定正确的顺序并执行流程以满足业务需求。

随着组织构建解决方案并创建代理，它利用了代理人工智能的优势，即整合最初未在平台或团队内构建的外部代理的能力。这使得团队能够协作，同时也使公司能够创新并整合新技术和能力，而不会干扰现有解决方案。

由于工作流程和代理的自主性和动态特性，端到端过程（即人类在环中）可能会或可能不会有人类互动。然而，必须始终能够控制过程和操作（即人类在环外）。我们必须能够监控过程，记录每个代理正在做什么，记录每个代理从工作流程接收和返回的数据，并能够关闭过程或覆盖操作。

03

代理人工智能的风险

与自主人工智能相关的风险有几个，包括意外行为或问题行为、伦理问题和困境、偏见、缺乏人类控制和安全风险。这些风险需要被理解和减轻，以确保负责任的使用和信任。

确保自主人工智能的策略：

安全是每个人的工作，我们需要采取多层次的方法来实现预期的结果。这包括实施传统网络安全措施，以及针对人工智能的额外措施和保护。需要包括扩展基于政策的访问控制、日志记录、监控、实时警报和与基线相比的可疑或恶意活动的检测机制，以及全面的安全措施。

1）逐步实施：

首先，从逐步实施开始。识别治理、安全控制和要求，并在下层环境中落实这些措施。与开发团队合作，了解这些措施可能存在的不足之处，并需要进行增强。

2）现有和传统网络安全措施的修改：

确定现有和传统网络安全措施需要修改的地方。将会有针对人工智能的专门保护，尤其是针对自主人工智能的保护。

3）落实到位，端到端监控：

• 记录和监控来自LLM的通信（输入和输出）以及与每个代理的所有通信。

• 包括诸如关联 ID 之类的内容，以便能够跟踪整个生命周期实例中的过程。每个实现还将具有安全团队需要理解的自定义输出。

• 识别提示注入、数据泄漏或意外行为。

• 限制或对用户提供的提示或提示中的用户提供文本进行严格验证。

4）关注LLM特定的威胁：

制定程序以将代理与关键系统隔离，限制代理对资源的访问，并在提交给LLM之前评估和验证提示。使用诸如OpenAI的审核API等工具来评估提示和响应，以确保内容过滤。

5）整合自动化框架：

整合自动化框架，帮助测试人员、红队测试组和安全团队主动发现风险。您应该同时进行红队测试和负责任的人工智能测试。您需要有一个专门从事红队活动的团队，并使用像PyRIT这样的工具。

对代理人工智能系统进行红队测试与传统系统不同。代理人工智能和传统人工智能系统都是非确定性的，脚本需要多次运行。每次运行脚本时，输出都会有所不同。

6）合作与改进：

与其他网络安全专家合作，比较和对比措施和实践。继续完善您的治理框架，并始终添加和改进您的程序。

04

代理人工智能的未来充满希望和可能性

提供给企业的广泛利益、能力和效率使得现在成为探索这项技术的最佳时机。然而，相关的风险和安全威胁不能被忽视。我们必须确保拓宽企业文化，使安全成为每个人的责任。团队有责任记录所有互动，监控系统并确保有人工控制措施到位。工具必须融入端到端的流程中，以主动发现问题，防止其侵蚀用户和企业的信心。透明度、人为监督和人工智能安全必须始终放在首位。

安全团队需要概述控制和治理、安全措施和规则。开发团队需要自我教育，不仅要了解这些规则和要求，还要了解他们将面临的风险以及需要采取的缓解措施。