Introdução aos agentes de IA da Microsoft: criando agentes de IA confiáveis

breve

Este curso abrangerá:

• Como criar e implantar agentes de IA seguros e eficazes
• Considerações importantes sobre segurança ao desenvolver agentes de IA.
• Como manter a privacidade dos dados e do usuário ao desenvolver agentes de IA.

meta de aprendizado

Após concluir este curso, você entenderá como:

• Identificar e mitigar riscos ao criar agentes de IA.
• Implementar medidas de segurança para garantir que os dados e o acesso sejam gerenciados adequadamente.
• Crie agentes de IA que mantenham a privacidade dos dados e ofereçam uma experiência de usuário de qualidade.

segurança

Vamos primeiro ver como criar aplicativos Agentic seguros. Segurança significa que o AI Agent funciona conforme projetado. Como criadores de aplicativos Agentic, temos os métodos e as ferramentas para maximizar a segurança:

Criação de um sistema de meta-prompting

Se você já criou um aplicativo de IA usando modelos de linguagem grande (LLMs), sabe da importância de projetar uma dica ou mensagem forte do sistema. Esses avisos estabelecem as meta-regras, as instruções e as diretrizes de como o LLM interage com os usuários e os dados.

Para os agentes de IA, as dicas do sistema são ainda mais importantes porque os agentes de IA precisarão de instruções altamente específicas para concluir as tarefas que projetamos para eles.

Para criar prompts de sistema dimensionáveis, podemos usar o sistema de meta-prompt para criar um ou mais agentes em nosso aplicativo:

Etapa 1: Crie um meta-prompt ou modelo de prompt

Os metaprompts serão usados pelo LLM para gerar prompts de sistema para os agentes que criarmos. Nós o projetamos como um modelo para que possamos criar vários agentes com eficiência quando necessário.

Veja abaixo um exemplo dos metaprompts que fornecemos ao LLM:

你是一位创建 AI Agent 助手的专家。
你将获得公司名称、角色、职责和其他信息，你将使用这些信息来提供系统提示。
为了创建系统提示，请尽可能详细地描述，并提供一个系统使用 LLM 可以更好地理解 AI 助手角色和职责的结构。

Etapa 2: Criar uma dica básica

A próxima etapa é criar um prompt básico para descrever o AI Agent. Você deve incluir a função do Agent, as tarefas que o Agent executará e quaisquer outras responsabilidades que o Agent tenha.

Aqui está um exemplo:

你是 Contoso Travel 的旅行 Agent，擅长为客户预订航班。为了帮助客户，你可以执行以下任务：查找可用航班、预订航班、询问客户对座位和航班时间偏好、取消任何先前预订的航班，并提醒客户任何航班延误或取消。

Etapa 3: Fornecer dicas básicas para o LLM

Agora podemos otimizar esse prompt oferecendo meta-prompts como prompts do sistema e nossos prompts básicos.

Isso gerará um prompt que é mais adequado para orientar nosso agente de IA:

**公司名称：** Contoso Travel  
**角色：** 旅行 Agent 助理
**目标：**  
你是 Contoso Travel 的 AI 驱动的旅行 Agent 助理，专门负责预订航班和提供卓越的客户服务。你的主要目标是协助客户查找、预订和管理他们的航班，同时确保他们的偏好和需求得到有效满足。
**主要职责：**
1.  **航班查询：**
*   根据客户指定的目的地、日期和任何其他相关偏好，协助客户搜索可用航班。
*   提供选项列表，包括航班时间、航空公司、中途停留和价格。
2.  **航班预订：**
*   协助客户预订航班，确保所有详细信息都正确输入系统。
*   确认预订并向客户提供他们的行程，包括确认号码和任何其他相关信息。
3.  **客户偏好查询：**
*   主动询问客户对座位（例如，过道、靠窗、额外腿部空间）和首选航班时间（例如，上午、下午、晚上）的偏好。
*   记录这些偏好以供将来参考，并相应地定制建议。
4.  **航班取消：**
*   如果需要，根据公司政策和程序协助客户取消先前预订的航班。
*   通知客户任何必要的退款或可能需要取消的其他步骤。
5.  **航班监控：**
*   监控已预订航班的状态，并实时提醒客户有关其航班时刻表的任何延误、取消或更改。
*   根据需要通过首选通信渠道（例如，电子邮件、短信）提供更新。
**语气和风格：**
*   在与客户的所有互动中保持友好、专业和 அணுகக்கூடிய (平易近人) 的态度。
*   确保所有沟通都清晰、信息丰富，并根据客户的具体需求和查询进行定制。
**用户交互说明：**
*   及时准确地响应客户查询。
*   使用对话风格，同时确保专业性。
*   通过在提供的所有协助中保持专注、同情和主动，优先考虑客户满意度。
**附加说明：**
*   及时了解可能影响航班预订和客户体验的航空公司政策、旅行限制和其他相关信息的任何更改。
*   使用清晰简洁的语言解释选项和流程，尽可能避免使用术语，以便客户更好地理解。
此 AI 助手旨在简化 Contoso Travel 客户的航班预订流程，确保他们的所有旅行需求都得到高效和有效的满足。

Etapa 4: Iterar e melhorar

O valor desse sistema de meta-prompting é a capacidade de escalonar mais facilmente a criação de prompts de vários agentes, além de aprimorar seus prompts ao longo do tempo. Seus prompts raramente funcionarão para o seu caso de uso completo na primeira vez. A capacidade de ajustar e melhorar alterando os prompts básicos e executando-os no sistema permitirá que você compare e avalie os resultados.

Entendendo a ameaça

Para criar agentes de IA confiáveis, é importante entender e mitigar os riscos e as ameaças aos agentes de IA. Vamos dar uma olhada em algumas das diferentes ameaças aos AI Agents e como planejar e se preparar melhor para elas.

Mandatos e diretrizes

Descrição: Um invasor tenta alterar os comandos ou as metas do AI Agent solicitando ou manipulando entradas.

Medidas de mitigação: Realizar verificações de validação e filtros de entrada para detectar dicas potencialmente perigosas antes de serem processadas pelo AI Agent. Como esses ataques geralmente exigem interações frequentes com o Agente, limitar o número de rodadas no diálogo é outra maneira de evitar tais ataques.

Acesso a sistemas críticos

Descrição: Se o AI Agent tiver acesso a sistemas e serviços que armazenam dados confidenciais, um invasor poderá interromper as comunicações entre o Agent e esses serviços. Esses ataques podem ser ataques diretos ou tentativas de obter informações sobre esses sistemas indiretamente por meio do Agente.

Medidas de mitigação: O agente de IA deve ter acesso ao sistema somente quando necessário para evitar esses ataques. A comunicação entre o agente e o sistema também deve ser segura. A implementação de autenticação e controle de acesso é outra maneira de proteger essas informações.

Sobrecarga de recursos e serviços

Descrição: O AI Agent tem acesso a diferentes ferramentas e serviços para realizar tarefas. Um invasor poderia usar essa capacidade para atacar esses serviços enviando um grande número de solicitações por meio do AI Agent, o que poderia resultar em falha do sistema ou em altos custos.

Medidas de mitigação: Implemente políticas para limitar o número de solicitações que um AI Agent pode fazer a um serviço. Limitar o número de rodadas de diálogo e solicitações ao AI Agent é outra maneira de evitar esses ataques.

envenenamento da base de conhecimento

Descrição: Esse tipo de ataque não visa diretamente o AI Agent, mas sim a base de conhecimento e outros serviços que o AI Agent usará. Isso pode envolver a corrupção dos dados ou das informações que o AI Agent usará para concluir suas tarefas, resultando em uma resposta tendenciosa ou inesperada para o usuário.

Medidas de mitigação: Valide regularmente os dados que o AI Agent usará em seu fluxo de trabalho. Certifique-se de que o acesso a esses dados seja seguro e só possa ser alterado por pessoas confiáveis para evitar esses ataques.

erro em cascata

Descrição: O AI Agent acessa uma variedade de ferramentas e serviços para concluir suas tarefas. Os erros causados por um invasor podem fazer com que outros sistemas aos quais o AI Agent se conecta falhem, tornando o ataque mais difundido e mais difícil de solucionar.

Medidas de mitigação: Uma maneira de evitar isso é fazer com que o AI Agent seja executado em um ambiente restrito, como a execução de tarefas em um contêiner do Docker, para evitar ataques diretos ao sistema. Criar mecanismos de fallback e lógica de repetição quando determinados sistemas respondem incorretamente é outra maneira de evitar falhas maiores no sistema.

intervenção humana

Outra maneira eficaz de criar um sistema de agente de IA confiável é usar a intervenção humana. Isso cria um processo em que o usuário pode fornecer feedback ao agente durante o tempo de execução. O usuário atua essencialmente como um agente em um sistema com vários agentes, aprovando ou encerrando um processo em execução.

É um aplicativo que usa o AutoGen que mostra como implementar esse conceito:

# 创建 agents。
model_client = OpenAIChatCompletionClient(model="gpt-4o-mini")
assistant = AssistantAgent("assistant", model_client=model_client)
user_proxy = UserProxyAgent("user_proxy", input_func=input)  # 使用 input() 从控制台获取用户输入。
# 创建终止条件，当用户说“APPROVE”时，对话将结束。
termination = TextMentionTermination("APPROVE")
# 创建团队。
team = RoundRobinGroupChat([assistant, user_proxy], termination_condition=termination)
# 运行对话并流式传输到控制台。
stream = team.run_stream(task="Write a 4-line poem about the ocean.")
# 在脚本中运行时使用 asyncio.run(...)。
await Console(stream)

chegar a um veredicto

A criação de um AI Agent confiável exige um projeto cuidadoso, medidas de segurança sólidas e iteração contínua. Ao implementar um sistema estruturado de metaprompts, compreender as possíveis ameaças e aplicar estratégias de mitigação, os desenvolvedores podem criar AI Agents que sejam seguros e eficazes. Além disso, a adoção de uma abordagem de intervenção humana garante que os AI Agents estejam alinhados com as necessidades do usuário e, ao mesmo tempo, minimizem os riscos. Como a IA continua a evoluir, adotar uma postura proativa em relação à segurança, à privacidade e às considerações éticas será fundamental para promover a confiança e a confiabilidade nos sistemas orientados por IA.