Microsoft AI 에이전트 시작하기: 프로덕션 환경에서의 AI 에이전트 개요

개요

이 과정에서는 다음과 같은 내용을 다룹니다:

• 프로덕션 환경에 AI 에이전트를 효과적으로 배포하기 위한 계획을 세우는 방법을 알아보세요.
• 프로덕션 환경에 AI 에이전트를 배포할 때 발생할 수 있는 일반적인 오류 및 문제입니다.
• AI 상담원의 성능을 유지하면서 비용을 관리하는 방법.

학습 목표

이 과정을 완료하면 어떻게/어떻게 이해해야 하는지 알게 됩니다:

• 프로덕션 환경용 AI 에이전트 시스템의 성능, 비용 및 효율성을 개선하는 기술입니다.
• AI 에이전트의 콘텐츠와 방법을 평가합니다.
• 프로덕션 환경에 AI 에이전트를 배포할 때 비용을 관리하는 방법을 알아보세요.

신뢰할 수 있는 AI 에이전트를 배포하는 것이 중요합니다. 신뢰할 수 있는 AI 에이전트 구축 과정도 확인해 보세요.

AI 에이전트 평가

AI 에이전트를 배포하기 전, 배포 중, 배포 후에 평가할 수 있는 적절한 시스템을 갖추는 것이 중요합니다. 이를 통해 시스템이 귀사의 목표와 사용자의 목표에 부합하는지 확인할 수 있습니다.

AI 에이전트를 평가하려면 에이전트의 출력뿐만 아니라 AI 에이전트가 실행 중인 전체 시스템도 평가하는 것이 중요합니다. 여기에는 다음이 포함되지만 이에 국한되지 않습니다:

• 초기 모델 요청.
• 상담원이 사용자의 의도를 인식하는 능력.
• 상담원이 작업에 적합한 도구를 인식하는 능력.
• 상담원 요청에 대한 툴의 응답입니다.
• 상담원이 툴 응답을 해석하는 능력.
• 상담원 응답에 대한 사용자 피드백.

이를 통해 보다 모듈화된 방식으로 개선이 필요한 영역을 파악할 수 있습니다. 그런 다음 모델, 힌트, 도구 및 기타 구성 요소의 변경 효과를 보다 효과적으로 모니터링할 수 있습니다.

AI 에이전트의 일반적인 문제와 잠재적 해결책

관리 비용

다음은 프로덕션 환경에 AI 에이전트를 배포하는 데 드는 비용을 관리하기 위한 몇 가지 전략입니다:

• 캐시 응답 - 일반적인 요청과 작업을 식별하여 상담원 시스템을 통과하기 전에 응답을 제공하면 유사한 요청의 양을 줄일 수 있습니다. 보다 기본적인 AI 모델을 사용하여 요청이 캐시된 요청과 얼마나 유사한지 식별하는 프로세스를 구현할 수도 있습니다.
• 소형 모델 사용 - 소규모 언어 모델(SLM)은 일부 상담원 사용 사례에서 우수한 성능을 발휘할 수 있으며 비용을 크게 절감할 수 있습니다. 앞서 언급했듯이 대규모 모델과 성능을 결정하고 비교할 수 있는 평가 시스템을 구축하는 것이 사용 사례에서 SLM이 어떤 성능을 발휘하는지 이해하는 가장 좋은 방법입니다.
• 라우터 모델 사용 - 비슷한 전략은 다양한 모델과 크기를 사용하는 것입니다. 대규모 언어 모델/소규모 언어 모델 또는 서버리스 기능을 사용하여 복잡성에 따라 가장 적합한 모델로 요청을 라우팅할 수 있습니다. 이렇게 하면 적절한 작업에 대한 성능을 보장하면서 비용을 절감하는 데도 도움이 됩니다.

축하합니다

이번 레슨은 '초보자를 위한 AI 에이전트'의 마지막 레슨입니다.

성장하는 업계의 피드백과 변화에 따라 계속해서 강좌를 추가할 계획이니 가까운 시일 내에 다시 방문해 주세요.