Okareo: AI 개발자를 위한 모델 테스트 및 오류 모니터링 도구

일반 소개

Okareo는 AI 개발자를 위해 구축된 플랫폼으로, 사용자가 AI 모델을 테스트하고 버그를 찾아 성능을 개선하는 데 중점을 두고 있습니다. 대규모 언어 모델(LLM), 인텔리전스 및 검색 증강 생성(RAG) 시스템을 위한 데이터 생성부터 실시간 모니터링까지 완벽한 도구를 제공합니다. 개발자는 이를 사용하여 다양한 테스트 시나리오를 생성하고, 프로덕션 환경에서 모델 성능을 확인하고, 문제를 신속하게 파악하고 최적화할 수 있으며, 실시간성을 강조하고 모델에 오류가 있을 때 알림을 제공하며, 팀 협업 및 대규모 프로젝트를 지원합니다. 5백만 개 이상의 테스트 시나리오가 생성되어 신뢰할 수 있는 AI 시스템이 필요한 개발 팀에 이상적입니다.

기능 목록

• 잘못된 검색환각이나 부정확한 답변과 같은 모델 출력의 문제를 감지합니다.
• 합성 데이터 생성일반적인 시나리오와 극단적인 시나리오를 아우르는 다양한 테스트 데이터를 자동으로 생성합니다.
• 실시간 모니터링프로덕션 환경에서 모델 동작을 추적하고 이상 징후가 감지되면 경고를 발생시킵니다.
• 모델링 평가LLM, 인텔리전스 또는 RAG 성능에 대한 자세한 보고서를 생성합니다.
• 경계 테스트복잡한 시나리오를 통해 모델의 한계를 탐색하여 잠재적인 장애 지점을 식별합니다.
• 최적화 도구도메인별 성능을 개선하기 위해 모델 및 검색기 조정.
• 팀워크여러 사람의 협업을 지원하여 개발 프로세스를 간소화합니다.
• CI/CD 통합자동화 개발 파이프라인에 테스트를 포함하세요.

도움말 사용

오카레오의 사용은 웹 운영과 코드 통합의 두 가지 방법으로 나뉩니다. 다음은 등록부터 모델 최적화까지 모든 과정을 빠르게 진행할 수 있도록 도와주는 자세한 단계입니다.

등록 및 로그인

인터뷰 https://okareo.com/'무료로 시작하기' 버튼을 클릭합니다. 이메일 주소와 비밀번호를 입력하여 등록한 다음 확인 이메일을 받으면 링크를 클릭하여 계정을 활성화합니다. 로그인 https://app.okareo.com/를 클릭하고 콘솔로 이동합니다. 여기에서 프로젝트를 관리하고 결과를 볼 수 있습니다.

API 키 가져오기

로그인 후 오른쪽 상단의 "설정 > API 토큰"을 클릭하여 다음과 같은 키를 생성합니다. YOUR_OKAREO_API_KEY이 키는 코드 호출 또는 CLI 작업에 사용됩니다. 이 키는 코드 호출 또는 CLI 작업에 사용되며 안전한 위치에 보관하는 것이 좋습니다.

CLI 도구 설치하기

명령줄에서 Okareo를 작동하려면 시스템에 따라 CLI를 설치할 수 있습니다:

• MacOS: 실행 curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_darwin_arm64.tar.gz압축 해제 tar -xvf okareo_darwin_arm64.tar.gz.
• Windows(컴퓨터)파워셸로 실행 Invoke-WebRequest -Uri https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_windows_386.tar.gz -OutFile okareo_windows_386.tar.gz압축 해제 tar -xvf okareo_windows_386.tar.gz.
• Linux: 실행 curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_linux_386.tar.gz압축 해제 tar -xvf okareo_linux_386.tar.gz.

포장을 푼 후 okareo 시스템 경로로 이동(예 /usr/local/bin), 실행 okareo -v 버전을 확인합니다.

초기화 프로젝트

터미널에서 프로젝트 디렉토리로 이동하여 실행합니다:

okareo init

생성 .okareo 폴더, 편집 config.yml입력하세요:

api_key: YOUR_OKAREO_API_KEY

초기화가 완료되어 프로젝트가 준비되었습니다.

합성 데이터 생성

웹 사이트에 로그인하고 "합성 시나리오 부조종사"를 선택합니다. 요구 사항(예: "사용자가 제품 장애에 대해 불평함"을 입력한 후 "생성"을 클릭하여 테스트 데이터를 생성하고 JSONL 파일로 다운로드합니다:

{"input": "产品坏了怎么办？", "expected_output": "请联系客服申请维修。"}

CLI 모드:

okareo generate --scenario "产品故障投诉" --output test_data.jsonl

이 데이터는 후속 테스트에 사용할 수 있습니다.

모델 등록 및 평가

Python SDK에 모델을 등록하고 설치합니다:

pip install okareo

컴파일 eval_model.py::

from okareo import Okareo
from okareo.model_under_test import OpenAIModel
okareo = Okareo("YOUR_OKAREO_API_KEY")
model = okareo.register_model(
name="MyAgent",
model=OpenAIModel(model_id="gpt-3.5-turbo", temperature=0)
)
result = model.run_test(scenario_file="test_data.jsonl", test_type="classification")
print(result["link"])

실행이 완료되면 정확도 및 기타 메트릭을 보여주는 웹 보고서로 연결되는 결과가 표시됩니다.

실시간 모니터링 및 알림

프로덕션 환경 모니터링에는 에이전트가 필요합니다. OpenAI 호출을 수정합니다:

from openai import OpenAI
client = OpenAI(
base_url="https://proxy.okareo.com",
default_headers={"api-key": "YOUR_OKAREO_API_KEY"},
api_key="YOUR_OPENAI_KEY"
)
response = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": "产品怎么样？"}]
)

데이터는 Okareo의 웹 기반 '모니터링' 페이지에 기록되어 실시간 성능을 표시하고 이상 징후나 오류가 있는 경우 시스템에 경고합니다.

테스트 경계 시나리오

웹 측에서 '사용자가 5번 연속 질문하고 요구 사항을 변경한다'와 같은 복잡한 시나리오를 입력하고 여러 라운드의 대화 데이터를 생성합니다.CLI가 실행됩니다:

okareo generate --scenario "多轮需求变化" --output edge_cases.jsonl

이 데이터로 모델을 테스트하여 안정성을 확인했습니다.

최적화 모델

평가 보고서에는 관련 없는 콘텐츠 검색 등의 문제가 표시됩니다. 프롬프트 단어를 조정하거나 모델을 미세 조정한 후 테스트를 다시 실행하세요. 웹 측에서는 최적화의 효과를 확인할 수 있는 비교 기능을 제공합니다.

CI/CD 통합

GitHub 작업에 추가 .github/workflows/okareo.yml::

name: Okareo CI
on: [push]
jobs:
test:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v3
- run: curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_linux_386.tar.gz
- run: tar -xvf okareo_linux_386.tar.gz
- run: ./okareo run --file flows/test_flow.py
env:
OKAREO_API_KEY: ${{ secrets.OKAREO_API_KEY }}

각 푸시는 자동으로 테스트됩니다.

결과 보기 및 디버깅

로그인 https://app.okareo.com/보고서를 보려면 '평가' 섹션에서 확인할 수 있습니다. 보고서에는 각 시나리오에 대한 점수 및 오류 세부 정보가 포함되어 있어 쉽게 디버깅할 수 있습니다.

이 단계는 설치부터 최적화까지 전체 프로세스를 다루며, 자세한 지침을 통해 Okareo를 쉽게 사용할 수 있습니다.

애플리케이션 시나리오

1. 지능형 고객 서비스 개발
   고객 서비스 AI를 구축하면서 불만 사항을 올바르게 처리하는지 확인하고 싶을 때가 있습니다. Okareo를 사용하여 불만 시나리오를 생성하고, 응답을 테스트하고 최적화하세요.
2. RAG 애플리케이션 구축
   RAG 시스템은 검색 및 생성 품질을 보장해야 하며, Okareo는 검색 정확도를 테스트하고 생성된 콘텐츠를 개선할 수 있습니다.
3. 복잡한 인텔리전스 디버깅
   멀티태스킹 인텔리전스를 개발하면 오카레오가 경계 시나리오를 시뮬레이션하여 그 견고성을 확인할 수 있습니다.

QA

1. Okareo는 어떤 문제를 모니터링하나요?
   환각, 부정확한 답변, 지연 등과 같은 문제를 감지하여 제작 중에 실시간으로 알려줍니다.
2. 어떤 언어 모델이 지원되나요?
   API를 통해 액세스할 수 있는 경우 OpenAI, 사용자 지정 모델 등을 지원합니다.
3. 무료 버전과 유료 버전의 차이점은 무엇인가요?
   무료 버전은 소규모 테스트에 적합하며, 유료 버전은 더 많은 데이터 생성 및 모니터링 기능을 제공합니다.