Mixtral-8x22B 설정 방법 | 기본 모델링 팁 시작하기 [번역됨]

9.4K 00

이제 상용 오픈 소스 GPT-4 유형 모델이 처음으로 출시된 Mixtral 8x22B를 사용할 수 있습니다.

그러나 이는 명령어 최적화 모델이 아니라 기본 모델입니다.

이는 완전히 새로운 방식으로 큐를 제공해야 한다는 것을 의미합니다.

이는 더 어려운 일이지만 달성하는 것이 불가능한 것은 아닙니다.

기본 모델링 팁에 대한 간결한 가이드입니다:

기본 모델은 다음과 같은 방식으로 메시지가 표시됩니다. ChatGPT 이러한 명령 최적화 모델은 매우 다릅니다. 슈퍼 자동 완성 도구라고 생각하면 됩니다. 대화를 이어가도록 설계된 것이 아니라 사용자가 입력한 텍스트를 보완하도록 학습된 것입니다.

이러한 구분은 프롬프트를 더 어렵게 만들고 더 많은 가능성을 열어줍니다!

예를 들어, 기본 모델은 여러분이 익숙한 ChatGPT보다 훨씬 더 표현력이 뛰어나며, 심층적으로 튜닝되었기 때문에 ChatGPT에서 생성된 답변이 쉽게 알아볼 수 있는 경우가 많다는 것을 눈치채셨을 것입니다. 기본적으로 그 스타일과 동작이 고정되어 있습니다. 따라서 학습된 모델을 넘어서는 혁신을 이루기는 정말 어렵습니다. 하지만 기본 모델에는 무한한 가능성이 숨어 있으며 여러분이 그 가능성을 발견하기만을 기다리고 있습니다.

기본 모델에 대한 힌트를 고려하는 방법:

기본 모델에 단서를 제공할 때는 모델이 무엇을 하기를 원하는지 설명하는 방법에 대해 너무 많이 생각하지 말고, 모델이 무엇을 하기를 원하는지 보여주는 것에 더 집중해야 합니다. 모델의 마음 속으로 들어가서 모델이 어떻게 생각하는지 생각해야 합니다.

기본 모델은 본질적으로 학습 데이터를 반영합니다. 이를 이해할 수 있다면 놀라운 일을 할 수 있습니다.

예를 들어, 모델이 '의료 분야에서 인공지능의 영향'이라는 뉴스 기사를 작성하도록 하려면 학습 데이터에서 유사한 뉴스 스타일의 기사를 어디서 접했을지 고려해야 합니다. 아마도 뉴스 웹사이트겠죠?

이를 염두에 두고 실제 문서 페이지에 포함될 수 있는 몇 가지 유사한 요소를 포함하여 이 개념을 활용하는 프롬프트를 작성할 수 있습니다. 예를 들어

홈 > 헤드라인 > 오피니언
인공지능 시대
--
의료 분야에서 인공지능이 미치는 영향

아래 스크린샷에서 학습 데이터에서 보았을 법한 상황과 유사한 상황에 모델을 배치하여 결국 기사를 작성하는 것을 볼 수 있습니다!

하지만 이 방법은 완벽하지 않습니다. 글의 흐름이 충분히 매끄럽지 않고 기사가 생성된다는 보장도 아직 없습니다.

그렇다면 어떻게 신뢰성을 개선할 수 있을까요?

예제를 추가합니다.

기본 모델은 몇 장짜리 프롬프트에 매우 잘 반응합니다. 프롬프트에 몇 가지 예를 추가해 보겠습니다. 이 작업을 빠르게 진행하기 위해 인터넷에서 몇 가지 기사를 가져와 프롬프트 상단에 추가하겠습니다(데모용일 뿐이며 프로덕션에 적용되지는 않을 것입니다!). .

보시다시피, 이 몇 가지 예시를 통해 문서가 크게 개선되었습니다.

구문 분석에 대해 이야기해 보겠습니다:

기본 모델로 작업할 때 가장 어려운 점 중 하나는 출력을 파싱하는 것입니다. 교육용 모델의 경우 특정 형식으로 출력하도록 간단히 지시할 수 있습니다. 예를 들어 "JSON으로 응답하라"고 요청하면 구문 분석이 매우 쉽습니다. 하지만 기본 모델의 경우 이는 쉽지 않습니다.

제가 자주 사용하는 '모델 선도'라는 기법이 있습니다.

문서 제목의 목록을 생성해야 한다고 가정하면 요구 사항을 설명한 후 프롬프트 끝에 배열의 처음 두 문자를 추가하여 모델이 목록 형식으로 응답하도록 할 수 있습니다. 다음은 그 예입니다:

프롬프트를 끝내기 위해 '["'를 추가한 방법을 보세요. 이 간단한 트릭을 사용하면 기본 모델을 사용하여 파싱 가능한 데이터를 생성할 수 있습니다.