FastAPI 배포 Ollama 시각적 대화 인터페이스

8.7K 00

I. 카탈로그 구조

리포지토리 노트북은 C6 폴더에 있습니다:

fastapi_chat_app/
│
├── app.py
├── websocket_handler.py
├── static/
│   └── index.html
└── requirements.txt

app.py FastAPI 애플리케이션의 주요 설정 및 라우팅.
websocket_handler.py 웹소켓 연결 및 메시지 스트림을 처리합니다.
static/index.html HTML 페이지.
requirements.txt 필수 종속성은 pip install -r requirements.txt를 통해 설치됩니다.

II. 이 창고의 복제

git clone https://github.com/AXYZdong/handy-ollama

III. 종속성 설치

pip install -r requirements.txt

IV. 핵심 코드

app.py 파일의 핵심 코드는 다음과 같습니다:

import ollama
from fastapi import WebSocket
async def websocket_endpoint(websocket: WebSocket):
await websocket.accept()  # 接受WebSocket连接
user_input = await websocket.receive_text()  # 接收用户输入的文本消息
stream = ollama.chat(  # 使用ollama库与指定模型进行对话
model='llama3.1',  # 指定使用的模型为llama3.1
messages=[{'role': 'user', 'content': user_input}],  # 传入用户的输入消息
stream=True  # 启用流式传输
)
try:
for chunk in stream:  # 遍历流式传输的结果
model_output = chunk['message']['content']  # 获取模型输出的内容
await websocket.send_text(model_output)  # 通过WebSocket发送模型输出的内容
except Exception as e:  # 捕获异常
await websocket.send_text(f"Error: {e}")  # 通过WebSocket发送错误信息
finally:
await websocket.close()  # 关闭WebSocket连接

웹소켓 연결을 수락합니다:

await websocket.accept(): 먼저 이 함수는 클라이언트로부터 웹소켓 연결 요청을 수락하고 클라이언트와 통신 채널을 설정합니다.

사용자 입력을 받습니다:

user_input = await websocket.receive_text()웹소켓을 통해 클라이언트로부터 문자 메시지를 수신하여 사용자 입력을 받습니다.

대화 스트림을 초기화합니다:

stream = ollama.chat(...)ollama 라이브러리에서 채팅 메서드를 호출하고 사용된 모델이 llama3.1임을 지정합니다. 사용자 입력을 메시지로 모델에 전달하고 스트리밍을 활성화(stream=True)하여 모델이 생성한 응답을 점진적으로 받도록 합니다.

모델 출력 처리:

for chunk in stream모델에서 스트리밍된 데이터 블록을 반복합니다.
model_output = chunk['message']['content']각 데이터 블록에서 모델 생성 텍스트 콘텐츠를 추출합니다.
await websocket.send_text(model_output)추출된 모델 응답을 웹소켓을 통해 클라이언트로 다시 전송하여 실시간 대화를 진행합니다.

예외 처리: