HelloMeme: 로컬 고 충실도 표현 액션 일관된 이미지 또는 비디오 생성, 런웨이 액트 원 오픈 소스 탁구!

일반 소개

HelloMeme은 확산 모델에 고수준, 고충실도의 조건을 포함하기 위해 공간 편직주의를 통합하여 고품질 이미지와 동영상을 생성하기 위해 HelloVision에서 개발한 오픈 소스 프로젝트입니다. 프로젝트의 코드와 모델 구현은 GitHub에서 호스팅되며 사용자가 자유롭게 다운로드하여 사용할 수 있습니다. HelloMeme은 이미지 생성, 비디오 생성, Gradio 및 ComfyUI 이 통합은 다양한 실험과 애플리케이션에 사용자 친화적으로 사용할 수 있습니다.

관련:

LivePortrait: 정지 이미지와 동영상에서 역동적인 인물 사진을 생성하는 애니메이션 도구(오픈 소스)

ConsisID: 캐릭터가 일관된 비디오를 생성하는 인물 참조 맵, 신속한 다중 터미널 통합(오픈 소스)

Reface: AI를 사용한 얼굴 교체 및 동영상 생성으로 재미있는 애니메이션 이미지 만들기(유료)

기능 목록

• 이미지 생성참조 및 드라이버 이미지에서 고품질 이미지를 생성합니다.
• 비디오 생성레퍼런스 및 드라이버 동영상을 기반으로 고화질의 동영상을 생성합니다.
• 라디오 통합: 사용자 상호작용을 위한 Gradio 인터페이스를 제공합니다.
• ComfyUI 통합사용자 조작 프로세스를 간소화하기 위해 ComfyUI 인터페이스를 지원합니다.
• 실험 모듈사용자가 다양한 실험과 테스트를 쉽게 수행할 수 있도록 다양한 실험 코드가 포함되어 있습니다.
• 효율적인 알고리즘알고리즘을 최적화하여 VRAM 사용량을 줄이고 생성 효율을 개선합니다.

도움말 사용

설치 프로세스

1. 콘다 환경 만들기::

   conda create -n hellomeme python=3.10.11
conda activate hellomeme

2. PyTorch 및 FFmpeg 설치하기자세한 설치 방법은 PyTorch 및 FFmpeg 공식 웹사이트를 참조하세요.
3. 종속성 설치::

   pip install diffusers transformers einops scipy opencv-python tqdm pillow onnxruntime onnx safetensors accelerate peft

4. 클론 창고::

   git clone https://github.com/HelloVision/HelloMeme
cd HelloMeme

5. 실행 중인 코드::
   • 이미지 생성: bash
python inference_image.py

   • 비디오 생성: bash
python inference_video.py

6. Gradio 애플리케이션 설치하기::

   pip install gradio
pip install imageio[ffmpeg]
python app.py

기능 작동 흐름

이미지 생성

1. 입력 이미지 준비하기참조 이미지와 드라이브 이미지를 준비합니다.
2. 이미지 생성 스크립트 실행::

   python inference_image.py --reference_image path/to/reference.jpg --drive_image path/to/drive.jpg

3. 생성된 결과 보기: 생성된 이미지가 지정된 디렉토리에 저장됩니다.

비디오 생성

1. 동영상 입력 준비참고 동영상 및 드라이버 동영상을 준비합니다.
2. 동영상 생성 스크립트 실행::

   python inference_video.py --reference_video path/to/reference.mp4 --drive_video path/to/drive.mp4

3. 생성된 결과 보기생성된 동영상은 지정된 디렉토리에 저장됩니다.

라디오 인터페이스 사용

1. Gradio 애플리케이션 시작하기::

   python app.py

2. 브라우저를 통한 액세스브라우저를 열고 다음을 방문하세요. http://localhost:7860Gradio 인터페이스는 이미지 및 동영상 생성에 사용할 수 있습니다.

ComfyUI 인터페이스 사용

1. ComfyUI 설치설치는 ComfyUI의 공식 웹사이트를 참조하세요.
2. 헬로메미 실행::

   python comfyui_hellomeme.py

3. ComfyUI 인터페이스를 통한 작동필요에 따라 이미지 또는 동영상 생성 기능을 선택하고 참조 및 드라이버 파일을 업로드한 후 생성 버튼을 클릭합니다.

주의

• 종속성 버전디퓨저 버전 요구 사항을 참고하세요, 현재 지원되는 버전은 다음과 같습니다. diffusers==0.31.0.
• VRAM 사용량동영상 생성 시 드라이브 동영상의 길이가 길수록 더 많은 VRAM이 필요하므로 실제 상황에 맞게 조정하세요.
• 모델 다운로드처음 실행하면 모든 모델이 자동으로 다운로드되므로 시간이 더 오래 걸릴 수 있습니다.