MatAnyone: 비디오를 추출하여 대상 인물 사진을 지정하고, 대상 인물 사진을 생성하는 오픈 소스 도구입니다.

일반 소개

MatAnyone은 싱가포르 난양공과대학교 S-Lab 연구팀이 개발한 비디오 키잉에 중점을 둔 오픈 소스 프로젝트로, GitHub에 공개되어 있습니다. 일관된 메모리 전파 기술을 통해 사용자에게 안정적이고 효율적인 비디오 처리 기능을 제공하며, 특히 복잡한 배경에서 대상별 키잉 작업을 처리하는 데 탁월합니다. 양페이칭 등 연구진이 2025년에 시작한 이 프로젝트는 영화 및 TV 포스트 프로덕션, 가상 배경 교체 등 고품질 비디오 분할이 필요한 시나리오를 위해 고급 컴퓨터 비전 알고리즘을 결합합니다. MatAnyone의 핵심 강점은 메모리 융합 모듈로, 핵심 영역을 의미적으로 안정적으로 유지하면서 물체 경계의 세부 사항을 미세하게 보존할 수 있다는 점입니다. 이 프로젝트는 학계와 오픈소스 커뮤니티에서 주목을 받고 있으며, NTU S-Lab 라이선스 1.0으로 공개되어 사용자가 무료로 코드를 다운로드하여 사용 및 수정할 수 있습니다.

기능 목록

• 타겟 지정 비디오 키잉사람 또는 기타 동적 대상의 비디오 분할에 적합한 특정 객체에 대한 사용자 지정 키잉을 지원합니다.
• 일관된 메모리 전송지역별 적응형 메모리 융합을 통해 비디오 프레임 간 일관된 키잉 결과를 보장합니다.
• 고품질 경계 처리물체 가장자리의 디테일을 세밀하게 보존하고 키 입력 정확도를 높여 전문적인 동영상 편집이 가능합니다.
• 첫 번째 프레임 마스크 예측: 추가 보조 입력 없이 첫 번째 프레임의 세분화 마스크를 기반으로 후속 프레임의 알파 매트를 예측합니다.
• 오픈 소스 지원전체 코드와 문서가 제공되므로 사용자 정의 최적화 또는 2차 개발이 가능합니다.
• 플랫폼 간 호환성여러 운영 체제에서 실행되며 개발자가 기존 워크플로에 쉽게 통합할 수 있습니다.

도움말 사용

설치 프로세스

MatAnyone은 기본적인 Python 프로그래밍 환경과 Git 도구가 필요한 GitHub 오픈 소스 프로젝트입니다. MatAnyone을 설치하는 단계는 다음과 같습니다:

1. 환경 준비

• 운영 체제Windows, Linux 또는 macOS가 지원됩니다.
• 소프트웨어 종속성::
  • Python 3.8 이상.
  • Git(GitHub에서 코드 복제를 위한).
  • Conda(가상 환경을 만드는 데 권장됨).
• 하드웨어 요구 사항추론 프로세스의 속도를 높이려면 GPU(예: NVIDIA 그래픽 카드)를 사용하는 것이 좋습니다. CPU로도 실행할 수 있지만 속도가 느립니다.

2. 코드 다운로드

터미널 또는 명령줄을 열고 다음 명령을 입력하여 MatAnyone 리포지토리를 복제합니다:

git clone https://github.com/pq-yang/MatAnyone.git
cd MatAnyone

이렇게 하면 프로젝트 파일이 로컬 디렉터리에 다운로드됩니다.

3. 가상 환경 생성

Conda를 사용하여 별도의 Python 환경을 생성 및 활성화하고 종속성 충돌을 피하세요:

conda create -n matanyone python=3.8 -y
conda activate matanyone

4. 종속성 설치

프로젝트 루트 디렉터리에서 다음 명령을 실행하여 필요한 Python 라이브러리를 설치합니다:

pip install -r requirements.txt

종속성 requirements.txt 프로젝트에 필요한 모든 라이브러리(예: PyTorch, OpenCV 등)가 포함되어 있습니다. 네트워크 문제가 발생하면 pip 소스를 변경해 보세요(예 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt).

5. 사전 학습된 모델 다운로드

MatAnyone을 실행하려면 사전 학습된 모델 파일이 필요합니다. 작성자는 프로젝트 페이지(일반적으로 README.md)에 모델을 다운로드할 수 있는 링크를 제공하며, 사용자는 이를 수동으로 다운로드하여 지정된 폴더에 배치해야 합니다(예 models/ (카탈로그). 특정 단계:

• GitHub 프로젝트 페이지(https://github.com/pq-yang/MatAnyone)를 방문하세요.
• 사용 설명서에서 모델 다운로드 링크를 찾습니다(Google 드라이브 또는 허깅 페이스를 가리킬 수 있음).
• 모델 파일을 다운로드하여 압축을 푼 다음 MatAnyone/models/ 카탈로그.

6. 설치 확인

다음 명령을 실행하여 환경이 성공적으로 구성되었는지 확인합니다:

python test.py

오류가 보고되지 않으면 설치가 완료된 것이며 사용을 시작할 수 있습니다.

주요 기능

MatAnyone의 핵심 기능은 타겟 지정 비디오 키잉이며, 사용 방법은 다음과 같습니다:

기능 1: 타겟팅 비디오 키잉

1. 동영상 입력 준비::
   • 처리할 비디오 파일을 배치합니다(예 input_video.mp4)를 프로젝트 디렉토리의 data/ 폴더(이 폴더가 없는 경우 수동으로 만들 수 있음)를 만듭니다.
   • 동영상 형식이 지원되는지(예: MP4, AVI), 해상도가 적당한지(너무 높으면 더 많은 컴퓨팅 리소스가 필요할 수 있음) 확인합니다.
2. 첫 번째 프레임 마스크 생성::
   • 포토샵 또는 오픈 소스 분할 도구와 같은 외부 도구를 사용하여 동영상의 첫 번째 프레임에 대한 대상 개체의 분할 마스크를 생성합니다(대상 영역은 흰색, 배경은 검은색으로 PNG 형식).
   • 마스크 파일 이름 지정 mask_frame1.png에 넣어 data/masks/ 폴더.
3. 키 입력 명령 실행::
   터미널에서 프로젝트 디렉토리로 이동하여 다음 명령을 실행합니다:

   python inference.py --video data/input_video.mp4 --mask data/masks/mask_frame1.png --output output/
   

   • --video 입력 비디오 경로를 지정합니다.
   • --mask 첫 번째 프레임 마스크 경로를 지정합니다.
   • --output 출력 폴더를 지정하면 결과가 투명한 배경의 동영상 파일로 저장됩니다.
4. 결과 보기::
   • 처리가 완료되면 output/ 폴더에 생성된 키잉 동영상은 프레임 시퀀스 또는 전체 동영상으로 저장됩니다(구성에 따라 다름).

기능 2: 일관된 메모리 배포

• 이론MatAnyone은 이전 프레임의 특징을 기억하고 이를 현재 프레임의 처리에 융합하여 키잉 결과가 시간 차원에서 일관성을 유지하도록 합니다.
• rig이 기능은 추론 프로세스에 내장되어 있으므로 추가 구성이 필요하지 않습니다. 첫 번째 프레임 마스크만 제공하면 프로그램이 프레임별로 메모리를 자동으로 전파합니다.
• 최적화 팁::
  • 동영상에 갑작스러운 조명 변화가 있는 경우 구성 파일에서 매개변수를 조정합니다(예 memory_fusion_rate), 매개 변수에 대한 설명은 다음을 참조하세요. config.yaml 문서화.
  • 조정 명령 예시:

    python inference.py --video data/input_video.mp4 --mask data/masks/mask_frame1.png --config config.yaml --output output/
    

기능 3: 고품질 바운더리 처리

• 활성화 방법기본적으로 활성화되어 있으며 추가 작업이 필요하지 않습니다. 프로그램이 자동으로 가장자리 세부 사항을 최적화합니다.
• 효과 검증복잡한 배경(예: 바람에 흔들리는 캐릭터의 머리카락)이 있는 동영상을 처리할 때는 출력 동영상에서 테두리가 자연스러운지 관찰하세요.
• 강화 효과: 결과가 만족스럽지 않으면 다음 명령을 추가하여 추론 해상도를 높여 보십시오. --resolution 1080 매개변수:

  python inference.py --video data/input_video.mp4 --mask data/masks/mask_frame1.png --resolution 1080 --output output/
  

사용 시 주의사항

• 컴퓨팅 리소스GPU 환경에서 처리가 더 빠릅니다. CPU를 사용하는 경우 대기 시간을 줄이기 위해 동영상 길이를 짧게(30초 미만) 설정하는 것이 좋습니다.
• 첫 번째 프레임 마스크 품질마스크 정확도는 후속 프레임의 결과에 직접적인 영향을 미치며, 특히 가장자리 영역에서 신중한 플로팅을 권장합니다.
• 문서 참조: 문제가 발생하면 README.md 또는 작성자에게 문의(peiqingyang99@outlook.com)하여 도움을 받으세요.
• 커뮤니티 지원GitHub 이슈 페이지에는 사용자 피드백과 솔루션이 있으므로 정기적으로 업데이트를 확인하는 것이 좋습니다.

위의 단계를 통해 사용자는 MatAnyone을 빠르게 시작하고 설치부터 비디오 키잉까지 전체 프로세스를 완료할 수 있습니다. 전문적인 편집이든 연구 및 개발이든 MatAnyone은 안정적인 기술 지원을 제공합니다.