동영상 분석기: 동영상 콘텐츠를 분석하고 자세한 설명을 생성합니다.

15.1K 00

일반 소개

비디오 분석기는 컴퓨터 비전, 오디오 트랜스크립션 및 자연어 처리 기술을 결합하여 상세한 비디오 콘텐츠 설명을 생성하는 종합적인 비디오 분석 도구입니다. 이 도구는 비디오에서 주요 프레임을 추출하고, 오디오 콘텐츠를 전사하고, 자연어 설명을 생성하여 사용자가 비디오 콘텐츠를 더 잘 이해하고 분석할 수 있도록 도와줍니다. 비디오 분석 도구는 클라우드 서비스나 API 키 없이 완전히 로컬에서 실행하거나 속도와 확장성을 위해 OpenAI API 호환 서비스를 활용할 수 있습니다.

기능 목록

비디오 프레임 추출동영상에서 주요 프레임을 자동으로 인식하고 추출합니다.
오디오 트랜스 크립 션위스퍼 모델을 사용하여 오디오 콘텐츠를 트랜스크립션합니다.
자연어 설명: 추출된 프레임과 전사된 오디오 콘텐츠를 자연어 설명으로 변환합니다.
다중 모델 지원다양한 대규모 언어 모델(예: 올라마 비전 모델)을 사용한 분석 지원.
출력 결과추가 사용 또는 검토를 위해 분석 결과가 포함된 JSON 파일을 생성합니다.

도움말 사용

설치 프로세스

동영상 분석 도구를 사용하려면 먼저 필요한 소프트웨어와 라이브러리를 설치해야 합니다:

클론 창고::
- Git을 사용하여 GitHub에서 프로젝트 리포지토리를 복제합니다:
```
git clone https://github.com/byjlw/video-analyzer.git
cd video-analyzer
```
가상 환경 만들기::
- 환경 충돌을 방지하려면 새 가상 환경을 만드는 것이 좋습니다:
```
python3 -m venv .venv
source .venv/bin/activate  # 在Windows上使用 .venv\Scripts\activate
```
종속성 설치::
- 프로젝트에 필요한 모든 Python 패키지를 설치합니다:
```
pip install .
```
- 또는 개발 모드로 설치하려는 경우 사용할 수 있습니다:
```
pip install -e .
```
FFmpeg 구성::
- 비디오 및 오디오 처리를 위해 시스템에 FFmpeg가 설치되어 있는지 확인하세요.

비디오 분석 도구 사용

운영 분석::
- 가장 기본적인 사용 방법은 동영상 파일을 직접 지정하는 것입니다:
```
video-analyzer path/to/video.mp4
```
- 더 많은 매개변수를 전달하여 분석 프로세스를 사용자 지정할 수 있습니다:
```
video-analyzer video.mp4 --config custom_config.json --output ./custom_output --frames-per-minute 15 --duration 60
```
- 매개변수 설명:
  - --config: 구성 파일 경로를 지정합니다.
  - --output: 출력 경로를 설정합니다.
  - --frames-per-minute: 분당 추출되는 프레임 수를 설정합니다.
  - --duration: 분석된 동영상의 길이를 초 단위로 제한합니다.
결과::
- 분석이 완료되면 도구는 다음을 생성합니다.analysis.json파일에는 각 키프레임의 분석 결과와 오디오 트랜스크립션에 대한 텍스트 설명이 포함되어 있습니다.
고급 구성::
- 사용자 지정 프로필을 사용하여 특정 위스퍼 모델 크기(작은, 기본, 작은, 중간, 큰) 선택, 언어 감지 임계값 설정, 추출된 프레임 이미지 유지 여부 결정 등 보다 세부적인 매개변수를 설정할 수 있습니다.

기능 작동 흐름

프레임 분석::
- 이 도구는 설정된 속도로 비디오에서 주요 프레임을 추출한 다음 각 프레임에 대한 컴퓨터 비전 분석을 수행하여 타임스탬프와 분석 결과를 기록합니다.
오디오 처리::
- 오디오는 비디오에서 분리되어 Whisper 모델을 통해 전사됩니다. 트랜스크립션은 비디오 프레임의 정보와 결합되어 비디오에 대한 보다 완전한 설명을 생성합니다.
설명 생성::
- 이 도구는 이전에 추출한 프레임과 오디오 트랜스크립션 콘텐츠를 사용하여 분석된 모든 데이터를 비디오에 대한 일관된 설명으로 결합합니다. 이 기능의 이 부분은 자연어 처리 기술을 활용하여 설명의 가독성을 높입니다.

이 도구를 사용하면 특히 많은 수의 동영상을 처리하거나 동영상 요약을 자동으로 생성해야 하는 시나리오에서 사용자가 동영상 콘텐츠를 빠르게 이해할 수 있어 효율성이 크게 향상됩니다.