BiliNote: 동영상에서 자동으로 마크다운 노트를 생성하는 AI 도구

일반 소개

빌리노트는 오픈 소스 AI 동영상 노트 필기 도구로, 빌리빌리와 유튜브 동영상 링크에서 콘텐츠를 추출해 마크다운 형식의 명확한 구조의 노트를 자동으로 생성할 수 있도록 지원합니다. 콘텐츠 요약, 비디오 스크린샷 삽입, 타임스탬프 점프 링크 지원을 위해 로컬 오디오 트랜스 크립 션과 다양한 빅 모델(예: OpenAI, DeepSeek, Qwen)을 사용합니다. 이 프로젝트는 MIT 라이선스에 따라 GitHub에서 호스팅되며, 학생, 크리에이터, 연구원이 학습 또는 업무용 자료를 정리할 수 있도록 Docker 배포와 Windows 패키지로 제공됩니다. 공식 온라인 환경은 Cloudflare 페이지에 배포되며, 네트워크 상황으로 인해 액세스 속도가 느릴 수 있습니다.

기능 목록

• Beep과 YouTube 동영상 링크에서 콘텐츠를 자동으로 추출해 마크다운 노트를 생성합니다.
• 개인정보 보호가 지원되는 속삭임 모델을 사용하는 네이티브 오디오 트랜스크립션입니다.
• 동영상의 핵심 콘텐츠를 요약하기 위해 OpenAI, DeepSeek, Qwen 및 기타 대형 모델을 지원합니다.
• 비디오 키프레임 스크린샷을 선택적으로 삽입해 노트 시각화를 향상시킬 수 있습니다.
• 원본 동영상의 해당 시점으로 이동하는 기능을 지원해 타임스탬프가 찍힌 노트를 생성합니다.
• 작업 로깅 기능을 제공해 노트의 기록을 되돌아보고 기록을 생성할 수 있습니다.
• 로컬 또는 클라우드 설치를 간소화하기 위해 Docker 원클릭 배포를 지원합니다.
• Windows용 패키지 버전(exe 파일)을 사용할 수 있으며 복잡한 구성이 필요하지 않습니다.
• Jitterbug 및 Shutterbug와 같은 더 많은 동영상 플랫폼을 지원할 계획입니다.

도움말 사용

설치 및 배포

빌리노트는 수동 배포, 도커 배포, Windows 패키지 버전의 세 가지 사용 방법을 제공합니다. 자세한 단계는 아래와 같습니다:

수동 배포

1. 프로젝트 코드 복제
   다음 명령을 실행하여 소스 코드를 가져옵니다:

   git clone https://github.com/JefferyHcool/BiliNote.git
   cd BiliNote
   mv .env.example .env
   

2. FFmpeg 설치
   BiliNote는 오디오 처리를 위해 FFmpeg를 사용하므로 반드시 설치해야 합니다:
   • Mac: 실행 brew install ffmpeg
   • 우분투/데비안: 실행 sudo apt install ffmpeg
   • Windows(컴퓨터)FFmpeg 공식 웹사이트에서 FFmpeg를 다운로드하여 설치하고, 시스템 환경 변수 PATH에 FFmpeg 실행 파일의 경로가 추가되었는지 확인합니다.
3. 백엔드 구성
   백엔드 디렉토리로 이동하여 종속성을 설치하고 서비스를 시작합니다:

   cd backend
   pip install -r requirements.txt
   python main.py
   

   컴파일러 .env 파일을 사용하여 API 키와 포트를 구성할 수 있습니다:

   API_BASE_URL=http://localhost:8000
   OUT_DIR=note_results
   IMAGE_BASE_URL=/static/screenshots
   MODEL_PROVIDER=openai
   OPENAI_API_KEY=sk-xxxxxx
   DEEP_SEEK_API_KEY=xxx
   QWEN_API_KEY=xxx
   

4. 프런트엔드 구성
   프런트엔드 디렉토리로 이동하여 종속성을 설치하고 서비스를 시작합니다:

   cd BiliNote_frontend
   pnpm install
   pnpm dev
   

   인터뷰 http://localhost:5173 프런트엔드 인터페이스 보기.

5. 최적화된 오디오 트랜스크립션(선택 사항)
   NVIDIA GPU를 사용하는 경우 CUDA 가속 버전의 Fast-Whisper를 활성화할 수 있습니다. 패스트 위스퍼 프로젝트 구성.

도커 배포

1. Docker 및 Docker Compose가 설치되어 있는지 확인합니다.
   설치 방법은 Docker 웹사이트를 참조하세요.
2. 프로젝트 복제 및 구성

   git clone https://github.com/JefferyHcool/BiliNote.git
   cd BiliNote
   mv .env.example .env
   

3. 서비스 시작
   다음 명령을 실행하여 컨테이너를 빌드하고 시작합니다:

   docker compose up --build
   

   기본 포트는 프런트 엔드입니다. http://localhost:${FRONTEND_PORT} 및 백엔드 http://localhost:${BACKEND_PORT}다음은 다음에서 찾을 수 있는 데이터 유형의 예입니다. .env 파일에서 사용자 지정합니다.

Windows 패키징

1. exe 파일 다운로드
   GitHub 릴리스 페이지를 방문하여 Windows 패키지(exe 파일)를 다운로드하세요.
2. 실행 중인 프로그램
   exe 파일을 두 번 클릭하여 시작하면 FFmpeg를 설치하거나 환경 변수를 수동으로 구성할 필요가 없습니다. 처음 실행할 때는 API 키를 입력해야 합니다.
3. API 키 구성
   프로그램 인터페이스에서 OpenAI, DeepSeek 또는 Qwen의 API 키를 입력하고 저장한 후 사용하세요.

사용 단계

1. 빌리노트 방문하기
   • 로컬 배포: 브라우저를 열고 다음을 방문하세요. http://localhost:5173.
   • 온라인 경험: 방문 https://www.bilinote.app(Cloudflare 페이지의 로딩 속도가 느려서일 수 있음).
   • Windows 패키지 버전: exe 파일을 두 번 클릭하여 프로그램을 시작합니다.
2. 동영상 링크 입력
   인터페이스에 공개적으로 사용 가능한 Bleep 또는 YouTube 동영상에 대한 링크를 입력합니다(예 https://www.bilibili.com/video/xxx"제출"을 클릭하여 프로세스를 시작합니다. '제출'을 클릭하여 처리를 시작합니다.
3. 구성 생성 옵션
   • AI 모델콘텐츠 요약을 위해 OpenAI, DeepSeek 또는 Qwen을 선택합니다.
   • 스크린샷 삽입비디오 스크린샷을 자동으로 삽입할지 여부를 선택합니다.
   • 점프 링크타임스탬프가 있는 점프 링크를 생성할지 여부를 선택합니다.
   • 노트 필기 스타일학술 스타일, 음성 스타일 또는 집중 추출 모드 중에서 선택합니다(일부 스타일은 향후 업데이트가 지원될 수 있습니다).
4. 노트 생성
   "생성"을 클릭하면 BiliNote가 비디오 오디오를 다운로드하고, Fast-Whisper를 사용해 텍스트로 변환한 후, 선택한 매크로 모델을 사용해 마크다운 노트를 생성합니다. 생성 시간은 동영상 길이와 하드웨어 성능에 따라 달라집니다.
5. 노트 보기와 내보내기
   • 노트는 제목, 단락, 타임스탬프, 스크린샷(사용 설정된 경우)과 함께 마크다운 형식으로 표시됩니다.
   • 타임스탬프를 클릭하면 원본 동영상의 해당 시점으로 이동합니다.
   • 마크다운 파일로 내보내기를 지원하며, 향후 PDF, Word 및 Notion 형식.
   • 작업 기록 화면에서 기록 노트를 볼 수 있으며, 보기와 편집이 지원됩니다.

주요 기능 작동

• 네이티브 오디오 트랜스 크립 션데이터 프라이버시 보호를 위해 로컬에서 실행되는 Fast-Whisper 모델. 더 빠른 트랜스크립션을 위해 CUDA 가속을 지원합니다.
• 다중 모델 지원언어와 시나리오에 따라 OpenAI, DeepSeek 또는 Qwen을 전환합니다(예: 중국어 동영상에는 Qwen이 더 좋습니다).
• 스크린샷 삽입비디오 키프레임을 자동으로 가로채 노트의 해당 위치에 삽입해 가독성을 높입니다.
• 미션 기록생성된 각 작업은 추후 검토 또는 수정을 위해 자동으로 저장됩니다.
• Windows 패키징기술 전문가가 아닌 사용자도 바로 사용할 수 있는 환경을 제공하고 설치 프로세스를 간소화합니다.

주의

• 동영상 링크는 공개적으로 액세스할 수 있어야 하며 비공개 동영상은 처리되지 않을 수 있습니다.
• 콘텐츠 요약 기능은 유효한 API 키(OpenAI, DeepSeek 또는 Qwen)로 구성해야 합니다.
• FFmpeg가 올바르게 설치되어 있어야 합니다(Windows 패키지 제외).
• Cloudflare 페이지 제한으로 인해 온라인 환경이 느리게 로드될 수 있으므로 로컬에 배포하거나 Windows 패키지 버전을 사용하는 것이 좋습니다.
• 오디오 다운로드 또는 API 호출 실패를 방지하기 위해 네트워크 안정성을 보장합니다.

애플리케이션 시나리오

1. 온라인 수업을 위한 학생 노트 정리
   학생들은 Beep 또는 YouTube 동영상에서 마크다운 노트를 작성하고 핵심 사항과 타임스탬프를 추출하여 쉽게 수정하고 방향을 잡을 수 있습니다.
2. 콘텐츠 제작자가 자료 수집
   크리에이터는 동영상 스크립트나 주요 정보를 추출하여 콘텐츠 큐레이션이나 카피라이팅을 위한 스크린샷이 포함된 메모를 생성할 수 있습니다.
3. 기업 교육 콘텐츠 아카이빙
   기업에서는 교육 동영상을 직원들이 검토하거나 보관할 수 있도록 구조화된 노트로 전환하여 학습 효율성을 높일 수 있습니다.
4. 연구원들이 학술 강의를 수집합니다.
   연구자들은 학술 회의 동영상을 노트로 전환하고, 핵심 아이디어와 데이터를 추출하고, 지식 베이스를 구축할 수 있습니다.
5. 개인 지식 관리
   사용자는 관심 있는 동영상(예: 튜토리얼, 팟캐스트)을 메모로 전환하여 개인 지식창고에 저장하여 언제든지 액세스할 수 있습니다.

QA

1. BiliNote는 어떤 동영상 플랫폼을 지원하나요?
   현재는 베이리와 유튜브를 지원하고 있으며, 향후에는 지에인과 쿤지에도 지원할 계획입니다.
2. 패키지 버전의 Windows와 로컬 배포의 차이점은 무엇인가요?
   Windows 패키지 버전은 기술 전문가가 아닌 사용자를 위해 FFmpeg를 수동으로 설치하거나 환경을 구성할 필요가 없습니다. 사용자 지정 구성 및 GPU 가속을 지원하므로 로컬 배포가 더욱 유연합니다.
3. 오디오 트랜스크립션의 속도를 높이려면 어떻게 해야 하나요?
   Fast-Whisper가 활성화된 NVIDIA GPU 장치를 사용하는 CUDA 가속 버전은 Fast-Whisper 프로젝트를 참조하세요.
4. 유료 API 키를 사용해야 하나요?
   콘텐츠 요약 기능을 사용하려면 OpenAI, DeepSeek 또는 Qwen용 API 키가 필요합니다(비용이 발생할 수 있음). 오디오 트랜스크립션은 로컬에서 무료로 실행할 수 있습니다.
5. 온라인 체험 버전이 느리게 로드되는 이유는 무엇인가요?
   온라인 버전은 Cloudflare 페이지에 배포되며 네트워크 및 서버 제한이 적용됩니다. 로컬 배포 또는 Windows 패키지 버전을 사용하는 것이 좋습니다.