AudioNotes: extraia rapidamente o conteúdo de áudio e vídeo e gere notas estruturadas

Introdução geral

O AudioNotes é um sistema de anotações estruturadas de áudio/vídeo baseado no FunASR e no Qwen2. O AudioNotes é um sistema de anotações estruturadas baseado no FunASR e no Qwen2, que pode extrair rapidamente o conteúdo de áudio/vídeo e chamar o grande modelo para gerar uma anotação estruturada do Markdown, que é fácil para os usuários lerem e encontrarem informações rapidamente. O sistema é compatível com vários métodos de implantação, incluindo o Docker e a implantação local, e é adequado tanto para desenvolvedores quanto para usuários em geral. O AudioNotes oferece funções eficientes de transcrição e organização de conteúdo de áudio/vídeo, simplificando bastante o processo de extração de informações e organização de notas.

Lista de funções

• Extração de conteúdo de áudio e vídeoExtraia rapidamente o conteúdo de áudio e vídeo.
• Geração de notas estruturadasOrganize o conteúdo extraído em notas estruturadas do Markdown.
• Várias opções de implementaçãoSuporte à implantação do Docker e à implantação local.
• Suporte a modelos grandesTranscrição: fornece transcrição e acabamento eficientes com base em FunASR e Qwen2.
• Interface amigávelInterface de usuário: Oferece uma interface de usuário fácil de usar para facilitar a operação.

Usando a Ajuda

Processo de instalação

Implantação do Docker (recomendado)

1. Faça o download do arquivo do Docker Compose:

   curl -fsSL https://github.com/harry0703/AudioNotes/raw/main/docker-compose.yml -o docker-compose.yml

2. Inicie o serviço do Docker:

   docker-compose up

3. Para acessar os serviços locais: Abra seu navegador e visite http://localhost:15433/A conta padrão é usada. administrador e senhas administrador Login (disponível em docker-compose.yml (modificado no documento).

implantação local

1. Certifique-se de que o banco de dados PostgreSQL esteja instalado.
2. Criar e ativar um ambiente virtual:

   conda create -n AudioNotes python=3.10 -y
conda activate AudioNotes

3. Clone o projeto e instale as dependências:

   git clone https://github.com/harry0703/AudioNotes.git
cd AudioNotes
pip install -r requirements.txt

4. Configurar variáveis de ambiente: set .env.example Renomeie o arquivo para .enve modificar as informações de configuração relevantes.
5. Inicie o serviço:

   chainlit run main.py

6. Para acessar os serviços locais: Abra seu navegador e visite http://localhost:8000/A conta padrão é usada. administrador e senhas administrador Login (disponível em .env (modificado no documento).

Função Fluxo de operação

1. Extração de conteúdo de áudio e vídeo::
   • Faça upload de arquivos de áudio e vídeo e o sistema extrairá automaticamente o conteúdo.
   • O conteúdo extraído é exibido na interface e pode ser editado e ajustado pelo usuário.
2. Gerar notas estruturadas::
   • O conteúdo extraído é organizado automaticamente em notas Markdown estruturadas.
   • Os usuários podem fazer download ou copiar as notas geradas para uso posterior.
3. Suporte a modelos grandes::
   • O sistema oferece transcrição e agrupamento eficientes com base no FunASR e no Qwen2.
   • Os usuários podem selecionar diferentes modelos de extração e organização de conteúdo para aumentar a precisão e a eficiência.