Introdução geral
O TextDistiller é uma ferramenta avançada orientada por IA, projetada para resumir livros capítulo por capítulo ou como um todo, fornecendo uma visão geral concisa e abrangente. Ao usar o TextDistiller, os usuários podem compreender rapidamente as ideias centrais e os pontos principais de qualquer livro, economizando tempo e mantendo a compreensão do conteúdo. A ferramenta utiliza tecnologia de processamento de linguagem natural de última geração para garantir que os resumos gerados sejam precisos e fáceis de ler, tornando-a adequada para quem precisa acessar e entender rapidamente as informações sobre um livro.
Lista de funções
- Resumo capítulo a capítuloResumo: Fornece um resumo detalhado de cada capítulo, facilitando aos usuários a concentração no conteúdo de um capítulo específico.
- Visão geral do livroResumo: Forneça um resumo condensado do conteúdo geral dos livros que não são divididos em capítulos.
- processamento de linguagem natural (NLP)Utiliza tecnologia de PNL de última geração para garantir a precisão e a legibilidade do conteúdo do resumo.
- Interface amigávelDesign de interface simples e intuitivo que facilita o acompanhamento do processo de resumo.
Usando a Ajuda
Processo de instalação
- Armazém de Clonagem:
git clone https://github.com/johngai19/TextDistiller.git
- Instale as dependências necessárias:
pip install -r requirements.txt
- Execute a interface de linha de comando (CLI):
python3 bsCLI.py --path
- Execute o servidor Flask e atualize a configuração de correio eletrônico:
- atualização
mail.py
acertou em cheioendereço do remetente
responder cantandosender_pass
. - estar em movimento
views.py
::python3 views.py
- atualização
Processo de uso
Resumo capítulo a capítulo
- Passe o caminho para o arquivo PDF do livro como um parâmetro para a ferramenta de linha de comando.
- A ferramenta divide automaticamente o livro por capítulo e gera um resumo detalhado de cada capítulo.
- Os usuários podem visualizar o conteúdo principal de cada capítulo e compreender rapidamente as ideias principais do livro.
Visão geral do livro
- Para livros que não são divididos em capítulos, a ferramenta trata o livro inteiro como um todo.
- O resumo gerado abrangerá todos os elementos importantes do livro, fornecendo uma visão geral abrangente.
Funções principais
- Resumo capítulo a capítuloExecutar na linha de comando
python3 bsCLI.py --path
A ferramenta processa e gera automaticamente um resumo de cada capítulo. - Visão geral do livroExecute também o comando acima na linha de comando, e a ferramenta selecionará automaticamente o tratamento adequado com base na estrutura do livro.
- Ver ResumoResumo: O resumo gerado será salvo como um arquivo de texto no diretório especificado, que pode ser aberto e visualizado diretamente pelo usuário.
Funções em destaque
- tecnologia de processamento de linguagem natural (NLP)O TextDistiller utiliza um modelo pré-treinado T5-small para garantir que os resumos gerados sejam precisos e fáceis de ler nas etapas de fragmentação, tokenização, geração de resumo e decodificação.
- Interface amigávelO TextDistiller oferece uma interface simples e intuitiva que facilita o início do uso da ferramenta de linha de comando e do servidor Flask.
Como o TextDistiller funciona
O TextDistiller usa os transformadores HuggingFace' T5-pequeno
Pré-treinar o modelo para gerar resumos precisos e legíveis. O processo inclui:
- pedaçoDivisão do livro em partes, seja por capítulo ou como um todo.
- particípio: Uso
T5Tokenizer
Segmente esses blocos para garantir que eles sejam consistentes com oT5
Compatibilidade de modelos. - Geração de abstratosO texto que foi processado pelo processo de lexicalização passa pelo
T5ForConditionalGeneration
O modelo gera um resumo dos Token ID. - decodificador: Uso
T5Tokenizer
(usado em uma expressão nominal)decodificar()
decodifica o ID do token digerido em texto legível.