TextDistiller: краткое изложение всей книги одним щелчком мыши, эффективная дистилляция содержания книги и быстрое восприятие основных идей

Общее введение

TextDistiller - это передовой инструмент с искусственным интеллектом, предназначенный для краткого изложения книги по главам или в целом, обеспечивая краткий, но исчерпывающий обзор. Используя TextDistiller, пользователи могут быстро понять основные идеи и ключевые моменты любой книги, что позволяет сэкономить время, сохраняя при этом понимание содержания. Инструмент использует современную технологию обработки естественного языка для обеспечения точности и легкости восприятия создаваемых резюме, что делает его подходящим для тех, кому необходимо быстро получить доступ к информации о книге и понять ее содержание.

Список функций

• краткое содержание по главам: Предоставляет подробное резюме каждой главы, что позволяет пользователям легко сосредоточиться на содержании конкретной главы.
• Аннотация к книге: Сокращенное изложение общего содержания книг, не разделенных на главы.
• обработка естественного языка (NLP): Использует современную технологию NLP для обеспечения точности и читабельности содержания резюме.
• удобный интерфейс: Простой и интуитивно понятный дизайн интерфейса позволяет легко следить за процессом составления резюме.

Использование помощи

Процесс установки

1. Хранилище клонирования:git clone https://github.com/johngai19/TextDistiller.git
2. Установите необходимые зависимости:pip install -r requirements.txt
3. Запустите интерфейс командной строки (CLI):python3 bsCLI.py --path <path-to-PDF-file>
4. Запустите сервер Flask и обновите конфигурацию почты:
   • обновление mail.py попал в точку sender_address ответить пением sender_pass.
   • быть в движении views.py::python3 views.py

Процесс использования

краткое содержание по главам

1. Передайте путь к PDF-файлу книги в качестве параметра инструменту командной строки.
2. Инструмент автоматически разбивает книгу на главы и составляет подробное резюме каждой главы.
3. Пользователи могут ознакомиться с основным содержанием каждой главы и быстро понять главные идеи книги.

Аннотация к книге

1. Для книг, не разделенных на главы, инструмент рассматривает всю книгу как единое целое.
2. Сформированное резюме охватывает все важные элементы книги, обеспечивая всесторонний обзор.

Основные функции

• краткое содержание по главам: Запуск в командной строке python3 bsCLI.py --path <path-to-PDF-file>Инструмент автоматически обрабатывает и генерирует краткое содержание каждой главы.
• Аннотация к книге: Также запустите вышеуказанные команды из командной строки, и инструмент автоматически выберет подходящую обработку, основываясь на структуре книги.
• Посмотреть краткое содержание: Сформированная сводка будет сохранена в виде текстового файла в указанном каталоге, который может быть открыт и просмотрен непосредственно пользователем.

Основные функции

• технология обработки естественного языка (NLP)TextDistiller использует предварительно обученную модель T5-small, чтобы обеспечить точность и легкость чтения создаваемых резюме на этапах разбивки на части, лексикализации, создания резюме и декодирования.
• удобный интерфейсTextDistiller имеет простой и интуитивно понятный интерфейс, который позволяет легко начать работу как с инструментом командной строки, так и с сервером Flask.

Как работает TextDistiller

TextDistiller использует трансформаторы HuggingFace. T5-small Предварительно обучите модель генерировать точные и читабельные резюме. Процесс включает в себя:

1. кусок: Разделите книгу на части, по главам или целиком.
2. причастие: Использование T5Tokenizer Сегментируйте эти блоки, чтобы убедиться, что они соответствуют T5 Совместимость с моделями.
3. Абстрактное поколение: Текст, обработанный лексиконом, передается через T5ForConditionalGeneration Модель генерирует сводку Токен ID.
4. декодер: Использование T5Tokenizer (используется в форме номинального выражения) decode() Функция декодирует переваренный идентификатор токена в читаемый текст.