Institut für KI-Technik

Überblick Diese Anleitung führt Sie durch die Erstellung eines einfachen Retrieval Augmented Generation (RAG) Systems mit Python. Wir werden ein Einbettungsmodell und ein großes Sprachmodell (LLM) verwenden, um relevante Dokumente abzurufen und Antworten auf Basis von Benutzeranfragen zu generieren. https://github.com/adithya-s-k/A...

Einleitung Retrieval-enhanced generation (RAG) ist eine leistungsstarke Technik, die die Vorteile großer Sprachmodelle mit der Fähigkeit kombiniert, relevante Informationen aus einer Wissensbasis abzurufen. Dieser Ansatz verbessert die Qualität und Genauigkeit der generierten Antworten, indem sie auf spezifischen abgerufenen Informationen basieren.a Dieses Notebook zielt darauf ab, ...

EINLEITUNG BM25 Retrieval Augmented Generation (BM25 RAG) ist eine fortschrittliche Technik, die den BM25-Algorithmus (Best Matching 25) für das Information Retrieval mit einem großen Sprachmodell für die Texterstellung kombiniert. Durch die Verwendung eines validierten probabilistischen Retrievalmodells verbessert diese Methode die Genauigkeit und Relevanz der generierten Antworten....

EINLEITUNG Das Chunking von Daten ist ein wichtiger Schritt in Retrieval Augmented Generation (RAG) Systemen. Es zerlegt große Dokumente in kleinere, überschaubare Teile für eine effiziente Indizierung, Abfrage und Verarbeitung. Dieses README gibt einen Überblick über die verschiedenen Chunking-Methoden, die in der RAG-Pipeline verfügbar sind. https://github.com/adithya-...

Einleitung Evaluation ist eine Schlüsselkomponente bei der Entwicklung und Optimierung von Retrieval Augmentation Generation (RAG) Systemen. Die Evaluation umfasst die Messung der Leistung, Genauigkeit und Qualität aller Aspekte des RAG-Prozesses, von der Effektivität des Retrievals bis zur Relevanz und Authentizität der generierten Antworten. Bedeutung der RAG-Evaluation Ein effektives RAG-System...

Das Neuordnungsmodell verbessert die Ergebnisse des semantischen Rankings, indem es die Liste der Kandidatendokumente auf der Grundlage ihrer semantischen Übereinstimmung mit der Frage des Benutzers neu ordnet. Üblicherweise werden bge-reranker-v2-m3 oder cohere

Sentence Window-Based Retrieval RAG Approach Einführung Der Sentence Window-Based Retrieval RAG (Retrieval-Augmented Generation)-Ansatz ist eine High-Level-Implementierung des RAG-Frameworks, die darauf abzielt, die Kontextwahrnehmung und Kohärenz von KI-generierten Antworten zu verbessern. Der Ansatz kombiniert ein großes Sprachmodell mit einer hohen ...

  Einleitung Die Sentence Window-based Retrieval-Augmented Generation (RAG) Methode ist eine High-Level-Implementierung des RAG-Frameworks, die darauf abzielt, das Kontextbewusstsein und die Kohärenz von KI-generierten Antworten zu verbessern. Die Methode kombiniert die Leistungsfähigkeit eines großen Sprachmodells mit effizienter Information ...

Einführung Auto Merge Retriever ist eine High-Level-Implementierung des Enhanced Retrieval Generation (RAG) Frameworks. Es zielt darauf ab, das Kontextbewusstsein und die Kohärenz von KI-generierten Antworten zu verbessern, indem potenziell fragmentierte und kleinere Kontexte zu größeren und umfassenderen zusammengeführt werden. https://github.com/adith...

Einleitung Das Benutzerhandbuch für Abfragetransformationen zeigt eine Reihe von Techniken zur Transformation und Disambiguierung von Benutzerabfragen, bevor sie in einer Retrieval-Augmented Generation (RAG)-Abfrage-Engine, Intelligenz oder anderen Prozessen ausgeführt werden. Diese Transformationen können die Qualität und Relevanz der Antworten in KI-Anwendungen verbessern. https://github.com/adithya-s-k/AI-...

Einführung Self-Query RAG (SQRAG) ist ein fortschrittlicher Retrieval Augmented Generation (RAG)-Ansatz, der den traditionellen RAG-Prozess durch die Einführung von Metadatenextraktion in der Ingestion-Phase und intelligentem Query Parsing in der Retrieval-Phase erweitert. https://github.com/adithya-s-k/AI-Engi...

Einleitung RAG-Fusion ist eine fortschrittliche Methode zur Informationsgewinnung und Texterstellung, die auf Retrieval Augmented Generation (RAG) aufbaut. Dieses Projekt implementiert RAG-Fusion, um genauere, kontextuell relevante und umfassende Antworten auf Benutzeranfragen zu geben. https://github.com/adithya-s-k...

Einführung RAPTOR (Recursive Abstract Processing for Tree-Structured Retrieval Enhanced Generation) ist eine fortgeschrittene Retrieval Enhanced Generation (RAG) Methode. Es erweitert den traditionellen RAG-Prozess durch die Einführung hierarchischer Dokumentstrukturierungs- und Zusammenfassungsmethoden. https://github.com/adithya-s-k/AI-Engineering.acade...

ColBERT (Contextualised Post-Cultural Interaction based on BERT) unterscheidet sich von dem traditionellen Modell der dichten Einbettung. Hier eine kurze Beschreibung der Funktionsweise von ColBERT: Einbettung auf Token-Ebene: Im Gegensatz zur direkten Erstellung eines einzelnen Vektors für ein ganzes Dokument oder eine Anfrage erstellt ColBERT Einbettungsvektoren für jedes Token. Nach...