KI-Wissen Seite 10

Zusammenfassung: In diesem Beitrag wird ein neuer Satz von Basismodellen namens Llama 3 vorgestellt. Llama 3 ist eine Gemeinschaft von Sprachmodellen, die Mehrsprachigkeit, das Schreiben von Code, Schlussfolgerungen und die Verwendung von Werkzeugen unterstützt. Unser größtes Modell ist ein dichtes Kontextfenster mit 405 Milliarden Parametern und bis zu 128.000 Token...

Retrieval Augmented Generation (RAG) ist eine Klasse von Anwendungen in der generativen KI (GenAI), die die Verwendung eigener Daten zur Erweiterung des Wissens eines LLM-Modells (z.B. ChatGPT) unterstützt. RAG verwendet typischerweise drei verschiedene KI-Modelle, nämlich das Embedding-Modell, das Rerankear-Modell und das Large Language Model. In diesem Papier, werden wir ...

  Transformer ist eine Deep-Learning-Modellarchitektur für die Verarbeitung natürlicher Sprache (NLP), die von Vaswani et al. 2017 vorgeschlagen wurde. Es ist vor allem für die Verarbeitung von Sequenz-zu-Sequenz-Aufgaben, wie maschinelle Übersetzung, Texterzeugung, und so weiter verwendet. Kurz gesagt, das ursprüngliche Transformer-Modell für die Texterzeugung...

Haftungsausschluss: Während grundlegende Hinweistechniken (z.B. null/wenige Beispiele oder imperative Hinweise) sehr effizient sind, können ausgefeiltere Hinweise effektiver sein, wenn man mit einigen komplexen Rätseln konfrontiert wird (z.B. Mathematik/Programmierung oder Probleme, die mehrstufige logische Schlussfolgerungen erfordern). Da Large Language Models (LLMs) solche Probleme behandeln...

Titel: Agent AI Towards a Holistic Intelligence Autor: Qiuyuan Huang, Naoki Wake, Bidipta Sarkar, Zane Durante, Ran Gong, Rohan Taori, Yusuke Noda, Demetri Terzopoulos, Noboru Kuno, Ade Famoti, Ashle...

Paper address: https://arxiv.org/abs/2404.17723 Knowledge Graphs können nur gezielt Entitätsrelationen extrahieren, und solche stabil extrahierbaren Entitätsrelationen können als nahe an strukturierten Daten verstanden werden. Abbildung 1 zeigt eine Kombination aus Knowledge Graph (KG) und Retrieval Augmented Generation (RAG)...

Im Folgenden geht es um die Grundidee des Hint-Engineering und wie es die Leistung des Large Language Model (LLM) verbessern kann... Schnittstellen für LLM: Einer der Hauptgründe, warum Large Language Models so angesagt sind, ist, dass ihre Text-zu-Text-Schnittstellen eine minimalistische Betriebserfahrung ermöglichen. In der Vergangenheit erforderte das Lösen von Aufgaben mit Deep Learning typischerweise...

Open Source Adresse: https://github.com/cpacker/MemGPT Paper Adresse: https://arxiv.org/abs/2310.08560 Offizielle Website: https://memgpt.ai/ MemGPT unterstützt: 1. die Verwaltung des Langzeitgedächtnisses oder des Zustands 2. die Verknüpfung mit RAG-basierten Technologien Externe Datenquellen 3.

Forscher haben eine "Jailbreak Attack"-Technik untersucht - eine Methode, mit der die von den Entwicklern großer Sprachmodelle (LLMs) eingerichteten Sicherheitszäune umgangen werden können. Die als "Multisample Jailbreak Attack" bezeichnete Technik funktioniert sowohl bei den Modellen von Anthropic als auch bei denen anderer KI-Unternehmen. Die Forscher prä...

Originalartikel: https://arxiv.org/pdf/2210.03629.pdf Sie verstehen auch nach der Lektüre nicht, wie ReAct funktioniert und angewendet wird? In "ReAct Implementation Logic in Practice" finden Sie eine Erklärung mit Beispielen aus der Praxis. Zusammenfassung Obwohl groß angelegte Sprachmodelle (LLMs) für die Aufgaben des Sprachverständnisses und der interaktiven...

RAG (Retrieve Augmented Generation) ist eine Technik zur Optimierung der Ausgabe von Large Language Models (LLMs) auf der Grundlage von maßgeblichen Informationen der Wissensbasis. Diese Technik erweitert die Funktionalität von LLMs, um auf die interne Wissensbasis eines bestimmten Bereichs oder einer Organisation zu verweisen, wenn sie Antworten auf...

Originalartikel : "Dense X Retrieval: What Retrieval Granularity Should We Use?" Hinweis: Diese Methode eignet sich für eine kleine Anzahl von Modellen, wie die OPENAI-Serie, die Claude-Serie, Mixtral, Yi und qwen. Zusammenfassung In offenen Aufgaben der natürlichen Sprachverarbeitung (NLP), ...

Heute habe ich ein interessantes Papier "Large Language Models as Analogical Reasoners" gelesen, in dem ein neuer Ansatz für Prompting erwähnt wird - "Analogical Prompting". Wenn Sie mit Prompt-Engineering vertraut sind, haben Sie sicher schon von "Chain of Thought" (CoT) gehört...

Abstrakt Die Denkleistung von Large Language Models (LLMs) bei einer Vielzahl von Problemen hängt stark von verketteten Denkaufforderungen ab, bei denen eine Reihe von verketteten Denkdemonstrationen als Beispiele in den Aufforderungen gegeben werden. Jüngste Forschungen, z.B. zu Denkbäumen, haben auf die Erforschung und Selbsteinschätzung des Denkens bei komplexen Problemlösungen hingewiesen ...