Literary Mind Intelligence Body Tutorial: (4) Verarbeitung von Dokumenten und Synchronisierung mit der Wissensdatenbank

Einführung in die Wissensdatenbank

Die Wissensbasis ist die Datengrundlage für die Ausgabe der Antworten des intelligenten Körpers und eignet sich für Entwickler mit professioneller Datenakkumulation sowie für diejenigen, die Anforderungen an die Genauigkeit und Professionalität der Ausgabeergebnisse stellen.
Laden Sie ihre eigenen Daten in der Wissensbasis-Modul, das große Modell und die Benutzer-Interaktion Prozess, nach der Wissensbasis abgerufen ähnliche Inhalte, das große Modell berührt, um die Ergebnisse zu generieren, können Sie effektiv begrenzen den Umfang der Modellerstellung.
Die Wenxin Intelligent Body Platform respektiert und schützt die Sicherheit Ihrer geschützten Daten in vollem Umfang und wird die übermittelten Daten nicht zum Training oder zur Verbesserung allgemeiner großer Modelle verwenden.

1. das Nutzungsszenario

• Null-Code-Entwicklung von Intelligenzen mit Verweisen auf Wissensbasen und begrenztem Abruf;
• Berücksichtigung der Wissensbasis bei der Entwicklung von Intelligenz in Low Code;
• Zitieren Sie die Wissensbasis und entwickeln Sie schnell Daten-Plug-ins.

2. das Portal der Wissensdatenbank

Einstieg 1: Nach der Anmeldung auf der Plattform klicken Sie auf die linke Navigation, um das Modul Wissensdatenbank aufzurufen.

Eintrag 2: Um Zero-Code-Intelligenzen zu entwickeln, klicken Sie auf der Seite "Intelligenz erstellen" auf "Neue Wissensbasis", um Daten hinzuzufügen;

Eintrag 3: Low-Code-Entwicklung von Intelligenzen, in der visuellen Anordnung Seite, Drag & Drop der Wissensbasis Kit, klicken Sie auf "New Knowledge Base", um die Wissensbasis Modul geben;

Eintrag 4: Um ein Daten-Plugin zu entwickeln, klicken Sie auf der Seite "Plugin bearbeiten" auf "Neue Wissensdatenbank", um das Modul Wissensdatenbank aufzurufen.

3. die Erstellung einer Wissensdatenbank

Schritt 1: Hochladen der Daten.

Es gibt 3 Möglichkeiten zum Hochladen von Wissensdatenbanken: ①lokale Dateien hochladen, ②Webadresse übermitteln, ③Baidu.com.hk importieren. 1 Konto kann 100 Wissensdatenbanken erstellen, die Gesamtkapazität aller Wissensdatenbanken kann nicht mehr als 1G betragen, 1 Wissensdatenbank kann zu 100 Dateien oder URLs hinzugefügt werden, und die Gesamtkapazität kann 200M nicht überschreiten.

①Lokale Dateien

• Derzeit werden nur Text- und Bildtypen unterstützt, darunter txt, md, docx, pdf, xlsx, csv, png, jpg, jpeg, m4a, mp3, mp4, mov, mpeg.Es wird nur das Hochladen von Videos unterstützt, die Erkennung von Videoinhalten wird vorerst nicht unterstützt.

②Website Einreichung

• Klicken Sie nach der Eingabe der Webseitenadresse auf die Schaltfläche "Identifizieren", um die Textdaten auf der Webseite zu identifizieren. Es können nur öffentlich zugängliche Webseitenadressen identifiziert werden, die von Baidu aufgenommen wurden, z. B. solche, auf die nach dem Einloggen zugegriffen wurde, oder solche, deren Aufnahme von Baidu nicht genehmigt wurde.
• Sie können die Häufigkeit der Aktualisierung der Wissensdatenbank durch automatische Erkennung entsprechend der Häufigkeit der Webseitenaktualisierungen festlegen.

Schritt 2: Datenverarbeitung.

Da das große Modell in dieser Phase strenge Beschränkungen für Eingabe- und Ausgabezeichen hat und die Wissensbasis ebenfalls eine Art von Eingabeinhalt ist, der ebenfalls den Beschränkungen des großen Modells in Bezug auf die Anzahl der Eingabezeichen folgen muss, besteht der Zweck der Textsegmentierung darin, den langen Text in kurze Absätze zu schneiden, irrelevante Informationen zu eliminieren und den relevantesten Inhalt unter der Prämisse einzugeben, dass die Eingabezeichen die Grenze nicht überschreiten. Damit das große Modell den Bildinhalt besser verstehen kann, wird es das Modell zunächst auffordern, den Bildinhalt auf intelligente Weise zu annotieren. Derzeit können 2 bis 3 Absätze der Wissensbasis in das große Modell eingegeben werden, und der relevante Inhalt sollte möglichst in 3 Absätze oder weniger unterteilt werden.

• Text-Segmentierung: Die Plattform bietet eine "Standard-Segmentierung" und eine "benutzerdefinierte Segmentierung", mit der Entwickler lange Texte in mehrere Segmente des Textinhalts mit Hilfe von Text, Satzzeichen, Leerzeichen, Zeilenumbruch usw. unterteilen können, damit das Modell den Textinhalt besser verstehen kann. Bei der Verarbeitung der Segmentierung wird garantiert, dass die maximalen Segmentierungszeichen entsprechend der eingestellten Segmentierungsmethode ausgeschnitten werden.

Romane, Kundenservice und andere Szenarien von Q&A-Inhalten, Daten und anderen Inhalten, wie man Segmente einrichtet siehe, wie man Dateisegmente einrichtet (mit Beispielen)

• Formular einrichten: Die Tabellenüberschrift der Formulardatei wird als Schlüsselinformation für das große Modell verwendet, um den Inhalt der Tabelle zu verstehen. Standardmäßig wird die erste Zeile der Tabelle als Tabellenüberschrift festgelegt, und eine benutzerdefinierte Beschriftung der Tabellenüberschrift entsprechend der tatsächlichen Tabellenstruktur kann unterstützt werden.

• Multimedia-Einstellungen: Der Standardaufruf an das große Modell des Bildes, Audio-Inhalte für intelligente Erkennung, und generieren Text-Anmerkung, die Unterstützung der Abruf der Link zu dem Bild, Audio-Verständnis sowie eine genauere Abruf der Rückruf. Wenn die generierten Annotationen falsch sind, können Sie den falschen Inhalt manuell ändern.Bleiben Sie dran, denn die Möglichkeiten der Videoerkennung kommen bald!

4. die Nutzung der Wissensbasis

Weg 1: Null-Code-Entwicklung von Intelligenzen, auf der Seite Intelligenzkörper erstellen wählen Sie Wissensbasis. Sie können den Aufruf der Wissensbasis beobachten und den Abrufeffekt der Wissensbasis optimieren, indem Sie die Abrufparameter debuggen. Details finden Sie unter: Allgemeine QA des Wissensbasisaufrufs

Weg 2: Low-Code-Entwicklung von Intelligenzen, auf der Seite der visuellen Orchestrierung, ziehen Sie die Wissensbasis-Suite per Drag & Drop, um die erstellte Wissensbasis auszuwählen.

Weg 3: Entwickeln Sie ein Daten-Plugin und wählen Sie die erstellte Wissensbasis aus.

So richten Sie die Dokumentensegmentierung ein (mit Beispielen)

1. wann muss ich ein Dokumentensegment ändern?

1. Strukturierte Daten
2. Smartbody- oder Plugin-Ausgaben führen zu erfolgreichen Treffern in der Wissensdatenbank, enthalten aber zu viele irrelevante Informationen

2. wie man die Dateisegmentierung einrichtet

Der Zweck der Datensegmentierung besteht darin, lange Texte in kurze Absätze zu unterteilen und so viele irrelevante Informationen wie möglich aus dem abgerufenen Inhalt zu entfernen, damit dieser vom Modell effizienter verarbeitet und verstanden werden kann.

Die Wenxin Intelligent Body Platform bietet eine Standardsegmentierung und eine benutzerdefinierte Segmentierung. Für verschiedene Arten von Dokumenten müssen unterschiedliche Segmentierungskonfigurationen gewählt werden.

• Maximale Segmentzeichen: die maximale Anzahl der Zeichen in einem Absatz nach dem Ausschneiden eines langen Textes. Anstelle der Anzahl der Zeichen in jedem Absatz können Sie eine beliebige Zahl zwischen 50 und 512 eingeben;

• Beachten Sie, dass die Anzahl der überlappenden Zeichen kleiner sein muss als die maximale Anzahl der Absatzzeichen, um die ursprüngliche Semantik der abgeschnittenen Segmente so weit wie möglich beizubehalten, um unvollständige Ausdrücke aufgrund der Segmentierung zu vermeiden und um das Modellverständnis genauer und vollständiger zu machen;

• Segmentierungsmodus: Segmentierungssymbole zum Schneiden von langem Text, Sie können die allgemein verwendeten Segmentierungssymbole wählen oder beliebige Symbole eingeben, beim Schneiden von Text wird die Schneideposition entsprechend der Sortierung der Segmentierungssymbole gewählt.

Hinweis: Die Anzahl der Segmente einer einzelnen Wissensdatenbank darf 700w nicht überschreiten, bitte legen Sie die Segmente vernünftig fest.

3. segmentierte Fälle

Fall 1: Der Fall der Segmentierung von Langtextinhalten

Anwendungsbereich: Die Fälle sind auf Romane, E-Books, Texte, Firmenvorstellungen, Dissertationen, Patentdokumente usw. anwendbar, bei denen das Modell die Semantik im Zusammenhang mit dem langen Textinhalt verstehen muss.

Beispiel-Datei:Der Mann im Anzug.docx

Segmentierte Gedanken:

Empfohlene StandardsegmentierungDie spezifischen Segmentierungsergebnisse können Sie einsehen, indem Sie die Beispieldatei herunterladen und eine Wissensdatenbank erstellen.
- Maximale Absatzzeichen: lange Textinhalte Absätze sind in der Regel länger, und es gibt einige Beziehungen zwischen den Absätzen und Absätzen, so dass die maximale Absatzzeichen kann ein wenig größer eingestellt werden, versuchen Sie sicherzustellen, dass der Absatz eine vollständige Semantik enthält, kann das Modell besser und genauer zu verstehen sein.
- Absatzüberschneidungszeichen: Wenn Absätze im Kontext verstanden werden müssen, können die Absatzüberschneidungszeichen nach Bedarf ausgefüllt werden, um zu versuchen, relevante Inhalte zwischen Kontexten in einem einzigen Absatz anzuzeigen.
- Segmentierung: die Standard-Segmentierung der Segmentierung Symbole enthält im Grunde die meisten der Text-Segmentierung, wie Segmentierung Ergebnisse nicht angemessen sind, können Sie das Dokument geeignet für das Schneiden der Lage der Symbole, wählen Sie oder geben Sie die Segmentierung Symbole hinzufügen, wird in Übereinstimmung mit der Reihenfolge der Segmentierung Symbole, um den Schnitt.

Ideen für Folgeoptimierungen: Versuchen Sie sicherzustellen, dass Texte mit gleicher Semantik in einem Absatz gekürzt werdenWenn ein Absatz aufgrund der begrenzten Anzahl von Zeichen nicht in einen einzigen Absatz unterteilt werden kann, kann die Korrelation zwischen den Absätzen über die sich überschneidenden Zeichen der Absätze erfolgen, so dass das Modell die Wahrscheinlichkeit erhöht, dass es beim Abruf gleichzeitig abgerufen wird und die Ausgabeergebnisse verständlich sind.

Ergebnisse der Modellabfrage:

Ergebnis der Modellabfrage:

Fall 2: Strukturelle Inhaltssegmentierung

Anwendungsbereich: Der Fall gilt für Kundendienst-Chat-Aufzeichnungen, Verkaufsgespräche und andere Szenarien einer Frage und Antwort, Textformulare usw. Es gibt eineDer Inhalt der charakteristischen StrukturmerkmaleBedarf an ModellenVerstehen der Semantik von Inhalten innerhalb einer Struktur.

Beispiel-Datei:Wenxin Intelligent Body Platform FAQ.docx

Segmentierte Gedanken:

Empfohlene Verwendung der benutzerdefinierten Segmentierung, um sicherzustellen, dass die gleiche Struktur innerhalb des Textes in einem Absatz geschnitten wirdDie spezifischen Segmentierungsergebnisse können Sie einsehen, indem Sie die Beispieldatei herunterladen und eine Wissensdatenbank erstellen.
- Maximale AbsatzzeichenZuerst schauen Sie sich die Struktur des ursprünglichen Textes, die durchschnittliche Anzahl der Zeichen in jeder Struktur ist, wie viel, die maximale Anzahl der Zeichen wird, wie viele Absätze gesetzt werden, wählen Sie wahrscheinlich ein paar repräsentative Absätze, um die durchschnittliche Anzahl der Zeichen zu berechnen. Zum Beispiel ist das Beispieldokument eine Frage-und-Antwort-Struktur, gibt es 2 Absätze, die durchschnittliche Anzahl der Zeichen ist 340 Zeichen, die maximale Anzahl von Absatz Zeichen auf 340 Zeichen gesetzt.
- AbsatzüberlagerungszeichenDie sich überschneidenden Zeichen werden auf 0 gesetzt. Wenn die Absätze aufgrund der begrenzten Anzahl von Zeichen nicht in einen einzigen Absatz unterteilt werden können, können die sich überschneidenden Zeichen verwendet werden, um die Absätze zu verknüpfen, so dass das Modell die Wahrscheinlichkeit erhöht, dass es beim Abrufen des umfassenden Verständnisses der Ausgabeergebnisse zur gleichen Zeit abgerufen wird.
- SegmentierungDokument mehr ausgeprägte Struktur, jede Gruppe von Fragen und Antworten sind mit "Frage", "Antwort", und wir hoffen, im Einklang mit der Struktur einer Frage und Antwort Segmentierung werden, können Sie "fragen" als Segmentierung Symbol, und in der "Frage"-Symbol vor der Segmentierung, können Sie eine Frage und Antwort Struktur der Segmentierung Ergebnisse zu erhalten.

Ergebnisse der Modellabfrage:

Ergebnis der Modellabfrage:

Fall 3: Excel-Datenklasse Inhaltssegmentierung

Anwendungsbereich: Die Fälle gelten für bestimmteDatenabfrage, Kategorie Datenstatistikder Datenklasse der Excel-Tabelle, Zeile für Zeile, mit keiner anderen Korrelation als der Statistik.

Beispiel-Datei:Kinokassendaten für 2023.xlsx

Segmentierte Gedanken:

Wenn eine statistische Analyse erforderlich ist, sollten die gemeinsam zu berechnenden Daten so weit wie möglich in 1~3 Segmente unterteilt werden (das aktuelle Modell begrenzt die Wissensbasis auf maximal 2.000 Zeichen), und es sollte versucht werden, die Vollständigkeit der in das Modell eingegebenen Originaldaten zu gewährleisten, damit die endgültigen statistischen Ergebnisse eine hohe Korrektheit aufweisen;

Es wird empfohlen, benutzerdefinierte Segmente zu verwenden, um die Integrität der in das Modell eingegebenen Rohdaten zu gewährleisten, damit die endgültigen Statistiken korrekt sind.Spezifische Segmentierungsergebnisse können durch Herunterladen der Beispieldatei und Erstellen einer Wissensdatenbank angezeigt werden.
- Maximale Anzahl von Absatzzeichen: Um die Integrität der abgerufenen Absätze zu gewährleisten, ist es notwendig, die maximale Anzahl von Absatzzeichen auf die Höchstgrenze von 512 Zeichen festzulegen.
- Absatzüberschneidungszeichen: Um die Anzahl der Zeichen in einem Absatz zu reduzieren, die von überlappenden Zeichen eingenommen werden, muss das Absatzüberschneidungszeichen auf Null gesetzt werden.
- Segmentierung: Tabellarische Daten können direkt zeilenweise geschnitten werden, der Segmentierungsmodus lautet "Zeilenvorschub".

Anschließende Optimierung der SegmentierungsideenWenn das Modell die Wissensbasis auf maximal 2.000 Zeichen begrenzt, dann sollten die zu berechnenden Daten möglichst in 1-3 Absätze aufgeteilt werden. Bei umfangreicheren Statistiken empfiehlt es sich, eine Excel-Tabelle mit nicht mehr als 2 Spalten hochzuladen, um sicherzustellen, dass alle für die Statistik erforderlichen Daten in den 3 in das Modell eingegebenen Absätzen enthalten sind.

Ergebnisse der Modellabfrage:

Verbessert die Ausgabeergebnisse:

Achtung!

1. Tabellenköpfe sind wichtig für das Auffinden von segmentierten ErgebnissenDaher muss der Kopf der Datentabelle eine klare Semantik haben und darf keine unpassenden Wörter enthalten, die das Modell nicht verstehen kann.
2. Für Plug-ins oder Intelligenzen, für die eine statistische Analyse erforderlich ist, müssen Sie die Plug-ins oder Intelligenzen zu denBefehlsaufforderungen, die detaillierte Berechnungsschritte angeben, können die Genauigkeit der statistischen Ergebnisse des Modells verbessern.

Wissensdatenbank ruft gemeinsame QA auf

Q1: Wenn ich die Auswirkungen des Aufrufs der Wissensdatenbank in der Vorschau ansehe, erscheint die Meldung "System Exception" und "Service Exception". Wie soll ich damit umgehen?
A: Sorry, um Ihre Erfahrung zu beeinträchtigen, "System-Ausnahme", "Service-Ausnahme" ist nur eine gelegentliche Situation, können Sie versuchen, nach der Aufforderung zu aktualisieren, verlassen Sie die aktuelle Seite erneut zu besuchen, löschen Sie den Cache und andere Möglichkeiten, um erneut zu versuchen, können Sie wieder verwenden.

Q2: Was ist, wenn meine Wissensbasis nicht abgerufen wird?
A: Es kann sein, dass es in der Wissensbasis nichts gibt, was für die Frage relevant ist.Wissensdatenbank-Management-SeitePrüfen Sie, ob es relevante Inhalte gibt. Wenn es keine relevanten Inhalte gibt, kann die Wissensbasis entsprechend der Frage angereichert werden; wenn es relevante Inhalte gibt, die aber nicht abgerufen werden, können sie in Q3 übertragen werden.

Q3: Ich habe relevante Inhalte in meiner Wissensdatenbank, erhalte aber ständig die Meldung "Keine relevante Wissensdatenbank abgerufen". Wie kann ich meine Wissensdatenbank abrufen?
A: Dies kann wie folgt gelöst werden.
Erstens können Sie dieWissensdatenbank-Management-SeiteWenn es semantische Probleme gibt, kann der Inhalt zunächst bearbeitet werden, um die semantischen Probleme zu optimieren;

Zweitens kann der Recall-Effekt durch Herabsetzen der [Abrufrelevanzschwelle] über die Recall-Konfigurationsfunktion der Wissensdatenbank behoben werden.Hinweis: [Retrieve Relevance Threshold] wird global für die aktuelle intelligente Körper, müssen die meisten der Nachfrage-Szenarien zu integrieren, um die Konfiguration zu tun, wie nur brauchen, um die einzelnen Fälle des Problems zu optimieren, können Sie die ideale Antwort durch die [Feedback], um das Modell zu ändern, um die Antwort zu erzeugen.

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>