Tutorial Literario Mente-Cuerpo Inteligente: (4) Procesamiento de documentos y sincronización con la base de conocimientos

Introducción a la base de conocimientos

La base de conocimientos es la base de datos para las respuestas de salida del organismo inteligente, y es adecuada para desarrolladores con acumulación profesional de datos, así como para aquellos que tienen requisitos de precisión y profesionalidad para los resultados de salida.
Cargar sus propios datos en el módulo de base de conocimientos, el gran modelo y el proceso de interacción del usuario, de acuerdo con la base de conocimientos recuperados contenidos similares, el gran modelo retocado para generar los resultados, se puede limitar con eficacia el alcance de la generación de modelos.
Wenxin Intelligent Body Platform respeta y salvaguarda plenamente la seguridad de sus datos de propiedad, y no utilizará los datos enviados para entrenar o mejorar grandes modelos de uso general, y no ha abierto por el momento las capacidades de entrenamiento de modelos de propiedad.

1. Escenario de uso

• Desarrollo de inteligencias de código cero con referencias a bases de conocimiento y recuperación limitada;
• Citar la base de conocimientos al desarrollar inteligencias en código bajo;
• Cite la base de conocimientos y desarrolle complementos de datos rápidamente.

2. Portal de la base de conocimientos

Entrada 1: Después de iniciar sesión en la plataforma, haga clic en la navegación de la izquierda para acceder al módulo Base de conocimientos.

Entrada 2: Para desarrollar inteligencias de código cero, en la página Crear inteligencia, haga clic en "Nueva base de conocimientos" para añadir datos;

Entrada 3: Desarrollo de bajo código de inteligencias, en la página de disposición visual, arrastre y suelte el kit de base de conocimientos, haga clic en "Nueva base de conocimientos" para entrar en el módulo de base de conocimientos;

Entrada 4: Para desarrollar un plugin de datos, en la página Editar plugin, haga clic en "Nueva base de conocimientos" para acceder al módulo Base de conocimientos.

3. Creación de una base de conocimientos

Paso 1: Cargar los datos.

Hay 3 formas de cargar datos de bases de conocimiento, ①cargar archivos locales, ②enviar dirección web, ③importar a Baidu.com.hk. 1 cuenta puede crear 100 bases de conocimiento, la capacidad total de todas las bases de conocimiento no puede ser superior a 1G, 1 base de conocimiento puede añadirse a 100 archivos o URLs, y la capacidad total no puede superar los 200M.

①Archivos locales

• Actualmente sólo se admiten tipos de texto e imagen, incluidos txt, md, docx, pdf, xlsx, csv, png, jpg, jpeg, m4a, mp3, mp4, mov, mpeg.Sólo se admite la carga de vídeos, el reconocimiento de contenidos de vídeo no es compatible por el momento.

②Presentación de páginas web

• Después de introducir la dirección de la página web, haga clic en el botón "Identificar" para identificar los datos de texto de la página web; sólo admite identificar la dirección de la página web que es de acceso público y ha sido indexada por Baidu, si necesita iniciar sesión y acceder a ella, o no está autorizado para ser indexado por Baidu, fallará al identificar la dirección de la página web.
• Puede establecer la frecuencia de actualización de la base de conocimientos por reconocimiento automático en función de la frecuencia de actualización de las páginas web.

③Baidu.com Importar

• Por primera vez, es necesario autorizar los datos de la cuenta Baidu.com, y se pueden seleccionar los archivos en el netbook después de la autorización exitosa.
• El límite de tiempo para la importación del netbook está limitado por la velocidad de descarga de los archivos del netbook, si el tiempo es largo puedes elegir el proceso en segundo plano.

 

Paso 2: Tratamiento de datos.

Dado que, en esta fase, el modelo grande tiene limitaciones estrictas en cuanto a los caracteres de entrada y salida, y que la base de conocimientos es también un tipo de contenido de entrada, que también tiene que seguir las limitaciones del modelo grande en cuanto al número de caracteres de entrada, el objetivo de la segmentación del texto es cortar el texto largo en párrafos cortos, eliminar la información irrelevante e introducir el contenido más relevante bajo la premisa de garantizar que los caracteres de entrada no superen el límite. Para que el gran modelo comprenda el contenido de las imágenes con mayor precisión, primero le pedirá que las anote de forma inteligente. En la actualidad, se pueden introducir en el modelo grande entre 2 y 3 párrafos de la base de conocimientos, y el contenido relevante debe dividirse en 3 párrafos o menos en la medida de lo posible.

• Segmentación de textos: La plataforma ofrece "segmentación por defecto" y "segmentación personalizada", que permite a los desarrolladores cortar un texto largo en varios segmentos de contenido textual mediante texto, signos de puntuación, espacios, retorno de carro, etc., de modo que el modelo pueda comprender con mayor precisión el contenido del texto. Cuando se procesa la segmentación, se garantiza el corte de los caracteres de segmentación máxima de acuerdo con el método de segmentación establecido.

Cómo configurar segmentos ver cómo configurar segmentos de archivos (con ejemplos)

• Configuración del formulario: La cabecera de la tabla del archivo de formulario se utilizará como información clave para que el modelo grande entienda el contenido de la tabla, por defecto, la 1ª línea de la tabla se establecerá como cabecera, que puede ser soportada para ser etiquetada de forma personalizada según la estructura real de la tabla.

• Ajustes multimedia: La llamada por defecto al gran modelo de la imagen, el contenido de audio para el reconocimiento inteligente, y generar la anotación de texto, ayudando a la recuperación del enlace a la imagen, la comprensión de audio, así como la recuperación más precisa de la memoria. Si la información de anotación generada es incorrecta, puede modificar manualmente el contenido incorrecto.Esté atento a las próximas funciones de reconocimiento de vídeo.

4. Utilización de la base de conocimientos

Forma 1: Desarrollo de código cero de inteligencias, en la página Crear cuerpo de inteligencia, seleccione Base de conocimientos. Puede observar la llamada a la base de conocimientos y optimizar el efecto de recuperación de la base de conocimientos depurando los parámetros de recuperación. Para más detalles, véase: Control de calidad común de la llamada a la base de conocimientos

Forma 2: Desarrollo de bajo código de inteligencias, en la página de orquestación visual, arrastre y suelte el conjunto de bases de conocimiento para seleccionar la base de conocimiento que se ha creado.

Forma 3: Desarrollar un plugin de datos y seleccionar la base de conocimientos que se ha creado.

Cómo configurar la segmentación de documentos (con ejemplos)

1. ¿Cuándo tengo que modificar un segmento de documento?

1. Datos estructurados
2. Los resultados de Smartbody o de los plugins permiten acceder a la base de conocimientos, pero contienen demasiada información irrelevante.

2. Cómo configurar la segmentación de ficheros

El objetivo del procesamiento de segmentación de datos es cortar un texto largo en párrafos cortos, eliminando tanta información irrelevante del contenido recuperado como sea posible, para que pueda ser procesado y comprendido de forma más eficiente por el modelo.

Wenxin Intelligent Body Platform ofrece segmentación por defecto y segmentación personalizada. Para distintos tipos de documentos, es necesario cambiar las configuraciones de segmentación.

• Caracteres máximos del segmento: el número máximo de caracteres de un párrafo después de cortar un texto largo, en lugar del número de caracteres de cada párrafo, puede rellenar cualquier número de 50 a 512;

• Caracteres superpuestos de párrafo: el número máximo de caracteres repetibles al principio de cada segmento y al final del segmento anterior, puede introducir cualquier número de 0 a 500, tenga en cuenta que el número de caracteres superpuestos tiene que ser menor que el número máximo de caracteres de párrafo, para conservar la semántica original de los segmentos cortados tanto como sea posible, para evitar la expresión incompleta debido a la segmentación, y para ayudar al modelo a comprender de forma más precisa y completa;

• Modo de segmentación: símbolos de segmentación para el corte de texto largo, puede elegir los símbolos de segmentación de uso común o introducir cualquier símbolo, al cortar el texto, la posición de corte se seleccionará de acuerdo con la clasificación de los símbolos de segmentación.

Nota: El número de segmentos de una misma base de conocimientos no puede exceder de 700w, por favor, ajuste los segmentos razonablemente.

3. Casos segmentados

Caso 1: Segmentación de textos largos

Ámbito de aplicación: los casos son aplicables a novelas, libros electrónicos, textos, presentaciones de empresas, tesis, documentos de patentes, etc., que requieren que el modelo comprenda la semántica en contexto con el contenido del texto largo.

Archivo de ejemplo:El hombre del traje.docx

Pensamientos segmentados:

Segmentación por defecto recomendadaLos resultados específicos de la segmentación pueden verse descargando el archivo de ejemplo y creando una base de conocimientos.
- Caracteres máximos del párrafo: los párrafos de contenido de texto largo son generalmente más largos, y hay algunas relaciones entre párrafos y párrafos, por lo que los caracteres máximos del párrafo se puede establecer un poco más grande, tratar de garantizar que el párrafo contiene una semántica completa, el modelo puede ser mejor y más precisa comprensión.
- Caracteres de solapamiento de párrafos: Cuando los párrafos deben entenderse en su contexto, los caracteres de solapamiento de párrafos pueden rellenarse según sea necesario para intentar que el contenido relevante entre contextos se muestre en un único párrafo.
- Segmentación: la segmentación por defecto de los símbolos de segmentación básicamente contiene la mayor parte de la segmentación de texto, como los resultados de segmentación no son apropiados, se puede ver el documento adecuado para cortar la ubicación del símbolo, seleccione o escriba para agregar los símbolos de segmentación, será de acuerdo con el orden de los símbolos de segmentación para seleccionar el corte.

Ideas para la optimización del seguimiento: intentar que el texto con la misma semántica se corte en un párrafoSi un párrafo no puede dividirse en uno solo debido a la limitación del número de caracteres del párrafo, la correlación entre párrafos puede llevarse a cabo a través de los caracteres superpuestos de los párrafos, de modo que el modelo pueda aumentar la probabilidad de ser recuperado al mismo tiempo al recuperar y comprender exhaustivamente los resultados de salida.

Resultados de la recuperación de modelos:

Resultado de la recuperación del modelo:

Caso 2: Segmentación estructural de contenidos

Ámbito de aplicación: el caso se aplica a los registros de chat de servicio al cliente, charla de ventas y otros escenarios de una pregunta y respuesta, formularios de texto, etc hay unEl contenido de los rasgos estructurales distintivosNecesidad de modelosComprender la semántica del contenido dentro de una estructura.

Archivo de ejemplo:Wenxin Plataforma corporal inteligente FAQ.docx

Pensamientos segmentados:

Uso recomendado de la segmentación personalizada, para tratar de garantizar que la misma estructura dentro del texto corte en un párrafoLos resultados específicos de la segmentación pueden verse descargando el archivo de ejemplo y creando una base de conocimientos.
- Máximo de caracteres de párrafoEn primer lugar, observe la estructura del texto original, el número medio de caracteres en cada estructura es cuánto, el número máximo de caracteres se establecerá a cuántos párrafos, probablemente seleccionar algunos párrafos representativos para calcular el número medio de caracteres. Por ejemplo, el documento de ejemplo es una estructura de preguntas y respuestas, hay 2 párrafos, el número medio de caracteres es de 340 caracteres, el número máximo de caracteres párrafo establecido en 340 caracteres.
- párrafo carácter superpuestoLos caracteres solapados se fijan en 0. Si los párrafos no pueden dividirse en uno solo debido a la limitación del número de caracteres, los caracteres solapados pueden utilizarse para asociar los párrafos, de modo que el modelo pueda aumentar la probabilidad de ser recuperado al mismo tiempo al recuperar la comprensión global de los resultados de salida.
- segmentacióndocumento más estructura distintiva, cada grupo de preguntas y respuestas están marcados "pregunta", "respuesta", y esperamos estar de acuerdo con la estructura de una segmentación de preguntas y respuestas, puede "preguntar" como un símbolo de segmentación, y en el símbolo de "pregunta" antes de la segmentación, se puede obtener una estructura de preguntas y respuestas de los resultados de la segmentación.

Resultados de la recuperación de modelos:

Resultado de la recuperación del modelo:

Caso 3: Segmentación del contenido de la clase de datos Excel

Ámbito de aplicación: los casos se aplican aConsulta de datos, categoría de estadísticas de datosde la clase de datos de la tabla Excel, fila a fila, sin más correlación que la estadística.

Archivo de ejemplo:Datos de taquilla cinematográfica para 2023.xlsx

Pensamientos segmentados:

Si se requiere un análisis estadístico, los datos que deben calcularse conjuntamente deben dividirse en 1~3 segmentos en la medida de lo posible (el modelo actual limita la base de conocimientos a un máximo de 2.000 caracteres), e intentar garantizar la integridad de los datos originales introducidos en el modelo, de modo que los resultados estadísticos finales tengan un alto índice de corrección;

Se recomienda utilizar segmentos personalizados para tratar de garantizar la integridad de los datos brutos introducidos en el modelo, de modo que las estadísticas finales sean correctasLos resultados específicos de la segmentación pueden consultarse descargando el archivo de ejemplo y creando una base de conocimientos.
- Número máximo de caracteres de párrafo: Para garantizar la integridad de los párrafos recuperados, es necesario establecer el número máximo de caracteres de párrafo en el límite máximo de 512 caracteres.
- Caracteres de solapamiento de párrafo: Para reducir el número de caracteres de un párrafo ocupados por caracteres solapados, el Carácter de solapamiento de párrafo debe ajustarse a cero.
- Segmentación: Los datos de tipo tabla se pueden cortar directamente por línea, el modo de segmentación seleccionar "avance de línea".

Optimización posterior de las ideas de segmentaciónSi el modelo limita la base de conocimientos a un máximo de 2.000 caracteres, los datos que deben calcularse deben dividirse en 1-3 párrafos en la medida de lo posible. Para estadísticas de mayor tamaño, se recomienda cargar una hoja de cálculo Excel con no más de 2 columnas para garantizar que todos los datos necesarios para la estadística se incluyan en los 3 párrafos introducidos en el modelo.

Resultados de la recuperación de modelos:

Retoca los resultados de salida:

Atención:

1. Las cabeceras de las tablas son importantes para recuperar los resultados segmentadoses información clave para que el modelo entienda los datos, por lo que la cabecera de la tabla de datos debe tener una semántica clara e intentar no utilizar palabras rebuscadas que el modelo no pueda entender.
2. En el caso de los plug-ins o las inteligencias que necesitan un análisis estadístico, es necesario añadir los plug-ins o las inteligencias a la secciónLos avisos de comando que indican los pasos de cálculo detallados pueden mejorar la precisión de los resultados estadísticos del modelo.

La base de conocimientos llama a la GC común

Q1: Al previsualizar el efecto de la llamada a la base de conocimientos, aparece "Excepción del sistema" y "Excepción del servicio", ¿cómo debo solucionarlo?
A: Siento afectar a su experiencia, "excepción del sistema", "excepción de servicio" es sólo una situación ocasional, puede intentar actualizar después de la consulta, salir de la página actual para volver a visitar, borrar la caché y otras formas de volver a intentarlo, puede reanudar el uso.

Q2: ¿Y si no se recupera mi base de conocimientos?
A: Puede ser que no haya nada en la base de conocimientos que sea relevante para la pregunta, siga adelante yPágina de gestión de la base de conocimientosComprobar si hay contenido relevante. Si no hay contenido relevante, se puede enriquecer la base de conocimientos en función de la pregunta; si hay contenido relevante pero no se recuerda, se puede transferir a Q3.

Q3: Tengo contenido relevante en mi base de conocimientos, pero sigo recibiendo un mensaje que dice "No se ha recuperado ninguna base de conocimientos relevante", ¿cómo puedo recuperar mi base de conocimientos?
A: Esto puede ser resuelto por.
En primer lugar, puede introducir elPágina de gestión de la base de conocimientosSi hay problemas semánticos, se puede editar primero el contenido para optimizarlos;

En segundo lugar, el efecto de recuperación puede depurarse reduciendo el [umbral de relevancia de recuperación] mediante la función de configuración de recuperación de la base de conocimientos.Nota: [Recuperar Umbral de Relevancia] tendrá efecto global para el cuerpo inteligente actual, necesita integrar la mayoría de los escenarios de demanda para hacer la configuración, como sólo necesita optimizar los casos individuales del problema, puede enviar la respuesta ideal a través de la [Retroalimentación] para modificar el modelo para generar la respuesta.