Lepton Search: поисковая система разговорного ИИ с открытым исходным кодом|Lepton Search

Лептон Поиск Общее представление

Лептон Lepton Search - это разговорная поисковая система с искусственным интеллектом, созданная Цзя Янцином на базе платформы Lepton AI. Lepton Search активно ищет данные в Интернете и организует их в структурированные и логичные ответы на основе вопросов пользователя на естественном языке, сопровождая их указанием источника информации. Lepton Search не только отвечает на обычные интеллектуальные вопросы, такие как. "Является ли электрон лептоном?" или "Когда человек впервые высадился на Луну?". Lepton Search также может ответить на такие сложные вопросы, как "Почему упало яблоко?" или "Как написать чатбота на Python?". Код Lepton Search имеет открытый исходный код, поэтому разработчики могут самостоятельно внедрять и изменять его или использовать платформу Lepton AI для быстрого создания собственных приложений разговорного ИИ.

Лептон Поиск дома

Страница результатов поиска Лептон

Список функций Lepton Search

• Поддержка ввода и вывода данных на естественном языке
• Поддерживает множество типов вопросов, включая вопросы, основанные на знаниях, причинах и методах
• Поддерживает множество источников данных, включая Википедию, Twitter, Google, Bing и др.
• Поддерживает множество языков, включая английский, китайский, японский и др.
• Поддержка различных методов отображения, включая текст, изображения, таблицы, диаграммы и т. д.
• Поддерживает множество методов взаимодействия, включая веб, командную строку, API и т. д.

Помощь в поиске Лептона

• В веб-версии введите вопрос, который вы хотите найти, и нажмите клавишу Enter или нажмите на кнопку поиска, чтобы увидеть ответы Lepton Search!
• Ознакомьтесь с документацией в официальном репозитории GitHub.
• Вы можете создать свою собственную поисковую систему в соответствии с официальной демонстрацией.
• Разработчики могут свободно использовать открытый исходный код в соответствии с лицензией Apache.

Комментарий к поисковому коду Lepton

# Импорт необходимых библиотек и модулей
Импортируйте concurrent.futures # для параллельного выполнения задач
Импортируйте glob # для сопоставления шаблонов путей к файлам
import json # для обработки данных в формате JSON
import os # Используется для работы с файловой системой
Импорт ре # для подбора регулярных выражений
Импортируйте threading # для операций с потоками
импорт запросов # Используется для инициирования веб-запросов
import traceback # Используется для трассировки информации об исключениях
из typing import Annotated, List, Generator, Optional # для аннотаций типов

# Импорт классов и исключений, связанных с FastAPI
из fastapi import HTTPException
из fastapi.responses import HTMLResponse, StreamingResponse, RedirectResponse
Импортируйте httpx # для HTTP-запросов
из loguru import logger # для ведения журнала

# Импорт библиотек и модулей, связанных с искусственным интеллектом Lepton
импорт лептонаи
из leptonai import Client
из leptonai.kv import KV # для хранения ключей-значений
from leptonai.photon import Photon, StaticFiles # для разработки приложения Photon
из leptonai.photon.types import to_bool # для преобразования булевых значений
из leptonai.api.workspace import WorkspaceInfoLocalRecord # для информации о рабочем пространстве
из leptonai.util import tool # содержит несколько утилит

Постоянные значения для модели # RAG
BING_SEARCH_V7_ENDPOINT = "https://api.bing.microsoft.com/v7.0/search" # Конечные точки API Bing Search
BING_MKT = "en-US" # Bing Search Marketplace
GOOGLE_SEARCH_ENDPOINT = "https://customsearch.googleapis.com/customsearch/v1" # Конечные точки API пользовательского поиска Google
SERPER_SEARCH_ENDPOINT = "https://google.serper.dev/search" # Конечные точки API Serper Search
SEARCHAPI_SEARCH_ENDPOINT = "https://www.searchapi.io/api/v1/search" # Конечные точки SearchApi Search API

# Количество найденных результатов
СЧЕТЧИК_ССЫЛОК = 8

# Время ожидания поиска
DEFAULT_SEARCH_ENGINE_TIMEOUT = 5

# Запрос по умолчанию
_default_query = "Кто сказал "живи долго и процветай"?"

Шаблон текста запроса для модели # RAG
_rag_query_text = """

Вы - крупноязычный ИИ-ассистент, созданный компанией Lepton AI. Когда вы получаете вопрос от пользователя, пожалуйста, дайте чистый, краткий и точный ответ. Вам будет предоставлен ряд контекстов, связанных с вопросом, каждый из которых предваряется номером цитаты, например [[цитата:x]], где x - число. Пожалуйста, используйте эти контексты и, при необходимости, указывайте номер контекста в конце каждого предложения.

Ваш ответ должен быть правильным, точным и написанным экспертом в нейтральном и профессиональном тоне. Пожалуйста, ограничьтесь 1024 жетонами. Не сообщайте информацию, не относящуюся к вопросу, и не повторяйтесь. Если заданный контекст не дает достаточной информации, скажите: "Информация о... Информация о ... отсутствует".

Пожалуйста, приводите контекст в формате номера цитаты, например [citation:x]. Если предложение относится к нескольким контекстам, укажите все соответствующие цитаты, например [цитата:3][цитата:5]. За исключением кодов, конкретных имен и цитат, ваш ответ должен быть на том же языке, что и вопрос.

Вот ряд контекстов:

{context}

Помните, что не стоит слепо повторять контекст дословно. Это проблема пользователя:

"""

# Список отключенных слов
стоп_слова = [
"",
"[Конец]",
"[конец]",
"\nСсылки:\n".
"\nИсточники:\n".
"Конец",
]

# Создание текстов оповещений по соответствующим вопросам
_more_questions_prompt = """

Вы - полезный помощник, помогающий пользователям задавать релевантные вопросы на основе исходного вопроса и связанного с ним контекста. Пожалуйста, определите темы, которые стоит продолжить, и задайте их в вопросах, состоящих не более чем из 20 слов. Убедитесь, что в последующие вопросы включена конкретная информация, например события, имена, места и т. д., чтобы их можно было задавать самостоятельно. Например, если в исходном вопросе говорилось о Манхэттенском проекте, в последующем вопросе вместо простого слова "проект" используйте полное название: "Манхэттенский проект". Ваши сопутствующие вопросы должны быть на том же языке, что и исходный вопрос.

Вот контекст вопроса:

{context}

Не забудьте задать три таких дополнительных вопроса, основываясь на исходном вопросе и соответствующем контексте. Не повторяйте первоначальный вопрос. Каждый последующий вопрос должен состоять не более чем из 20 слов. Вот исходный вопрос:

"""

# Для взаимодействия с различными поисковыми системами определены следующие функции поиска
def search_with_bing(query: str, subscription_key: str).
# Поиск и возврат контекстной информации с помощью поисковой системы Bing
пройти

def search_with_google(query: str, subscription_key: str, cx: str).
# Поиск и возврат контекстной информации с помощью поисковой системы Google
пройти

def search_with_serper(query: str, subscription_key: str).
# Поиск и возврат контекстной информации с помощью поисковой системы Serper
пройти

def search_with_searchapi(query: str, subscription_key: str).
# Поиск с помощью SearchApi.io и возврат контекстной информации
пройти

Класс # RAG, унаследованный от Photon, используется для создания двигателя RAG
класс RAG(Photon).
# Инициализация классов и определение методов
пройти

# Если этот сценарий выполняется напрямую, запускается приложение RAG
if __name__ == "__main__".
тряпка = RAG()
rag.launch()

адрес с открытым исходным кодом

Адрес Lepton Search с открытым исходным кодом

Lepton Search One Click Private Deployment