はじめに
Outlinesはdottxt-aiによって開発されたオープンソースライブラリで、構造化テキスト生成によって大規模言語モデル(LLM)のアプリケーションを強化します。Outlinesは、正規表現、JSONパターン、Pydanticモデルによる高速生成を可能にし、貪欲アルゴリズムや多項式サンプリング、バンドルサーチなど様々なサンプリングアルゴリズムをサポートしています、多項式サンプリング、バンドル検索などの様々なサンプリングアルゴリズムをサポートしています。Outlinesは主流の推論フレームワーク（VLLM、TGIなど）の関数呼び出しに使用されている。
機能一覧
- マルチモデルの統合：OpenAI、トランスフォーマー、llama.cpp、その他のモデルをサポートします。
- シンプルで強力なヒント：Jinjaテンプレートエンジンをベースにしています。
- 正規表現構造生成: 正規表現に準拠したテキストを素早く生成
- JSON生成: JSONスキーマまたはPydanticモデルに基づいてテキストを生成します。
- 構文構造生成：ループ、条件分岐、カスタムPython関数生成のサポート
- キャッシュの生成：キャッシュ生成結果による効率化
- バッチ推論：推論のスピードを向上させるためにバッチ処理をサポートする。
- 複数のサンプリングアルゴリズム：貪欲、多項式、ビームサーチサンプリングアルゴリズムをサポート。
- Dockerのサポート：簡単にデプロイできるように、公式のDockerイメージを提供します。
ヘルプの使用
設置プロセス
- Python環境がインストールされていることを確認する。
- pipを使用してOutlinesをインストールします：
pip install outlines
- Rustバージョンのコア機能を使用する必要がある場合は、outlines-coreをインストールしてください：
pip install outlines-core
使用ガイドライン
基本的な使い方
- Outlinesライブラリをインポートする：
import outlines
- モデルを選択し、ロードする：
model = outlines.models.transformers("openai/gpt-3.5-turbo")
- プロンプトを作成し、テキストを生成します：
prompt = "生成一个关于AI技术的简短介绍。"
generated_text = model.generate(prompt)
print(generated_text)
高度な機能
- 正規表現を使って構造化テキストを生成する：
import outlines
generator = outlines.generate.regex("^[A-Z][a-z]+$")
result = generator("生成一个符合正则表达式的单词")
print(result)
- JSONスキーマを使用してテキストを生成します：
import outlines
from pydantic import BaseModel
class Person(BaseModel):
name: str
age: int
generator = outlines.generate.json(Person)
result = generator({"name": "Alice", "age": 30})
print(result)
- 複数のサンプリングアルゴリズムを使用：
import outlines
generator = outlines.generate.choice(model, ["选项1", "选项2", "选项3"])
result = generator("请选择一个选项：")
print(result)
- Dockerイメージをデプロイする：
docker pull outlinesdev/outlines
docker run -p 8000:8000 outlinesdev/outlines
一般的な問題
- 発電速度を上げるには？ バッチ推論を使い、キャッシュ関数を生成することで、生成速度を大幅に向上させることができる。
- カスタム関数を統合するには？ カスタムPython関数を使用して、生成中に複雑なロジックを処理することができます。
大規模モデルからの非構造化出力がもたらす問題
課題
大規模言語モデル（LLM）は強力なテキスト生成能力を持つが、構造化データの生成においては十分な信頼性を発揮しない。これはエージェント中心のAIアプリケーションにとって深刻な問題となる。
核心問題
- 出力矛盾メールからフライト情報を抽出する場合、一貫性のあるJSONオブジェクトを出力するのが理想ですが、LLMはしばしば失敗し、「JSONデコードエラー」などの問題を引き起こします。
- 信頼性の欠如この予測不可能性が、LLMをベースにした複雑なモジュラー・システムを構築することを難しくしている。
影響を及ぼす
信頼できる構造化された出力がなければ、開発者は面倒な後処理（正規表現など）を通じて情報を抽出する必要があり、非効率的でエラーが発生しやすい開発につながる。
構造化アウトプットの利点
データの一般的な構造
一見構造化されていないように見えるデータ（例えばGSMデータセット）であっても、多くの場合、利用すべき固有の構造を持っている。
出力形式の保証
特定の構造（JSONや正規表現など）を定義することで、出力の妥当性を保証し、面倒な後処理を避けることができる。
パフォーマンスと効率の向上
- JSONの効率化構造化生成により、JSONの効率は17.7%から99.9%に向上した。
- 事例の必要性の減少GSM8Kベンチマークでは、1回の構造化生成の性能は、8回の非構造化生成とほぼ同等です。
- オープンモデルのパフォーマンス向上関数呼び出しベンチマークでは、86%から96.5%に性能が向上し、GPT-4を上回りました。
構造化されたアウトプットと非構造化されたアウトプット
構造化出力の利点をよりよく理解するために、次の例を使って構造化出力と非構造化出力の違いを比較してみよう。
Eメールからフライト情報を抽出する必要があるとする：
非構造化出力
大規模なモデルによって生成された出力が厳密にフォーマットされていない場合、以下のようなテキストが得られることがある：
飞往巴黎的航班在下周二，可能是早上10点，飞机是法国航空。この出力には、必要な情報（目的地、日付、時刻、航空会社など）は含まれているが、明確な構造はない。そこから情報を抽出するために、開発者は正規表現や他のテキスト処理方法を使用して各フィールドを解析する必要があるが、これは面倒であり、エラーが発生しやすい。例えば、モデルが異なる入力に対して異なるフォーマットの出力をする可能性があり、システム処理エラーや「JSONデコードエラー」につながります。
構造化出力
構造化生成が使用される場合、モデルは、例えば、事前に定義されたフォーマットに準拠したデータを返します：
{
"destination": "巴黎",
"departure_date": "2024-11-25",
"time": "10:00",
"airline": "法国航空"
}
この場合、出力は一様で標準化されている。すべてのキー・フィールドはすでに期待されるフォーマットで返されるため、開発者は情報を追加処理したり解析したりする必要がなくなる。これは開発時間を節約するだけでなく、エラーの確率を大幅に減らすことにもなる。
この比較を通じて、構造化出力がデータの一貫性と信頼性を保証するだけでなく、特に大規模なモデルから大量の情報を抽出して処理する必要がある場合に、処理効率を大幅に向上させることがはっきりとわかる。
Outlinesを使用すると、大きなモデルでパフォーマンスの問題が生じますか？
アウトラインはどのように機能するのか？
ラショナル
- ロジット処理モデルがロジットを生成した後、Outlinesは次のトークンの可能性をチェックし、定義された構造に違反するものをブロックする。
- 効率の最適化効率的なマスキングにより、追加のオーバーヘッドが極めて少ない。
典型例
「発生した場合 トークン が構造を破壊するような場合は、生成プロセスが事前に定義された構造に厳密に従うことを保証するために、即座にブロックされる"
構造化された出力は出力を遅くするのか？
そんなことはない。それどころか、構造化世代は通常、世代交代プロセスを加速させる：
- 無駄なトークンを減らすあらかじめ構造を定義しておくことで、冗長なフィールド名や括弧の生成を避けることができる。
- 世代数の減少構造化された出力は、一般的にトークンが少なく、速く、明確である。
アウトラインと他の構造化ライブラリとの比較
- ガイダンスと比較Outlinesは推論段階でのオーバーヘッドがほとんどゼロであるのに対し、Guidanceはトークンを大量に生成するときに大幅に遅くなることがある。
- LMQLとの比較アウトラインの強みは軽量設計と効率性だ。
コード例
以下は、構造化されたイベント・データを生成するためにOutlinesを使用する例である：
from datetime import datetime
from pydantic import BaseModel, Field
from outlines import generate, models
# 加载模型
model = models.mlxlm("mlx-community/Hermes-3-Llama-3.1-8B-8bit")
# 使用 Pydantic 定义事件结构
class Event(BaseModel):
title: str = Field(description="title of the event")
location: str
start: datetime = Field(
default=None, description="date of the event if available in iso format"
)
# 获取当前时间
now = datetime.now().strftime("%A %d %B %Y and it's %H:%M")
# 定义提示
prompt = f"""
Today's date and time are {now}
Given a user message, extract information of the event like date and time in iso format, location and title.
If the given date is relative, think step by step to find the right date.
Here is the message:
"""
# 示例消息
message = """Hello Kitty, my grandmother will be here , I think it's better to postpone our
appointment to review math lessons to next Friday at 2pm at the same place, 3 avenue des tanneurs, I think that one hour will be enough
see you 😘 """
# 创建生成器
generator = generate.json(model, Event)
# 提取事件信息
event = generator(prompt + message)
# 输出结果
print(f"Today: {now}")
print(event.json())
生成されるイベント情報は以下の通り：
{
"title": "Math Review",
"location": "3 avenue des tanneurs",
"start": "2024-11-22T14:00:00Z"
}
結論と展望
構造化生成は、もはやニッチな機能ではなく、大規模モデル・アプリケーションの未来なのだ：
- 高い信頼性と効率性LLMの性能は、構造化生成によって著しく向上する。
- オープンソースの可能性アウトラインズの成功は、オープンソースモデルがプロプライエタリモデルと競合する可能性を示している。
将来的には、構造化生成がより一般的になるにつれて、Outlinesは開発者のツールボックスの重要な構成要素になると予想される。
日本語 
简体中文 
English 
Deutsch 
Português do Brasil