Fayデジタルヒューマンフレームワーク：言語モデルと3Dデジタルキャラクターを統合し、様々なアプリケーションシナリオをサポート。

はじめに

Fayはオープンソースの3Dバーチャルデジタルヒューマンフレームワークで、言語モデルとデジタルキャラクタを統合しており、バーチャルショッピングガイド、バーチャルキャスター、アシスタント、ウェイター、教師、音声またはテキストベースのモバイルアシスタントなど、さまざまなアプリケーションシナリオに適しています。Fayは、マイクロコントローラ、アプリケーション、ウェブサイトなどに包括的なデジタル・ヒューマン・アプリケーション・インターフェースを提供することに専念しています。Fayのフレームワークは、完全なオフラインでの使用をサポートし、ミリ秒単位の応答を提供します。

機能一覧

• 完全にオープンソースで市販されている
• 完全なオフライン使用に対応
• ミリ秒レスポンス
• デジタル化された人体モデル、大規模言語モデル、ASR、TTSモデルのフリーマッチング
• バーチャル教師、バーチャル・アンカー、ニュース放送などの自動放送モードをサポート
• マイクロコントローラー、アプリケーション、ウェブサイト、大画面、成熟したシステムへのアクセスをサポートします。
• マルチユーザー同時サポート
• テキスト・コミュニケーション・インターフェース、音声コミュニケーション・インターフェース、デジタル・ヒューマン・モデル・インターフェース、管理制御インターフェース、自動再生インターフェースを提供する。
• 音声コマンド実行の柔軟な設定に対応
• カスタマイズされたナレッジベース、カスタマイズされたQ&Aペア、カスタマイズされたペルソナ情報
• ウェイクアップと割り込みダイアログのサポート
• サーバーモードとスタンドアロンモードをサポート
• ロボット表現出力をサポート
• リアクト・エージェントの自律的意思決定実行をサポート
• 積極的な対話のサポート
• バックグラウンドでのサイレント起動に対応

ヘルプの使用

設置プロセス

1. システム環境がPython 3.9、3.10、3.11、3.12で、Windows、macOS、Linuxをサポートしていることを確認してください。
2. クローン・フェイ・ウェアハウス

   git clone https://github.com/xszyou/Fay.git

3. Fayディレクトリに移動し、依存関係をインストールする：

   cd フェイ
pip install -r requirements.txt

4. 必要に応じて修正する./system.confドキュメンテーション
5. Fay コントローラを起動します：

   python main.py

またはDockerで起動する：

   docker build -t fay .
docker run -it --rm -p 5000:5000 -p 10001:10001 -p 10002:10002 -p 10003:10003 fay

使用ガイドライン

基本機能

• テキスト通信インターフェースAPIを通じてテキストメッセージを送信し、デジタル担当者から返信をもらう。
• ブイシーアイAPIを通じて音声メッセージを送信すると、人間のデジタル音声応答が得られます。
• 管理制御インターフェースデジタルな人間の行動と反応を管理し、設定する。
• オートプレイ・インターフェースバーチャルティーチャー、バーチャルアンカーなどのオートプレイモードを設定します。

注目の機能

• カスタマイズされた知識ベースユーザーは自分自身の知識ベースを作成・管理することができ、デジタル・パーソンのプロフェッショナリズムとパーソナライゼーションを高めることができる。
• カスタマイズされたQ&Aペア特定の質問と回答を設定することで、デジタル担当者の特定領域への対応力を高めることができます。
• カスタマイズされたペルソナ情報アプリケーションのシナリオに応じて、デジタルパーソンの役割と背景情報を設定します。
• 音声コマンドの設定複雑な対話のための音声コマンドの柔軟な設定。
• 目を覚まし、対話を中断する特定のコマンドにより、デジタルヒューマン対話を覚醒させたり、中断させたりすることができます。
• ロボット表現出力デジタルパーソンは、対話内容に応じて対応する表情を出力し、対話体験を高めることができます。
• リアクト・エージェントの自律的意思決定デジタルピープルは、あらかじめ定義されたルールに基づいて自律的に判断し、タスクを実行することができる。
• 積極的な対話デジタルピープルは、ユーザーとのインタラクション体験を向上させるために、対話を開始することができます。
• サイレントスタートバックグラウンドでのサイレント起動に対応し、フォアグラウンドでの操作への干渉を低減。

高度なプレー

• 自社製品への統合Fayは、ユーザーがマイクロコントローラー、アプリケーション、ウェブサイトなどの製品に組み込むことを可能にする豊富なインターフェースのセットを提供します。
• デジタル人材の活用Fayは様々なデジタル人体モデルをサポートしており、ユーザーは必要に応じてアプリケーションに適したモデルを選択することができます。
• バーチャルキャスター (TV)バーチャル・アンカー・モードを設定し、自動ニュース放送やマーチャンダイジングなどを行うことができます。
• 遠隔音声アシスタントスマートホームやその他のアプリケーションシナリオのための音声コマンドによるデバイスのリモートコントロール。