無効なJSON文字列を修正し、LLMによって生成されたJSONデータで起こりうるフォーマットエラーを解決しました。

はじめに

無効なJSONファイルを修正するモジュールで、特にLarge Language Models (LLM)が出力する不正なJSONデータを解析します。このモジュールは、引用符の欠落、不正なカンマ、エスケープされていない文字、不完全なキーと値のペアなどの一般的なJSON構文エラーを修正します。また、データの妥当性を保証するために、欠落しているJSON値を自動補完します。

主な特徴
引用符の欠落、カンマの位置の間違い、エスケープされていない文字などのJSON構文エラーを修正します。
JSON配列とオブジェクトの不正な書式を修正した。
欠落しているJSON値の自動補完
json.loads() および json.load() の代替を提供します。

言語バージョン

Pythonバージョン： https://github.com/mangiucugna/json_repair

タイプスクリプト・バージョン：https://github.com/josdejong/jsonrepair

囲碁バージョン：https://github.com/RealAlexandreAI/json-repair

ルビー・バージョン：https://github.com/sashazykov/json-repair-rb

指示

1. JSON構文エラーを修正::
   • 引用符の欠落: キーと値の両方が適切に参照されるように、欠落している引用符を自動的に追加します。
   • 間違ったカンマ：JSON構造の整合性を確保するために、冗長なカンマや欠けているカンマを修正。
   • エスケープされていない文字：JSON文字列の妥当性を確保するため、特殊文字を自動的にエスケープする。
   • 不完全なキーと値のペア：各キーと値のペアの整合性を保証するために、欠落しているキーまたは値を補完する。
2. JSON配列とオブジェクトの修正::
   • 不完全な配列/オブジェクト：必要な要素（カンマや括弧など）やデフォルト値（ヌルや空文字列など）を追加して修正する。
   • JSON以外の追加文字を含むデータの処理：コメントや正しく配置されていない文字をクリーンアップして、有効な構造を維持する。
3. 欠落しているJSON値の自動補完::
   • データの妥当性を確保するために、JSONフィールドに適切なデフォルト値（空文字列やNULLなど）を自動的に入力します。
4. JSON以外の文字のクリーンアップ::
   • コメントや誤って配置された文字など、JSON以外の追加文字を含むデータを、有効な構造を維持したまま処理する。

AIを始めるための素人ガイド

AIツールの活用方法を、低コスト・ゼロベースから学ぶことができます。AIはオフィスソフトと同様、誰にとっても必須のスキルです。 AIをマスターすれば、就職活動で有利になり、今後の仕事や勉強の労力も半減します。

詳細を見る