AIパーソナル・ラーニング
と実践的なガイダンス
ビーンバッグ・マースコード1
全27記事

Tags: ローカル展開 オープンソース ビッグモデル ツール

Aana SDK:简易部署多模态AI模型的开源工具-首席AI分享圈

Aana SDK: マルチモーダルAIモデルを簡単に導入できるオープンソースツール

一般的な紹介 Aana SDKはMobius Labsによって開発されたオープンソースのフレームワークで、マラヤーラム語のആന(象)にちなんで名付けられました。開発者がマルチモーダルAIモデルを迅速にデプロイ、管理できるように支援し、テキスト、画像、音声、動画、その他のデータの処理をサポートします。Aana SDKはRay Distributed...

BrowserAI:利用WebGPU在浏览器本地运行AI模型-首席AI分享圈

BrowserAI:WebGPUを使ってブラウザ上でローカルにAIモデルを実行する

一般的な紹介 BrowserAIは、ユーザーがブラウザでネイティブAIモデルを直接実行できるオープンソースツールです。Cloud-Code-AIチームによって開発され、Llama、DeepSeek、Kokoroのような言語モデルをサポートしています。ユーザーはサーバーや複雑なセットアップを必要とせず、テキスト...

LitServe:快速部署企业级通用AI模型推理服务-首席AI分享圈

LitServe:エンタープライズグレードの汎用AIモデル推論サービスの迅速な展開

包括的な紹介 LitServeは、FastAPI上に構築されたLightning AIによるオープンソースのAIモデルサービスエンジンであり、汎用AIモデル向けの推論サービスを迅速に展開することに重点を置いている。大規模言語モデル(LLM)、視覚モデル、音声モデルから...古典的な機械学習モデルを幅広くサポートする。

Nexa:本地运行的小型多模态AI解决方案-首席AI分享圈

Nexa:ローカルで動作する小型マルチモーダルAIソリューション

総合紹介 Nexa AIは、ローカルで動作するマルチモーダルAIソリューションに特化したプラットフォームです。自然言語処理(NLP)、コンピュータ・ビジョン、音声認識・生成(ASRとTTS)を含む幅広いAIモデルを提供し、そのすべてをクラウドに依存することなくデバイス上でローカルに実行することができる。

vLLM:高效内存利用的LLM推理和服务引擎-首席AI分享圈

vLLM: 効率的なメモリ利用のためのLLM推論とサービスエンジン

包括的な紹介 vLLMは、大規模言語モデリング(LLM)のために設計された、高スループットでメモリ効率の良い推論およびサービスエンジンです。もともとはUC BerkeleyのSky Computing Labによって開発されましたが、現在では学術界と産業界によるコミュニティ・プロジェクトとなっています。

ラマ3.2推論WebGPU:ブラウザでラマ3.2を動かす

一般的な紹介 Transformers.jsはHugging Faceが提供するJavaScriptライブラリで、最先端の機械学習モデルをサーバーのサポートなしにブラウザ上で直接実行できるように設計されている。このライブラリはHugging FaceのPython用transformersライブラリと同等であり、様々なプリ...

Harbor:一键部署本地LLM开发环境,轻松管理和运行AI服务的容器化工具集-首席AI分享圈

Harbor: ローカルのLLM開発環境をワンクリックでデプロイし、AIサービスを簡単に管理・実行するためのコンテナ化されたツールセット。

包括的な紹介 Harborは、ローカルAI開発環境のデプロイと管理を簡素化することに焦点を当てた、画期的なコンテナ化LLMツールセットです。開発者は、LLMバックエンド、APIインターフェース、フロントエンドインターフェースなど、すべてのAIサービスを、クリーンなコマンドラインインターフェース(CLI)とコンパニオンアプリを通じて、ワンクリックで起動・管理することができます。

Xinference:轻松实现分布式AI模型部署和服务-首席AI分享圈

Xinference: 簡単な分散AIモデルのデプロイとサービング

包括的な紹介 Xorbits Inference(略してXinference)は、言語モデル、音声認識モデル、マルチモーダルモデルの分散デプロイと配信に特化した、強力で汎用性の高いライブラリです。Xorbits Inferenceを使用すると、ユーザーは簡単に独自のモデルやビルトイン事前...

AI Dev Gallery:Windows本地AI模型开发工具集,端侧模型集成到Windows应用-首席AI分享圈

AI Dev Gallery: WindowsネイティブAIモデル開発ツールセット、Windowsアプリケーションへのエンドサイドモデルの統合

包括的な紹介 AI Dev Galleryは、Windows開発者向けに設計されたマイクロソフトのAI開発ツールアプリケーションです(現在パブリックプレビュー中)。開発者がAI機能をWindowsアプリケーションに簡単に統合するための包括的なプラットフォームを提供する。このツールの最大の特徴は...

LightLLM:高效的轻量级大语言模型推理和服务框架-首席AI分享圈

LightLLM:大規模言語モデルの推論と処理のための効率的な軽量フレームワーク

包括的な紹介 LightLLMはPythonベースのLarge Language Model(LLM)推論・サービスフレームワークで、軽量設計、拡張の容易さ、効率的なパフォーマンスで知られています。このフレームワークは、FasterTransformer、TGI、vLLM、FlashAttention ... などの有名なオープンソースの実装を活用しています。

Transformers.js:ローカルウェブで動作する約700のAIマクロモデル

一般的な紹介 Transformers.jsは、Hugging Faceによって開発されたJavaScriptライブラリであり、最先端の機械学習モデルをサーバーのサポートなしにブラウザ上で直接実行できるようにするものである。このライブラリはHugging FaceのPython用transformersライブラリと機能的に同等である。

GLM Edge:智谱发布适用于手机、车机和PC平台的端侧大语言模型和多模态理解模型-首席AI分享圈

GLMエッジ:Smart Spectrumがモバイル、自動車、PCプラットフォーム向けにエンドサイドビッグ言語モデルとマルチモーダル理解モデルをリリース

包括的な紹介 GLM-Edgeは、清華大学(Smart Spectrum Light Language)のエンドサイドデバイス向けに設計された大規模言語モデルとマルチモーダル理解モデルのシリーズです。これらのモデルには、GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B、GLM-Edge-V-5Bがあり、携帯電話、...

EXO:利用闲置家用设备运行分布式AI集群,支持多种推理引擎和自动设备发现。-首席AI分享圈

EXO:アイドル状態の家庭用デバイスを使用して分散AIクラスタを実行し、複数の推論エンジンとデバイスの自動検出をサポートする。

一般的な紹介 Exoは、日常的なデバイス(iPhone、iPad、Android、Mac、Linuxなど)を使用して独自のAIクラスタを実行することを目的としたオープンソースプロジェクトです。動的なモデル分割とデバイスの自動検出により、Exoは複数のデバイスを単一の強力なGPUに統合することができ、LLaMA、Mis...などの複数のモデルをサポートしています。

LocalAI:开源的本地AI部署方案,支持多种模型架构,WebUI统一管理模型和API-首席AI分享圈

LocalAI: オープンソースのローカルAIデプロイメントソリューション、複数のモデルアーキテクチャのサポート、モデルとAPIのWebUI統合管理

一般的な紹介 LocalAIは、OpenAIやClaudeなどと互換性のあるAPIインターフェースを提供するように設計された、オープンソースのローカルAI代替ソフトウェアです。コンシューマーグレードのハードウェア上での実行をサポートし、GPUを必要とせず、テキスト、オーディオ、ビデオ、画像生成、スピーチクローンなどの幅広いタスクを実行することができます。

llamafile:使用单个文件分发和运行 LLMs,简化LLM部署,跨平台支持LLMs-首席AI分享圈

llamafile: 単一ファイルを使ってLLMを配布・実行、LLMデプロイの簡素化、LLMのクロスプラットフォーム対応

一般的な紹介 llamafile は Mozilla Builders プロジェクトのツールで、Large Language Model (LLM) のデプロイと操作を簡単にするために設計されています。llama.cppとCosmopolitan Libcを組み合わせることで、llamafileは複雑なLLMのデプロイプロセスを単一の実行可能なファイルに縮小します。

Petals:分布式共享GPU运行和微调大语言模型,像BitTorrent网络一样共享GPU资源-首席AI分享圈

Petals:大規模言語モデルの実行と微調整をGPUで分散共有し、BitTorrentネットワークのようにGPUリソースを共有する。

一般的な紹介 Petalsは、BigScienceワークショップによって開発されたオープンソースプロジェクトで、分散コンピューティングアプローチによって大規模言語モデル(LLM)を実行します。ユーザーは、Llama 3.1、Mixtral、F...などのコンシューマーグレードのGPUやGoogle Colabを使って、自宅でLLMを実行し、微調整することができます。

Aphroditeエンジン:複数の数量化形式と分散推論をサポートする効率的なLLM推論エンジン。

包括的な紹介 アフロディーテエンジンはPygmalionAIの公式バックエンドエンジンで、PygmalionAIのサイトに推論エンドポイントを提供し、Hugging Face互換モデルの迅速な展開をサポートするように設計されています。このエンジンはvLLMのページド・アテンション・テクノロジーを活用し、効率的なK/V管理と連続バッチ処理を実現します。

llama.cpp:高效推理工具,支持多种硬件,轻松实现LLM推理-首席AI分享圈

llama.cpp: 効率的な推論ツール、複数のハードウェアをサポート、LLM推論の実装が容易

一般的な紹介 llama.cppは純粋なC/C++で実装されたライブラリで、大規模言語モデル(LLM)の推論プロセスを簡素化するように設計されています。Apple Silicon、NVIDIA GPU、AMD GPUを含む幅広いハードウェア・プラットフォームをサポートし、推論速度の向上とメモリ使用量の削減のための様々な定量化オプションを提供します。プロジェクト ...

Hyperspace(aiOS):分布式AI算力共享网络,aiOS生成式浏览器,深度知识智能体-首席AI分享圈

ハイパースペース(aiOS):分散型AI演算共有ネットワーク、aiOSジェネレーティブ・ブラウザ、ディープ・ナレッジ・インテリジェンス

概論 Hyperspaceは、世界最大のピアツーピアAIネットワークに基づく革新的なジェネレーティブ・ブラウザ(aiOS)であり、深い研究と分析のための強力なツールをユーザーに提供するように設計されている。様々なAIモデルとデータソースを統合することで、Hyperspaceは高品質なソースを利用し、情報ネットワークを迅速に生成することを可能にします。

ja日本語