PartCrafter - NU United Bytes オープンソース単体3D生成モデル

11.3K 00

PartCrafterとは？

PartCrafterは、北京大学、ByteDance、カーネギーメロン大学が共同で提案した先進的な3D生成モデルです。単一のRGB画像から、複数の意味的に明示的で幾何学的に多様な3Dメッシュパーツを一度に生成することができる。このモデルは、組み合わせ可能なポテンシャル空間と階層的な注意メカニズムにより、コンポーネントレベルでの独立した進化と大域的な一貫性を実現している。事前に訓練された3Dメッシュ拡散変換器（DiT）に基づいて、PartCrafterは生成品質と効率性に優れ、単一のオブジェクトから複雑なシーンまで、エンドツーエンドの生成をサポートします。

PartCrafterの特徴

単一ダイアグラムのマルチパート生成3Dメッシュは、1枚のRGB画像から複数の意味的に明示的で幾何学的に多様な3Dメッシュパーツを生成するユニークな手法で、従来の手法の限界を打ち破る。
複合ポテンシャルスペース各3Dパーツは切り離された潜在トークンの集合によって表現され、パーツは生成プロセス中に独立して進化することができます。
階層的注意メカニズム個々のコンポーネント内およびすべてのコンポーネント間の構造化された情報の流れをサポートし、生成プロセスにおけるグローバルな一貫性を確保し、生成品質を向上させる。
訓練済みモデルの継承事前に学習された3次元メッシュベースの拡散変換器（DiT）は、事前に学習された重み、エンコーダ、デコーダを継承し、モデル生成能力と効率をさらに向上させます。
エンド・ツー・エンドのコンポーネントを意識した生成PartCrafterは、1枚の画像から複数の3Dパーツを同時にノイズ除去することができ、個々のオブジェクトから複雑なマルチオブジェクトシーンまで、エンドツーエンドのパーツ認識生成を可能にします。
画像を事前にセグメント化する必要がない従来の方法とは異なり、PartCrafterはあらかじめ分割された画像に依存せず、1つの画像から複数のパーツを直接生成できるため、生成プロセスが簡素化されます。
高品質の結果生成生成された3Dモデルは、幾何学的構造と視覚効果に優れ、超高精細な幾何学的ディテールモデリングをサポートし、幅広いアプリケーションシナリオに適しています。
幅広いアプリケーション・シナリオゲーム開発、建築・インテリアデザイン、映画・映像制作、教育、拡張現実/仮想現実など幅広い用途に対応し、高品質な3Dアセットを迅速に生成できます。
オープンソースで機知に富むこのプロジェクトはオープンソースであり、公式ウェブサイト、GitHubリポジトリ、arXivの技術論文やその他のリソースを提供し、プレトレーニングウェイトをダウンロードして構造的に再利用することをサポートし、開発者や研究者が使用し、研究するのに便利です。

パートクラフターの強み

単一ダイアグラムのマルチパート生成明確なセマンティクスと異なるジオメトリを持つ複数の3Dパーツを、追加入力なしで単一のRGB画像から生成できます。
事前のセグメンテーションは不要あらかじめセグメンテーションされた画像に依存せず、生の画像から直接ウィジェットを生成するため、生成プロセスが簡素化され、使用の敷居が低くなります。
高品質の幾何学的ディテール微細なジオメトリと優れた視覚効果を持つ3Dモデルを生成し、UHDモデリングをサポートします。
コンポーネントに依存しない進化ポテンシャルスペースを組み合わせることで、各コンポーネントが独立して進化し、全体の一貫性を確保しながらディテールを保つことができる。
階層的な情報の流れ生成の質を向上させるために、階層的な注意メカニズムを用いて、コンポーネント間およびコンポーネント内での効果的な情報の流れを確保する。
事前に訓練されたモデルが役立つ高度な重みとアーキテクチャを継承し、生成効率と効果を向上させるために事前に学習された3Dメッシュ拡散変換器（DiT）。
エンド・ツー・エンドの発電能力1枚の画像から複雑な3Dシーンまで、エンド・ツー・エンドの生成を実現し、多様なアプリケーション・シナリオをサポートする。

PartCrafter公式サイトとは？

プロジェクトのウェブサイト:: https://wgsxm.github.io/projects/partcrafter/
Githubリポジトリ:: https://github.com/wgsxm/PartCrafter
arXivテクニカルペーパー:: https://arxiv.org/pdf/2506.05573

PartCrafterの対象者

3Dアーティストおよびデザイナーゲーム開発、映画・テレビ制作、建築ビジュアライゼーションなどの分野に適しています。
ゲーム開発者ゲームのキャラクター、小道具、シーンなどの3Dアセットを素早く生成し、ゲーム開発プロセスのスピードアップと制作コストの削減を実現します。
建築家とインテリアデザイナースキームのプレゼンテーションやクライアントとのコミュニケーションのために、建築モデルやインテリア装飾のスキームを素早く構築し、設計効率を高めます。
教育者と学生分子構造、人体解剖学などの複雑な科学的概念を示し、教育効果や学習効果を高める。
AR/VR開発者AR（拡張現実）やVR（仮想現実）アプリケーションのためのフォトリアリスティックな3Dモデルを生成し、ユーザー体験を向上させます。
研究者と開発者オープンソースのコードと事前に訓練されたモデルは、学術研究や技術革新に利用できる研究開発設備を研究者に提供します。