인스턴스어셈블 - 리틀 레드북과 푸단대학교 오픈 소스 레이아웃 제어 생성 기술

인스턴스어셈블이란?

인스턴스어셈블은 샤오홍슈와 푸단대학교가 공동으로 오픈소스화한 레이아웃 제어 생성 기술로, '인스턴스 어셈블 주의' 메커니즘을 통해 단순한 레이아웃에서 복잡한 레이아웃, 희박한 레이아웃에서 조밀한 레이아웃까지 정확한 이미지 생성을 실현합니다. 2단계 캐스케이드 아키텍처를 채택하여 먼저 이미지 배경을 생성한 다음 레이아웃의 인스턴스 정보를 하나씩 통합합니다. 서로 다른 인스턴스 간의 간섭을 피하기 위해 독립적인 주의 메커니즘을 사용하여 겹치거나 작은 물체와 같은 복잡한 레이아웃을 효과적으로 처리할 수 있으며, 인스턴스어셈블은 LoRA 모듈을 통해 경량 적응을 수행하므로 적은 수의 매개 변수만 추가하고 전체 모델을 다시 학습할 필요가 없어 계산 비용을 크게 절감하는 동시에 추론 속도를 향상시킬 수 있습니다. 다중 모드 입력이 지원되며 각 인스턴스는 텍스트 설명이나 이미지 정보로 보강할 수 있습니다.

인스턴스어셈블의 특징

• 정밀한 레이아웃 제어혁신적인 인스턴스 조립 주의 메커니즘은 이미지에서 각 대상 개체의 위치, 모양 및 의미적 속성을 정밀하게 제어하여 생성된 이미지가 특히 복잡한 장면(예: 고밀도 다중 인스턴스 레이아웃)에서 주어진 레이아웃 지침(예: 경계 상자, 텍스트 설명)과 잘 정렬되도록 보장합니다. 이는 복잡한 시나리오(예: 고밀도 다중 인스턴스 레이아웃)에서 특히 그렇습니다.
• 캐스케이드 아키텍처 설계캐스케이드 구조는 기본 모델을 사용하여 글로벌 이미지 배경과 전체 컨텍스트를 생성한 다음, 인스턴스 어셈블리 모듈을 통해 글로벌 품질과 로컬 정렬을 고려하고 인스턴스 간의 상호 간섭을 피하면서 로컬 인스턴스 정보를 하나씩 통합하는 데 사용됩니다.
• 경량 적응모델 적응은 대규모 재학습 없이 기존 확산 모델(예: 안정 확산, 플럭스 등)을 기반으로 소량의 파라미터 증가(기본 모델의 약 3%) 만으로 레이아웃 제어 기능을 구현하는 LoRA(Low-Rank Adaptation) 기술을 기반으로 하며, 효율성과 호환성을 모두 고려했습니다.
• 멀티모달 지원텍스트, 참조 맵, 깊이 맵, 엣지 맵 등 다양한 모달 입력을 지원하며, 다양한 정보를 유연하게 조합하여 이미지를 생성하고 콘텐츠 표현을 풍부하게 할 수 있습니다.
• 오픈 소스 및 애플리케이션 잠재력오픈 소스 코드와 사전 학습된 모델을 사용하여 디자인, 광고, 콘텐츠 제작 및 기타 분야에 산업 등급 솔루션을 제공하며, 향후 지능형 조판, 가상 콘텐츠 생성 및 기타 시나리오로 확장할 수 있습니다.

인스턴스어셈블의 핵심 이점

• 정밀한 레이아웃 제어사용자가 지정한 위치와 내용에 따라 이미지를 정밀하게 생성하여 단순한 화면이나 복잡한 장면 모두에서 고정밀 레이아웃 정렬과 의미적 일관성을 유지할 수 있습니다.
• 낮은 컴퓨팅 비용LoRA를 통한 경량 적응은 적은 수의 파라미터만 추가하면 되므로 기존 접근 방식에 비해 97%의 오버헤드가 줄어들고 추론 속도가 크게 향상됩니다.
• 복잡한 레이아웃을 처리하는 기능독립적인 주의 메커니즘을 채택하여 각 대상 인스턴스의 주의 계산은 해당 이미지 영역에서만 수행되므로 서로 다른 인스턴스 간의 간섭을 효과적으로 피하고 겹치거나 작은 물체와 같은 복잡한 레이아웃 상황을 처리할 수 있습니다.
• 멀티모달 입력 지원각 인스턴스는 텍스트 설명으로 지정하거나 추가 이미지 정보(예: 참조 이미지, 심도 맵, 에지 맵 등)로 콘텐츠 표현을 강화하여 생성된 이미지의 다양성과 정확성을 향상시킬 수 있습니다.

InstanceAssemble의 공식 웹사이트는 무엇인가요?

• GitHub 리포지토리:: https://github.com/FireRedTeam/InstanceAssemble
• arXiv 기술 논문:: https://arxiv.org/pdf/2509.16691

인스턴스어셈블의 대상

• 크리에이티브 디자이너광고 디자인, 포스터 제작, UI/UX 디자인 등의 분야에서 사용하기 위해 특정 레이아웃 및 크리에이티브 요구 사항을 충족하는 이미지를 빠르게 생성해야 합니다.
• 전자 상거래 실무자제품 페이지의 매력과 사용자 경험을 향상시키기 위해 고품질 제품 디스플레이 이미지를 생성하는 데 사용됩니다.
• 게임 개발자게임 장면 디자인 및 캐릭터 생성 시 복잡한 레이아웃을 위한 이미지를 빠르게 생성하여 개발 효율성을 향상시킵니다.
• 콘텐츠 크리에이터콘텐츠의 매력과 전문성을 높이기 위해 개인화된 그래픽 콘텐츠를 생성하는 블로거, 셀프 퍼블리셔 등입니다.
• 연구 작업자인공지능과 컴퓨터 비전 분야에서 연구를 수행하며 레이아웃 제어 생성 기술의 더 많은 가능성을 모색하고 있습니다.
• 기업 마케팅 팀소셜 미디어 이미지, 홍보 포스터 등 다양한 마케팅 요구 사항을 충족하는 마케팅 자료 제작에 사용됩니다.