중국 고전 예술과 현대적 요소가 융합된 이 이미지는 북송 시대 화가 왕시맹의 '천리의 강과 산'에서 영감을 받았습니다. 이 이미지는 녹색 풍경 기법으로 구릉과 광활한 강, 풍부한 색채와 정교한 디테일을 표현한 웅장한 풍경 두루마리를 보여줍니다. 이 그림 같은 풍경 위에 강하고 힘 있는 글꼴로 'CogView4'라는 붓글씨가 은은하게 나타나며, 마치 고대 문인이 풍경을 감상하며 즉흥적으로 붓으로 그린 것처럼 먹의 농담이 적절하게 표현되어 있습니다. "CogView4"라는 글씨는 주변 풍경과 조화를 이루며 너무 갑작스럽거나 조화롭지 않고 오히려 시공간을 넘나드는 대화감을 더합니다. 전체 그림은 고전적인 풍경의 풍미를 가지고 있지만 현대 기술의 요소를 통합하여 독특한 예술적 긴장감을 선사하여 사람들이 전통적인 미학을 감상하는 동시에 현대 창의성의 충돌과 융합을 느낄 수 있도록 합니다.

오늘 저희는 최신 이미지 생성 모델인 CogView4를 공식 출시하고 오픈소스로 공개했습니다.

이 모델은 강력한 복잡한 의미 정렬 및 명령 팔로잉 기능을 갖추고 있으며, 임의 길이의 이중 언어 입력을 지원하고, 주어진 범위 내에서 임의의 해상도의 이미지를 생성하며, 강력한 텍스트 생성 기능을 갖추고 있습니다. 이 모델은 Apache 2.0 프로토콜에 따라 오픈 소스화된 최초의 이미지 생성 모델이기도 합니다.

I. 평가

DPG-Bench(밀도 높은 프롬프트 그래프 벤치마크)는 텍스트-이미지 생성 모델을 평가하기 위한 벤치마크 테스트로, 복잡한 의미 정렬 및 명령어 추종 기능 측면에서 모델의 성능에 중점을 둡니다.

DPG-Bench 벤치마크에서 종합 점수 1위를 기록하고 오픈 소스 Vincennes 그래픽 모델에서 SOTA를 달성한 CogView4-6B.

II. 임의 길이 및 임의 해상도

CogView4 모델은 임의의 길이의 텍스트 설명과 임의의 해상도의 이미지로 구성된 하이브리드 학습 패러다임을 구현합니다.

1, 이미지 위치 코딩

CogView4는 2D 회전 위치 인코딩(2D RoPE)을 사용하여 이미지의 위치 정보를 모델링하고 위치 인코딩을 보간하여 다양한 해상도에서 이미지 생성 작업을 지원합니다.

2. 확산 생성 모델링

이 모델은 다양한 해상도 이미지의 신호 대 노이즈 비율 요구 사항을 수용하기 위해 파라메트릭 선형 동적 노이즈 계획과 결합된 확산 생성을 위한 플로우 매칭 방식을 사용하여 모델링됩니다.

3, 아키텍처 디자인

DiT 모델 아키텍처 측면에서 CogView4는 이전 모델의 공유 매개변수 DiT 아키텍처를 이어받아 텍스트 및 이미지 모달리티를 위한 독립적인 적응형 LayerNorm 레이어를 별도로 설계하여 효율적인 모달리티 간 적응을 달성합니다.

4. 다단계 교육

CogView4는 기본 해상도 훈련, 팬 해상도 훈련, 고품질 데이터 미세 조정 및 사람 선호도 정렬 훈련을 포함하는 다단계 훈련 전략을 사용합니다. 이러한 단계적 훈련 접근 방식은 광범위한 이미지 분포를 포괄할 뿐만 아니라 생성된 이미지가 미적으로 매우 만족스럽고 사람의 선호도에 맞게 정렬되도록 보장합니다.

5. 교육 프레임워크 최적화

텍스트 관점에서 보면, CogView4는 더 높은 토큰 상한선을 허용하고 학습 중 텍스트 토큰 중복을 크게 줄임으로써 기존의 고정 토큰 길이 제한을 극복합니다. 훈련 캡션의 평균 길이가 200-300 토큰 범위인 경우, CogView4는 고정 512 토큰을 사용하는 기존 방식에 비해 토큰 중복성을 약 50% 줄이고 모델의 점진적 훈련 단계에서 5%-30%의 효율성 향상을 달성합니다.

이미지 관점에서 혼합 해상도 학습을 사용하면 모델이 광범위한 범위에서 임의의 해상도 생성을 지원할 수 있으므로 창작의 자유도가 크게 향상됩니다. 목표 해상도는 다음 조건만 충족하면 됩니다:

이 두 가지 모두 창작의 자유를 크게 높일 수 있습니다.

예: 매우 긴 스토리(4컷 만화)

C. 중국어 및 영어 지원

기술적 구현 측면에서 CogView4는 텍스트 인코더를 영어 전용 T5 인코더에서 이중 언어 GLM-4 인코더로 전환하고 이중 언어 그래픽 쌍으로 학습하여 CogView4 모델이 이중 언어 프롬프트 단어를 입력할 수 있도록 합니다.

지금까지 CogView4는 이중 언어 단서 단어 입력을 지원하는 최초의 오픈 소스 텍스트 생성 그래픽 모델로, 특히 중국어 단서를 이해하고 따르고 화면에 한자를 생성하는 데 능숙합니다. 이 두 가지 기능은 국내 광고, 짧은 동영상 및 기타 분야의 다양한 크리에이티브 요구에 더 적합합니다.

IV. 아파치 프로토콜

CogView4-6B 모델은 Apache2.0 프로토콜을 지원하며, 이후 ControlNet, ComfyUI 및 기타 에코 지원이 추가될 예정이며, 전체 미세 조정 툴킷 세트가 곧 제공될 예정입니다.

업데이트 CogView4 이 모델은 3월 13일 채팅글럼닷컴에서 공개될 예정입니다.