달마 인스티튜트의 '서치라이트' 동영상 제작 플랫폼에 대한 전체 리뷰

오늘 일찍 받았습니다."빛 검색"내부 테스트 신청이 승인되었다는 알림과 취침 전 간단한 리뷰가 게시됩니다.

이 플랫폼은 달마 연구소의 '비전 기술 역량 응용 플랫폼'으로 자리매김하고 있으며, 현재는 (출시에 비해) 애플리케이션 수가 적고 점차 더 많은 비전 애플리케이션이 오픈될 것으로 예상됩니다.

라이트 검색은 두 개의 주소로 나뉩니다:

https://xunguang.damo-vision.com/(빛을 찾는 AI)

https://damo-vision.com/ (덜 성숙한 기능을 테스트하기 위한 플랫폼처럼 보이며, 설명 마지막에 넣습니다. 여기서는 "Seek Light AI 작은 기능 테스트"라고 부릅니다.)

빛을 찾는 AI

모든 기능 목록, 화면은 단순히 넣을 수없는 모든 종류의 최신 기술을 적용하여 모든 종류의 최신 기술을 적용하려는 것처럼 보입니다.비주얼 편집기장면. Seeking Light가 이 나라의 런웨이ML .

입 제어

실제 인물, 애니메이션 이미지, 사진 및 동영상, 네 가지 유형의 자료를 각각 사용하여 입 동기화의 효과를 확인했습니다.

참고: 현재 테스트 동영상/이미지 클립 해상도의 총 픽셀 수(길이*너비)가 필요합니다(256*256 ~ 2048*2048).

일반적으로 애니메이션 이미지를 사용하면 최상의 결과를 위해 작은 비디오 루프가 생성됩니다:

테스트 효과: (약 3배 압축)

이미지를 사용하여 다시 생성합니다:

애니메이션 캐릭터의 얼굴 조명 문제, 입 동기화 후 부자연스러운 얼굴 조명.

라이브 액션 이미지를 사용하여 다시 생성합니다(라이브 액션 비디오를 시도하지 않으면 전체적인 결과가 단일 캐릭터 이미지보다 조금 더 나아지게 됩니다):

표현식 제어

이미지 또는 동영상 속 인물의 표정을 정확하게 제어하여 표정 템플릿과 일치하는 동영상을 생성할 수 있습니다.

테스트 효과:

미러 제어

테스트 효과:

움직임이 약간 커서 캡처한 이미지의 마지막 몇 프레임이 제대로 렌더링되지 않은 것을 볼 수 있습니다:

대상 제거

동영상에서 클립 제거, 스마트한 선택, 프레이밍 및 지우기 기능을 제공합니다. 여기에서는 정적 대상을 제거하려고 시도하지만 정적 대상은 배경이 약간 더 복잡합니다.

과속하는 자동차, 걷는 보행자, 거울 속의 정지된 물체 등 스스로 급격하게 움직이는 요소를 제거할 수 있습니다.

테스트 효과

스타일 변경

동영상을 올리지 않으면 화면이 깜빡이는 등 결과가 약간 나쁘기 때문에 조금 더 나은 이미지를 가로채서 보여드립니다.

빛을 찾는 AI 미니 기능 테스트

로그인 후 홈페이지로 이동하면 가상 드레싱과 자세 편집 기능만 볼 수 있으며, 아직은 비교적 기본적인 기능입니다.

홈페이지에 표시되는 3D 생성 기능을 사용하려면 별도의 애플리케이션이 필요합니다.

가상 드레스업 리뷰

먼저 작은 옷을 입고 있는 젊은 여성의 긍정적인 표정을 살펴봅시다. 여기에서는 의상에 손이 제대로 표시된 것을 볼 수 있습니다. 그러나 그 큰 부분은 모델에 의해 제한될 수 있으며 일반적으로 원래 캐릭터의 체형에 따라 축소되어 처리되지 않았으며 피부색이 변경되었습니다.

이전에는 단일 긴 의상을 테스트한 다음 실시간 짧은 상의와 하의 효과를 테스트했습니다:

롱 플러스 하의가 긴 치마를 바지 안으로 집어넣지 않을까 걱정하시는 분도 계실 것 같은데요. 그러지 마세요...

자세 편집기

이번에는 전문 모델을 사용하여 자세를 조정합니다. 모델의 사진을 업로드한 후 첫 번째 단계는 "골격을 잡는 것"입니다.

스켈레톤 노드를 드래그하고 모델이 허리를 꼬집게 하면 제대로 작동하지 않습니다.

손이 퍼지는 효과를 내기 위해 뼈대를 계속 끌어서 놓았지만 손 뼈는 자체적으로 밀고 놓는 것으로 조정할 수 없습니다.

스켈레톤 포즈 템플릿을 사용하면 여기에서 템플릿의 '손 스켈레톤'이 변경되고 올바른 손이 생성되는 것을 확인할 수 있습니다.

포즈 템플릿을 사용할 때 '효과 업그레이드'를 선택하면 이미지 품질을 크게 향상시킬 수 있습니다.

효과 업그레이드 전: (비교하기 쉽도록 일부러 더 못생긴 것 중 하나를 무작위로 골라 10개 선택)

효과가 업그레이드됩니다: