ChronoEdit: NVIDIA y la Universidad de Toronto abren un marco de edición de imágenes basado en IA

Qué es ChronoEdit

ChronoEdit, un marco de edición de imágenes de IA de código abierto desarrollado conjuntamente por NVIDIA y la Universidad de Toronto, redefine la tarea de edición de imágenes como una tarea de generación de vídeo para garantizar la coherencia temporal y física de los resultados de edición. Al destilar el conocimiento temporal a priori de un modelo de generación de vídeo preentrenado con 14B parámetros, ChronoEdit divide el proceso de inferencia en dos fases: inferencia de vídeo y edición contextual, lo que permite la edición de imágenes impulsada por la inferencia temporal. Admite tareas de edición complejas como la transformación del punto de vista, la rotación de la pose y la simulación de interacciones físicas.

Características de ChronoEdit

• Edición de imágenes basada en la inferencia temporalredefine la tarea de edición de imágenes como una tarea de generación de vídeo, garantiza la coherencia temporal y física de los resultados de la edición mediante el razonamiento temporal y es capaz de gestionar tareas de edición complejas, como transformaciones del punto de vista, rotaciones de pose y simulaciones de interacción física.
• Arquitectura personalizada del transformador de difusión de denostación temporal: Un modelo de generación de vídeo preentrenado basado en un parámetro 14B permite una inferencia eficaz y unos resultados de edición de alta calidad.
• Soporte para edición de imágenes con conciencia física y simulación del mundo basada en condiciones de acción.La interacción física y los cambios de movimiento pueden simularse para que los resultados de la edición sean más realistas y naturales.
• Completo marco de código abierto: Proporciona inferencia mediante difusores y ajuste fino de LoRA mediante DiffSynth-Studio, soportando inferencia distribuida y ajuste fino a gran escala.
• Pesos de modelos múltiples y marcos de formaciónLas pesas modelo están disponibles en diferentes escalas como ChronoEdit-14B y ChronoEdit-2B, así como pesas modelo LoRA de destilación de 8 pasos para satisfacer las necesidades de diferentes usuarios.
• Operaciones de línea de comandos fáciles de usar: Con sencillos comandos de línea de comandos, los usuarios pueden realizar rápidamente tareas de edición de imágenes de alta calidad sin necesidad de configuraciones y operaciones complejas.

Principales ventajas de ChronoEdit

• Mecanismos innovadores de razonamiento temporalEl programa de edición de imágenes de la Comisión Europea resuelve el problema de la incoherencia, habitual en la edición tradicional de imágenes, transformando la edición de imágenes en una tarea de generación de vídeo y utilizando el razonamiento temporal para garantizar la coherencia temporal y física de los resultados de la edición.
• Potente base de modelos preentrenadosUn modelo de generación de vídeo preentrenado basado en un parámetro 14B con potentes capacidades generativas y un rico conocimiento a priori de la temporización, capaz de manejar tareas de edición complejas como la transformación del punto de vista, la rotación de la pose y la simulación de la interacción física.
• Eficacia de la inferencia: Desenmascaramiento mediante difusión temporal personalizada Transformador Gracias a su arquitectura y a su proceso de inferencia optimizado, ChronoEdit es capaz de alcanzar una velocidad de inferencia eficiente, manteniendo al mismo tiempo un resultado de alta calidad.
• Soporte para percepción física y simulación de movimientoLa capacidad de simular interacciones físicas y cambios de movimiento hace que los resultados de edición sean más realistas y naturales para tareas avanzadas de edición de imágenes que requieren coherencia física.
• Capacidad de ajuste flexibleLoRA: gracias a la posibilidad de ajustar LoRA mediante DiffSynth-Studio, los usuarios pueden personalizar el entrenamiento del modelo para adaptarlo a sus necesidades en tareas de edición y conjuntos de datos específicos.
• Completo marco de código abiertoEl código de entrenamiento e inferencia completo, compatible con la inferencia distribuida y el ajuste fino a gran escala, proporciona a los investigadores y desarrolladores potentes herramientas para facilitar la investigación y el desarrollo.
• fácil de usar: Con sencillas operaciones de línea de comandos, los usuarios pueden realizar rápidamente tareas de edición de imágenes de alta calidad sin necesidad de configuraciones y operaciones complejas, lo que reduce el umbral de uso.
• Múltiples opciones de modelosLas pesas modelo están disponibles en diferentes escalas como ChronoEdit-14B y ChronoEdit-2B, así como pesas modelo LoRA de destilación en 8 pasos, para satisfacer las necesidades diversificadas de los diferentes usuarios en términos de rendimiento y consumo de recursos.

¿Cuál es la web oficial de ChronoEdit?

• Página web del proyecto:: https://research.nvidia.com/labs/toronto-ai/chronoedit/
• Repositorio Github:: https://github.com/nv-tlabs/ChronoEdit
• Biblioteca de modelos HuggingFace:: https://huggingface.co/nvidia/ChronoEdit-14B-Diffusers
• Documento técnico arXiv:: https://arxiv.org/pdf/2510.04290

¿A quién va dirigido ChronoEdit?

• Editores profesionales de imágenesChronoEdit ayuda a fotógrafos, diseñadores gráficos, etc., que necesitan realizar una edición de imágenes de alta calidad y tienen grandes exigencias en cuanto a la consistencia física y el realismo de los resultados de la edición, a realizar tareas complejas de edición de imágenes, como cambios de perspectiva, ajustes de pose, etc., de una manera más eficiente.
• Creadores de contenidos de vídeoChronoEdit proporciona a los creadores de vídeo una cómoda herramienta para convertir las tareas de edición de imágenes en tareas de generación de vídeo, garantizando la coherencia de las imágenes editadas en la secuencia temporal.
• Investigadores en inteligencia artificialChronoEdit: ChronoEdit proporciona un marco completo de código abierto y una variedad de pesos de modelo, que pueden ser utilizados por los investigadores para continuar con la investigación y el desarrollo, explorando más posibilidades en el campo de la edición de imágenes y la generación de vídeo, como la mejora de las arquitecturas de modelo y la optimización de los algoritmos de inferencia.
• Ingeniero de aprendizaje automáticoLa inferencia distribuida y el ajuste fino a gran escala pueden realizarse utilizando el marco de formación y la base de código de ChronoEdit para adaptarse a escenarios de aplicación y conjuntos de datos específicos con el fin de desarrollar una solución de edición de imágenes que satisfaga necesidades concretas.
• Desarrolladores interesados en la edición de imágenes y la tecnología de IA: La facilidad de uso y las potentes funciones de ChronoEdit lo convierten en una herramienta ideal para que los desarrolladores aprendan y practiquen técnicas de edición de imágenes, se pongan al día rápidamente con sencillas operaciones de línea de comandos y exploren la aplicación de la IA en la edición de imágenes.