PiT: herramienta para unir imágenes completas a partir de partes de imágenes (no abierta)

Introducción general

PiT (Piece it Together) es una herramienta de código abierto alojada en GitHub y desarrollada por investigadores como Elad Richardson, de la Universidad de Tel Aviv. Permite a los usuarios introducir fragmentos de una imagen, como alas, peinados u ojos, y luego utilizar técnicas de inteligencia artificial para generar una imagen completa. PiT elimina la necesidad de descripciones textuales, utilizando las partes de la imagen como entrada, y se basa en un modelo preentrenado, IP-Prior, para rellenar las piezas que faltan, y finalmente renderiza el resultado mediante SDXL. Esta herramienta es idónea para que diseñadores visuales o investigadores reconstruyan rápidamente ideas creativas. El código y la descripción más recientes de PiT a 25 de marzo de 2025 pueden consultarse en GitHub.

Lista de funciones

• rompecabezas: Entrada de partes fragmentadas de la imagen para generar una imagen completa.
• Atención al detalle: Las imágenes complementarias se mantienen constantes en todo momento, en función de las características de la pieza.
• Entrada de imagen pura: No se necesitan instrucciones de texto, sólo imágenes para funcionar.
• Múltiples resultadosSoporte para diferentes números de piezas, generando una amplia gama de imágenes posibles.
• proyecto de código abiertoEl código está disponible públicamente en GitHub y puede descargarse y modificarse libremente.
• Estilos disponibles: Admite la generación de imágenes de estilos específicos mediante el ajuste IP-LoRA.
• adaptación del dominio: Se pueden utilizar distintos modelos de IP-Prior para generar imágenes adecuadas a temas específicos.

Utilizar la ayuda

PiT es un proyecto de código abierto en GitHub para usuarios con conocimientos básicos de programación. Aquí tienes una guía detallada de instalación y uso que te ayudará a empezar rápidamente.

Proceso de instalación

1. Preparar el entorno
   • Asegúrate de que tu ordenador tiene Python 3.8 o superior.
   • Instalación de Git (Windows desde git-scm.com Descargar, Entrada Mac/Linux git --version (Jaque).
   • Se recomienda utilizar un dispositivo con GPU (por ejemplo, tarjeta gráfica NVIDIA con CUDA) para acelerar la generación. Se puede utilizar sin GPU, pero es más lento.
2. Descargar código
   • Abra un terminal o una línea de comandos.
   • Introduzca el comando para descargar PiT:

     git clone https://github.com/eladrich/PiT.git
     

   • Vaya a la carpeta del proyecto:

     cd PiT
     

3. Instalación de dependencias
   • El proyecto requiere bibliotecas Python como torchynumpyLa lista está en requirements.txt Medio.
   • Ejecute el comando para instalar:

     pip install -r requirements.txt
     

   • Si no dispone de este archivo, consulte el LÉAME para instalarlo. diffusersytransformers etc.
4. Obtener el modelo
   • PiT se basa en los modelos IP-Prior e IP-Adapter+, los enlaces de descarga están en GitHub o en el documento (https://arxiv.org/abs/2503.10365).
   • Coloca el modelo en el directorio especificado (por ejemplo models/), consulte README para conocer la ruta.
5. Instalación de SDXL
   • PiT renderiza imágenes con SDXL. Instalación diffusers::

     pip install diffusers
     

   • Descarga el modelo SDXL de Hugging Face y guárdalo localmente.

Utilización

1. Preparar las piezas
   • Se recomienda recopilar partes de imágenes (por ejemplo, orejas, logotipos) en formato PNG con un fondo limpio.
   • En la carpeta de entrada del proyecto (por ejemplo input/).
2. programa de carrera
   • Introduzca el directorio PiT en el terminal.
   • Ejecute el script (suponiendo que generate.py(consulte el archivo README para obtener más información):

     python generate.py --input_dir input/ --output_dir output/
     

   • Descripción de los parámetros:
     • --input_dirCarpeta de piezas.
     • --output_dir: Los resultados se guardan en la carpeta.
   • El programa genera la imagen completa con la pieza.
3. Ver la imagen
   • Después de generar, abra el output/ Vista de carpetas.
   • Si no está satisfecho, añada más piezas o cambie la imagen clara.

Función destacada Operación

• Número de piezas
  Puede introducir 1 o más partes. Por ejemplo, introduzca "pata" y "cola" para generar un animal completo. Es mejor tener el mismo estilo de partes.
• estilismo
  Las señales de estilo pueden añadirse con IP-LoRA. Ejemplo:

  python generate.py --input_dir input/ --output_dir output/ --prompt "卡通风格"
  

  Así es posible generar imágenes caricaturescas.

• (matem.) modelo de dominio conmutativo
  PiT admite diferentes modelos de IP-Prior (por ejemplo, juguetes, criaturas). El archivo de modelo correspondiente se carga al cambiar, ver README para el funcionamiento.
• Resultados de la optimización
  Si la imagen es borrosa, compruebe si la parte es clara o añada parámetros:

  python generate.py --input_dir input/ --steps 50
  

advertencia

• Las piezas deben ser claras y evitar ser demasiado pequeñas o recargadas.
• La primera carrera es lenta, las siguientes serán rápidas.
• En caso de error, instale las bibliotecas que faltan.

Estos pasos le ayudarán a montar una imagen completa con PiT. La operación requiere programación, pero el proceso es sencillo.

escenario de aplicación

1. Inspiración en el diseño
   Los diseñadores introducen piezas (por ejemplo, alas, sombreros) para componer personajes completos y probar ideas rápidamente.
2. Concepto de producto
   Los desarrolladores utilizan piezas (por ejemplo, botones, formas) para generar nuevas imágenes de productos y explorar direcciones de diseño.
3. Aprendizaje técnico
   Los investigadores utilizaron PiT para probar cómo la IA puede desconcertar a partir de piezas para comprender los principios de la generación de imágenes.

CONTROL DE CALIDAD

1. ¿Cuál es la diferencia entre PiT y otras herramientas?
   PiT es un puzzle directo con piezas de imagen, sin texto, adecuado para la creación visual.
2. ¿Hay que entrenar el modelo?
   No es necesario, hay modelos oficiales preentrenados, pero puedes entrenarlos y ajustarlos tú mismo.
3. ¿Es rápido de generar?
   No es rápido, tarda de unos segundos a unos minutos dependiendo del dispositivo.