🎵 ACE-Step 1.5: Modelo Fundacional de Generación Musical Open-Source (DiT + Qwen3 LM)

🎵 ACE-Step 1.5 — Modelo Fundacional de Generación Musical Open-Source

Síntesis Musical de Calidad Comercial en Hardware de Consumo (< 4 GB VRAM)

ACE-Step 1.5 (desarrollado conjuntamente por ACE Studio y StepFun, 2026) es un modelo fundacional de generación y edición musical de código abierto bajo licencia MIT. Combina un modelo de lenguaje (Qwen3 LM) como planificador cognitivo de letras, estructura y metadatos con un Diffusion Transformer (DiT) para sintetizar canciones completas de hasta 10 minutos.

Genera una pista musical completa en < 2 segundos en una GPU A100 y en < 10 segundos en una RTX 3090, funcionando localmente con menos de 4 GB de VRAM (con cuantización INT8 y CPU offload).

• 💻 Repositorio Oficial: github.com/ace-step/ACE-Step-1.5
• 📄 Paper Técnico: arXiv:2602.00744
• 🌐 Demostración Web Gratuita: acemusic.ai · Hugging Face Space
• 🔗 Conexiones IA en la Bóveda: Kokoro TTS (Síntesis de Voz 82M) · FLUX.2 (Generación Visual) · MOC General

---

🧭 Arquitectura Híbrida: LM Planner + Diffusion Transformer (DiT)

A diferencia de modelos anteriores que generaban audio directamente sin estructura musical previa, ACE-Step 1.5 introduce una arquitectura en dos fases desacopladas:

flowchart TD
    User["📝 Prompt del Usuario / Audio de Referencia\n(Género, BPM, estado de ánimo, letra)"] --> LM["🧠 1. Language Model Planner (Qwen3)\n(0.6B / 1.7B / 4B con Chain-of-Thought)"]
    
    subgraph CoT["🎼 Blueprint Musical Sintetizado por el LM"]
        Meta["📊 Metadatos: Clave, BPM, Instrumentación"]
        Lyrics["✍️ Letra Estructurada: Intro, Verso, Coro, Puente, Outro"]
        Captions["🏷️ Condicionamiento Semántico por Segmento"]
    end
    
    LM --> CoT
    CoT --> DiT{"⚡ 2. Diffusion Transformer (DiT)\n(Modelos 2B o XL 4B • Turbo 8 pasos o Base 50 pasos)"}
    RefAudio["🎵 Audio Opcional (Covers / Repaint / Stems)"] --> DiT
    
    DiT --> VAE["📦 Vocoder / Audio Autoencoder"]
    VAE --> Song["🎧 Canción Estéreo Completa (WAV / MP3)\n(Voz realista + Instrumentación multi-pista en 50+ idiomas)"]

1. LM Planner (Cerebro Compositor): Basado en variantes especializadas de Qwen3 (0.6B, 1.7B y 4B). Realiza reescritura de consultas (query rewriting), desglosa la canción en secciones (Intro, Verso, Estribillo, Solo, Outro), genera rimas coherentes y crea un blueprint musical guiado por Chain-of-Thought (CoT).
2. Diffusion Transformer (Motor Acústico): Decodifica los tokens latentes en ondas sonoras de alta resolución. Admite variantes Turbo de 8 pasos para velocidad instantánea o Base de 50 pasos para máxima fidelidad y fine-tuning.

---

🦁 Model Zoo: Catálogo de Modelos DiT y LM

1. Modelos DiT Principales (2B Parámetros)

Modelo DiT	Pasos	CFG	Text2Music	Cover	Repaint	Extract (Stems)	Calidad	VRAM Mínima	Hugging Face
acestep-v15-turbo	8	❌	✅	✅	✅	❌	Muy Alta	~4 - 6 GB	HF Repo
acestep-v15-sft	50	✅	✅	✅	✅	❌	Alta	~6 - 8 GB	HF Repo
acestep-v15-base	50	✅	✅	✅	✅	✅	Media	~6 GB	HF Repo

2. Modelos XL DiT (4B Parámetros — Lanzamiento Abril 2026)

Incorporan un decodificador DiT de 4 mil millones de parámetros (~9 GB en bf16) para calidad de audio de nivel estudio discográfico:

• acestep-v15-xl-turbo: 8 pasos, máxima fidelidad auditiva. Requiere $\ge 12\text{ GB}$ VRAM (con offload) o $\ge 20\text{ GB}$ (sin offload).
• acestep-v15-xl-sft: 50 pasos con Supervised Fine-Tuning.
• acestep-v15-xl-base: 50 pasos, ideal para modularidad Lego y extracción de stems.

3. Modelos LM Planner (Qwen3)

Modelo LM	Base	Razonamiento CoT	Comprensión de Audio	Capacidad de Composición
acestep-5Hz-lm-0.6B	Qwen3-0.6B	✅	Media	Media (Ideal para GPUs de 6-8 GB)
acestep-5Hz-lm-1.7B	Qwen3-1.7B	✅	Media	Alta (Equilibrio perfecto en 8-16 GB)
acestep-5Hz-lm-4B	Qwen3-4B	✅	Fuerte	Sobresaliente (Imita melodías complejas)

---

🎛️ Capacidades Avanzadas de Edición y Composición

Superpoderes de Edición Más Allá del Simple Text-to-Music

1. Cover Generation: Toma una melodía o pista de voz existente y la reinterpreta por completo en otro género musical (ej. de balada acústica a Synthwave o Rock Progresivo) manteniendo la progresión melódica.
2. Audio Repainting (Inpainting Acústico): Permite seleccionar un compás o sección temporal defectuosa de la canción y re-generar únicamente esos segundos sin alterar el resto de la pista.
3. Vocal-to-BGM / Complete: Si tienes una pista a capela o un tarareo grabado con el teléfono, ACE-Step compone y orquesta el acompañamiento instrumental completo adaptado al tempo y tono.
4. Stem Extraction: Separa o extrae elementos aislados (bajo, batería, sintetizadores o voz principal).
5. Multilingüe Real (50+ Idiomas): Pronunciación nativa y métrica lírica en español, inglés, japonés, chino, coreano, francés, entre otros.

---

💾 Requisitos de Hardware y Guía de Elección de VRAM

VRAM de tu GPU	DiT Recomendado	LM Planner Recomendado	Backend	Notas de Despliegue
$\le$ 6 GB	2B turbo	Desactivado (solo DiT)	PyTorch	Cuantización INT8 + Full CPU Offload
6 - 8 GB	2B turbo	acestep-5Hz-lm-0.6B	PyTorch	LM ligero con descarga secuencial
8 - 16 GB	2B turbo / sft	0.6B (8-12GB) / 1.7B (12-16GB)	vLLM	Generación ultra veloz en tiempo real
16 - 20 GB	2B sft o XL turbo	acestep-5Hz-lm-1.7B	vLLM	Calidad de estudio; XL usa CPU offload si $<20\text{GB}$
$\ge$ 24 GB (3090/4090)	XL turbo	acestep-5Hz-lm-4B	vLLM	Modelo completo en VRAM sin offload; inferencia en $<10\text{ s}$

---

⚡ Instalación Rápida con uv en Linux Mint / Ubuntu

El proyecto utiliza uv (el gestor de entornos de Python ultrarrápido en Rust):

Puesta en Marcha Local con Gradio UI y API REST

# 1. Instalar uv (si no lo tienes en el sistema)
curl -LsSf https://astral.sh/uv/install.sh | sh
source ~/.bashrc
 
# 2. Clonar el repositorio oficial
git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5
 
# 3. Sincronizar dependencias automáticamente
uv sync
 
# 4. Opción A: Lanzar interfaz web interactiva en Gradio (descarga modelos en el primer inicio)
uv run acestep
# Abrir en navegador: http://localhost:7860
 
# 5. Opción B: Lanzar servidor de API REST para producción
uv run acestep-api --port 8001
# Swagger Docs en: http://localhost:8001/docs

---

🔨 Entrenamiento Ligero: LoRA y Side-Step

ACE-Step 1.5 democratiza el entrenamiento personalizado:

• Entrenamiento con 1 Clic en Gradio: Pestaña LoRA Training en la interfaz web; sube de 3 a 5 canciones de tu estilo propio y genera un adaptador LoRA en pocos minutos.
• Side-Step Toolkit: Herramienta avanzada por CLI (koda-dernet/Side-Step) con adaptadores LoKR, optimización extrema de VRAM y análisis de gradientes para productores profesionales.

---

🔬 Benchmark de Rendimiento (profile_inference.py)

Incluye una utilidad nativa para medir latencias desglosadas por componente (LLM, DiT y VAE):

# Perfilado de una sola ejecución
python profile_inference.py
 
# Matriz completa de benchmarking
python profile_inference.py --mode benchmark

---

🔗 Conexiones en la Bóveda

• 🎙️ Audio & Voz con IA: Kokoro TTS: Motor Ligero de Voz 82M
• ⚡ Generación Visual: FLUX.2: Modelos Klein y Dev
• 🧠 Modelos Fundacionales: Google Gemini 4 Argon · Modelos IA & Prompts
• 🐧 Entorno de Sistema: MOC Linux Mint & Herramientas