nicoboy/VASTAI-STUDIO-AUDIO
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
c27b74d75c490ea95da3823d8e69d45a8a389758
VASTAI-STUDIO-AUDIO/ARCHITECTURE-STUDIO-AI.md

7.1 KiB
Raw Blame History

🎙️ Studio IA Multimodal — Architecture & Spécifications

Version 2026 — État de l'art

1. Architecture générale

[Utilisateur navigateur]
        ↓
[Open WebUI — port 3000]
        ↓
[Ollama — Mistral Medium]
        ↓ (Tools/Functions)
   ┌────┴────┬──────────┬──────────┐
[Audio]   [Voix]    [Foley]   [Image]
port 7860  port 7861  port 7862  port 8188

2. Pile logicielle — État de l'art 2026

🎵 Génération Musicale

Modèle Forces VRAM Vitesse
Heart Mula (Jan 2026) ⭐ Morceaux 6 min, structure complète, qualité Suno 12-16 Go Lente
ACE-Step 1.5 Ultra-rapide, cohérence harmonique, idéal novices 8-12 Go Très rapide
MusicGen (Meta) Boucles 30s seulement — dépassé 8 Go Rapide

Choix recommandé : ACE-Step 1.5 pour les novices (rapidité), Heart Mula pour la qualité maximale

🎤 Voix Off (TTS)

Modèle Forces VRAM
Zonos-v0.1 (Zyphra) ⭐ 44kHz natif, tags émotion, clone voix 10s 8-12 Go
IndexTTS-2 ⭐ Contrôle milliseconde de durée, sync animation 8 Go

Choix recommandé : Les deux sont complémentaires et indispensables

  • Zonos pour la narration et les voix expressives
  • IndexTTS-2 pour la sync animation et le lip-sync

🔊 Bruitages & Foley

Modèle Forces VRAM
HunyuanVideo-Foley ⭐ Analyse vidéo → son synchronisé, révolutionnaire 12-16 Go
AudioGen (Meta) Texte seulement, pas de sync vidéo — dépassé 8 Go

Choix recommandé : HunyuanVideo-Foley uniquement — Meta est dépassé sur ce segment

🖼️ Génération Image

Modèle Forces VRAM
Flux.1 Meilleure qualité actuelle 12-16 Go
SDXL Rapide, bon écosystème LoRA 8-12 Go

💬 Chat & Code

Modèle Forces VRAM
Mistral Medium (Ollama) Chat général, orchestration outils 8-12 Go
CodeLlama (Ollama) Génération de code 8 Go

3. Ports & Services

Service Port Technologie
Open WebUI 3000 Interface unifiée
Ollama 11434 LLM (Mistral + CodeLlama)
Musique 7860 ACE-Step 1.5 + Heart Mula via ComfyUI
Voix Off 7861 Zonos-v0.1 + IndexTTS-2
Foley 7862 HunyuanVideo-Foley
Images 8188 ComfyUI (Flux.1 + SDXL)

4. Image Docker de base

Nom cible : nicoboy/studio-ai:latest

Dockerfile (à construire avec Gemini)

FROM nvidia/cuda:12.1.1-cudnn8-devel-ubuntu22.04

ENV DEBIAN_FRONTEND=noninteractive
ENV PYTHONUNBUFFERED=1

# Python 3.11
RUN apt-get update && \
    apt-get install -y software-properties-common && \
    add-apt-repository ppa:deadsnakes/ppa && \
    apt-get update && \
    apt-get install -y \
        python3.11 \
        python3.11-venv \
        python3.11-distutils \
        python3.11-dev

# Dépendances système
RUN apt-get install -y \
    ffmpeg libsndfile1 sox \
    git wget curl nano screen \
    nodejs npm \
    libgl1 libglib2.0-0

# pip pour Python 3.11
RUN curl -sS https://bootstrap.pypa.io/get-pip.py | python3.11
RUN python3.11 -m pip install --upgrade pip

# PyTorch CUDA 12.1
RUN python3.11 -m pip install \
    torch torchvision torchaudio \
    --index-url https://download.pytorch.org/whl/cu121

# Open WebUI
RUN python3.11 -m pip install open-webui

# Ollama
RUN curl -fsSL https://ollama.ai/install.sh | sh

# Dépendances audio communes
RUN python3.11 -m pip install \
    gradio \
    fastapi \
    uvicorn \
    scipy \
    soundfile \
    transformers \
    accelerate \
    diffusers

# ComfyUI dépendances
RUN python3.11 -m pip install \
    einops \
    kornia \
    spandrel

WORKDIR /root

⚠️ Points critiques pour Gemini

  1. Python 3.11 obligatoire — Open WebUI refuse Python 3.10
  2. Ne pas inclure les modèles — trop lourds, téléchargés via provisioning script
  3. Image sur DockerHub public — nécessaire pour Vast.ai
  4. CUDA 12.1 — compatible A4000 et RTX 4060 Ti
  5. Tester : docker build -t nicoboy/studio-ai . puis docker push nicoboy/studio-ai:latest

5. Provisioning Script (1er lancement ~30-45 min)

#!/bin/bash
set -eo pipefail

# --- MUSIQUE ---
# ACE-Step 1.5
pip install ace-step
# Heart Mula via ComfyUI (custom node)
git clone https://github.com/[repo]/heart-mula /root/ComfyUI/custom_nodes/heart-mula

# --- VOIX OFF ---
# Zonos
pip install zonos
# IndexTTS-2
git clone https://github.com/index-tts/indextts /root/indextts
pip install -r /root/indextts/requirements.txt

# --- FOLEY ---
# HunyuanVideo-Foley
git clone https://github.com/Tencent/HunyuanVideo-Foley /root/hunyuan-foley
pip install -r /root/hunyuan-foley/requirements.txt

# --- IMAGES ---
git clone https://github.com/comfyanonymous/ComfyUI /root/ComfyUI
pip install -r /root/ComfyUI/requirements.txt
# Télécharger Flux.1
wget -P /root/ComfyUI/models/checkpoints/ [URL_FLUX1]

# --- LLM ---
ollama serve &
sleep 5
ollama pull mistral
ollama pull codellama

# --- LANCEMENT DES SERVICES ---
screen -dmS openwebui open-webui serve --port 3000
screen -dmS ollama ollama serve
screen -dmS audio python3.11 /root/audio-api/server.py
screen -dmS comfyui python3.11 /root/ComfyUI/main.py --listen 0.0.0.0 --port 8188

env >> /etc/environment
echo "✅ Studio IA prêt !"

6. Configuration Open WebUI (à faire avec Claude)

Cette partie sera traitée après le build Docker.

6.1 Tools à créer

  • generate_music(prompt, duration, model) → ACE-Step ou Heart Mula
  • generate_voice(text, emotion, duration) → Zonos ou IndexTTS-2
  • generate_foley(video_path, prompt) → HunyuanVideo-Foley
  • generate_image(prompt, width, height) → ComfyUI/Flux.1
  • generate_code(prompt, language) → CodeLlama

6.2 System Prompt assistant

Tu es un assistant créatif expert en production multimédia.
Tu guides les novices et utilises les outils appropriés :
- generate_music : composition musicale complète
- generate_voice : voix off avec émotion contrôlée  
- generate_foley : bruitages synchronisés avec vidéo
- generate_image : génération d'images
- generate_code : écriture de code

Tu poses des questions précises avant de générer,
et tu proposes des ajustements après chaque création.

7. Estimation disque production

Élément Taille
Image Docker ~15 Go
Modèles LLM (Mistral + CodeLlama) ~12 Go
Modèles Audio (ACE-Step, Heart Mula, Zonos, IndexTTS-2) ~15 Go
HunyuanVideo-Foley ~8 Go
ComfyUI + Flux.1 ~15 Go
Données utilisateurs + outputs ~10 Go
Total ~75 Go

✅ 130 Go = confortable ⚠️ Si on ajoute SDXL + LoRA : prévoir 200 Go

8. Checklist projet

  • Architecture définie
  • État de l'art 2026 intégré
  • Dockerfile → Gemini
  • Build + push DockerHub
  • Mise à jour template Vast.ai
  • Provisioning script final
  • Configuration Open WebUI → Claude
  • Tools AudioCraft/Foley/TTS → Claude
  • System Prompts → Claude
  • Tests utilisateur