audio_codebuddy/docs/pixelle-video-integration.md

Pixelle-Video 融合方案

📅 记录日期：2026-06-05 📌 状态：已规划，待开发

---

📋 方案概述

将 Pixelle-Video（21.4k Stars AI 视频生成引擎）融合到现有项目中。

用户配置

• 硬件：8G 内存，无 GPU
• TTS：项目已有多种模型可用（Edge-TTS、通义千问等）
• 方案：推荐方案 A + C（API 集成 + 能力融合）

---

🏗️ 架构设计

┌──────────────────────────────────────────────────────────┐
│                      UniApp 前端                         │
│                   (my-uniapp-vue3/)                      │
└─────────────────────┬────────────────────────────────────┘
                      │ HTTP
                      ▼
┌──────────────────────────────────────────────────────────┐
│                   Nest.js 后端                           │
│                   (server/)                              │
│  ┌─────────────────────────────────────────────────────┐ │
│  │  模块: pixelle-video/                               │ │
│  │  ├── pixelle-video.controller.ts  ✅ 已创建          │ │
│  │  ├── pixelle-video.service.ts   ✅ 已创建            │ │
│  │  └── pixelle-video.types.ts     ✅ 已创建            │ │
│  └─────────────────────────────────────────────────────┘ │
└────────────┬──────────────────────┬──────────────────────┘
             │                      │
             ▼                      ▼
┌────────────────────┐    ┌────────────────────────────────┐
│  你的 TTS 服务       │    │     Pixelle-Video 微服务        │
│  (Edge-TTS 等)      │    │     (独立部署，端口 8501)        │
│  ✅ 已有            │    │     📋 待部署                   │
└────────────────────┘    └────────────────────────────────┘

---

📁 已完成工作

✅ 后端模块（已创建）

server/src/modules/pixelle-video/
├── pixelle-video.controller.ts   # API 路由
├── pixelle-video.service.ts     # 业务逻辑
├── pixelle-video.types.ts       # 类型定义
└── index.ts                     # 模块导出

✅ 前端页面（已创建）

my-uniapp-vue3/src/pages/pixelle-video/
└── index.vue                    # AI 视频生成页面

✅ 配置更新

• server/src/app.ts - 路由已注册
• server/.env.example - 配置项已添加
• my-uniapp-vue3/src/pages.json - 页面和 tabBar 已添加

---

📱 硬件适配方案

组件	推荐方案	费用	说明
LLM	通义千问 API	~0.01元/次	少量调用，成本极低
图像生成	DashScope Wan API	按量计费	可用免费额度
视频生成	❌ 跳过	-	无 GPU，暂不启用
语音合成	复用现有 TTS	免费	Edge-TTS 等

---

🚀 待部署步骤

Step 1: 部署 Pixelle-Video 服务

# 克隆项目
git clone https://github.com/AIDC-AI/Pixelle-Video.git
cd Pixelle-Video

# 安装依赖（需要 Python 3.10+）
# 需要先安装 uv: https://docs.astral.sh/uv/
uv sync

# 安装 ffmpeg
# Windows: 下载 ffmpeg.exe 并加入 PATH
# macOS: brew install ffmpeg
# Linux: sudo apt install ffmpeg

# 启动服务
uv run streamlit run web/app.py
# 访问 http://localhost:8501

Step 2: 配置环境变量

在 server/.env 中添加：

# Pixelle-Video 服务地址
PIXELLE_VIDEO_URL=http://localhost:8501

# 启用服务
PIXELLE_VIDEO_ENABLED=true

Step 3: 重启服务

# 重启后端
cd server
npm run dev

---

🔌 API 接口说明

1. 健康检查

GET /api/pixelle-video/health

Response:
{
  "code": 0,
  "message": "Pixelle-Video 服务正常",
  "data": { "status": "online" }
}

2. 生成视频内容

POST /api/pixelle-video/generate

Request:
{
  "topic": "人工智能的未来",
  "style": "科技风",
  "aspectRatio": "9:16",
  "duration": 60
}

Response:
{
  "code": 0,
  "message": "生成成功",
  "data": {
    "script": "生成的文案内容...",
    "images": ["url1", "url2"],
    "videoUrl": null,
    "duration": 60
  }
}

3. 获取支持的风格

GET /api/pixelle-video/styles

Response:
{
  "code": 0,
  "data": {
    "styles": ["科技风", "自然风", "商务风", ...]
  }
}

---

📱 前端功能预览

页面入口

• 底部导航：新增"视频生成" tab
• 独立页面：/pages/pixelle-video/index

功能列表

1. ✅ 输入视频主题
2. ✅ 选择视频风格（10种可选）
3. ✅ 选择画面比例（9:16 / 16:9 / 1:1）
4. ✅ 调用 Pixelle-Video 生成文案 + 图片
5. ✅ 使用项目 TTS 服务生成语音
6. ✅ 预览和播放

---

⚠️ 功能限制说明

由于硬件限制（8G 内存，无 GPU）：

功能	状态	说明
文案生成	✅ 可用	调用 LLM API
AI 配图	✅ 可用	调用图像生成 API
语音合成	✅ 可用	复用现有 TTS
AI 视频生成	❌ 暂不支持	需要 GPU

---

🔄 后续扩展

未来如果升级硬件，可以启用：

• WAN 2.1 视频生成模型
• 数字人口播
• 动作迁移
• 完整的视频合成功能

---

📚 参考资料

• Pixelle-Video GitHub
• Windows 一键整合包下载
• 安装指南

🎨 设计模式分析

• 详细设计模式文档