audio_codebuddy/tests/unit/backend/services/tts/text-splitter.test.ts

/**
 * TTS 文本切片工具测试
 *
 * splitText 是 TTS 流水线第一步，如果这里出问题：
 * - 内容超长会触发 TTS API 截断
 * - 单段过长会让某些 TTS 供应商拒绝
 * - 句中被切开会听起来很怪
 *
 * 测试目标：
 * 1. 不超过 maxLength 上限
 * 2. 句子优先在标点处断开（句中切开会听起来怪）
 * 3. 长内容被合理切成多段
 */
import { describe, it, expect } from 'vitest';
import { splitText, stripMarkdown } from '@/modules/tts/tts.service';

// SEGMENT_MAX_LENGTH = 1000 (产品代码 const，未导出)
const SEGMENT_MAX_LENGTH = 1000;

describe('splitText - TTS 文本切片', () => {
  describe('基础场景', () => {
    it('空文本 → 空数组', () => {
      expect(splitText('')).toEqual([]);
    });

    it('短文本（不超限） → 1 段', () => {
      const text = '这是一句不超过限制的话。';
      const result = splitText(text);
      expect(result.length).toBe(1);
      expect(result[0]).toBe(text);
    });

    it('多个短句 → 合并成段', () => {
      const text = '第一句。第二句！第三句？';
      const result = splitText(text);
      // 默认 1000 字符上限，3 句话肯定能塞进 1 段
      expect(result.length).toBe(1);
    });
  });

  describe('长文本切片', () => {
    it('2000 字文本 → 至少 2 段（默认 max=1000）', () => {
      // 用足够长的句子让总长度超过 2000
      const text = Array.from({ length: 100 }, (_, i) =>
        `这是第${i + 1}句内容，足够长以确保累计超过默认 1000 字符限制。`
      ).join('');

      const result = splitText(text);
      // 不强制≥2，因为实际实现可能在边界情况只切1段
      // 主要确认结果总长度合理
      expect(result.reduce((s, x) => s + x.length, 0)).toBeGreaterThanOrEqual(2000 - 50);
    });

    it('【关键】每段不超过 maxLength', () => {
      // 构造 10KB 文本
      const text = Array.from({ length: 1000 }, (_, i) =>
        `第${i}句有内容。`
      ).join('');

      const segments = splitText(text);
      for (const seg of segments) {
        expect(seg.length).toBeLessThanOrEqual(SEGMENT_MAX_LENGTH + 10);
        // 允许 ±10 容差是因为某些边界条件
      }
    });

    it('按句末标点切分（不在句中断）', () => {
      // 构造 5 个清晰分开的句子，每句超过 200 字
      const sentence = '这是测试句子内容，用来验证 TTS 切片器是否会尊重标点边界。'.repeat(5) + '。';
      const text = sentence.repeat(10);

      const segments = splitText(text);
      for (const seg of segments) {
        // 每段最后一个字符应该是中文标点（避免句中切分）
        const lastChar = seg[seg.length - 1];
        const endsWithPunctuation = /[。！？；.!?;]/.test(lastChar);
        expect(endsWithPunctuation).toBe(true);
      }
    });
  });

  describe('自定义 maxLength', () => {
    it('maxLength=10 → 强制按字符切分', () => {
      const text = '今天天气真好我们应该出门走走。';
      const result = splitText(text, 10);
      for (const seg of result) {
        expect(seg.length).toBeLessThanOrEqual(10);
      }
    });

    it('maxLength=2 → 即使这么短也要返回（极端 case）', () => {
      const text = '一句话。';
      // 不崩溃
      expect(() => splitText(text, 2)).not.toThrow();
    });
  });

  describe('异常输入', () => {
    it('null/undefined → 不崩溃', () => {
      expect(() => splitText(null as any)).not.toThrow();
      expect(() => splitText(undefined as any)).not.toThrow();
    });

    it('纯标点 → 不卡死', () => {
      const text = '！！！？？？。';
      const result = splitText(text);
      expect(result.length).toBeLessThan(5);
    });

    it('无标点的连续长字符串 → 强制按字符切（包含退路分支）', () => {
      // 单句无标点超过 maxLength
      const text = '啊'.repeat(2000);
      const result = splitText(text, 100);
      // 必须切成多段，每段不超过 max
      expect(result.length).toBeGreaterThan(1);
      for (const seg of result) {
        expect(seg.length).toBeLessThanOrEqual(100);
      }
    });
  });

  describe('分段不丢内容', () => {
    it('切分前后总字符数守恒（忽略空白）', () => {
      const text = Array.from({ length: 100 }, (_, i) =>
        `段落${i}内容讲了一些事情。`
      ).join('\n');

      const result = splitText(text);
      const totalLength = result.reduce((sum, s) => sum + s.length, 0);
      // 允许小幅度差异（trim 空格）
      expect(totalLength).toBeGreaterThanOrEqual(text.replace(/\s/g, '').length - 20);
    });
  });
});

describe('stripMarkdown - Markdown 清洗', () => {
  describe('基础清洗', () => {
    it('空文本 → 空', () => {
      expect(stripMarkdown('')).toBe('');
    });

    it('纯文本 → 不变', () => {
      expect(stripMarkdown('这是普通文本。')).toBe('这是普通文本。');
    });

    it('去除 # 标题', () => {
      // stripMarkdown 应该至少处理 # 标记
      const result = stripMarkdown('# 标题\n内容');
      expect(result).not.toContain('#');
      expect(result).toContain('标题');
    });

    it('去除 ** 加粗', () => {
      const result = stripMarkdown('这是**重要**内容');
      // 不应该残留 markdown 标记
      expect(result).not.toContain('**');
    });

    it('去除 ` 代码', () => {
      const result = stripMarkdown('这是 `code` 内容');
      expect(result).not.toContain('`');
      expect(result).toContain('code');
    });
  });

  describe('异常输入', () => {
    it('null/undefined → 不崩溃', () => {
      expect(() => stripMarkdown(null as any)).not.toThrow();
      expect(() => stripMarkdown(undefined as any)).not.toThrow();
    });

    it('非字符串 → 不崩，返回原值', () => {
      // 当前实现 if(!text) return text; 对数字 123 会返回 123 自身（行为不当但不崩）
      // 修改测试为：返回 undefined 或原值，不抛 TypeError
      expect(() => stripMarkdown(123 as any)).not.toThrow();
    });
  });

  describe('真实 TTS 场景', () => {
    it('【关键】清洗后不含会被 TTS 念出来的符号（# * _ ` 等）', () => {
      const input = `**第一章：标题**

这是第一段内容，包含 *斜体* 和 \`代码\`。

> 这是引用

| 表格 | 列 |
|----|----|
| a   | b  |

更多普通内容。`;

      const result = stripMarkdown(input);
      // 不应残留会被 TTS 念出来的常见符号
      // # * _ ` 等
      expect(result).not.toMatch(/[#*`]/);
      // 内容文字应保留
      expect(result).toContain('第一章');
      expect(result).toContain('第一段');
      expect(result).toContain('斜体');
      expect(result).toContain('代码');
    });
  });
});