Pipelines por lotes de 10,000 filas sin abortos y localización fiel de videojuegos en bf16.ai

TL;DR · Ingeniería Batch y Localización

Contaminación silenciosa: En lotes de 10,000 filas legales, clínicas o de videojuegos, una tasa de rechazo de apenas un 4.8% dejaría 480 filas vacías o, peor aún, inyectaría disculpas del modelo en producción.

Enrutamiento dual en bf16.ai: zai-org/glm-5.3-flash-abliterated ($0.24/$0.06/$1.00) para volumen UI/ETL y zai-org/glm-5.3-abliterated ($1.40/$0.30/$4.40, por debajo de la tarifa oficial) para diálogos cinematográficos.

Glosario de 50K en caché + Idempotency-Key: Fijar en el prompt system un glosario terminológico congelado de 50K tokens hace que cada lectura repetida se facture a la tarifa de caché ($0.06 en lugar de $0.24 por 1M en GLM-5.3 Flash), sin cobros duplicados en reintentos.

1. Dos formas en que las APIs estándar arruinan el ETL masivo y la localización

Los corpus reales —deposiciones judiciales, notas clínicas de urgencias o guiones RPG de fantasía oscura— contienen lenguaje crudo. Las APIs convencionales provocan tormentas de reintentos 400 content_policy_violation o, peor aún, edulcoran el tono del villano e insertan mensajes de rechazo dentro del JSON final:

[etl-worker:chunk-0902] Localizing row_id="ch4_syndicate_interrogation_12" (EN -> JA, ZH-CN, DE)
[upstream:cloud-api] HTTP 400 content_policy_violation (attempt 1/3 -> retry backoff 2s)
[upstream:cloud-api] HTTP 400 content_policy_violation (attempt 2/3 -> retry backoff 4s)
[upstream:cloud-api] Fallback row output contaminated:
  {"ja": "申し訳ありませんが、脅迫や暴力的な表現を含む台詞は翻訳できません。", "zh": "..."}
[qa-gate] CRITICAL: Refusal string written into production localization table! 480 / 10,000 rows failed build.

2. Arquitectura Batch con caché de prefijo: GLM-5.3 Flash + GLM-5.3

En bf16.ai/models combinamos dos modelos abliterated con 1M de contexto:

zai-org/glm-5.3-flash-abliterated (1M de contexto): A solo $0.06/1M en entrada cacheada para extracción JSON masiva e interfaz.
zai-org/glm-5.3-abliterated (1M de contexto): Conserva intacto el registro literario, modismos y tensión dramática ($1.40/$0.30/$4.40).

Pipeline por lotes sin caídas: Glosario compartido de 50K en caché + JSON Schema estricto + Idempotency-Key.

▲ Pipeline por lotes sin caídas: Glosario compartido de 50K en caché + JSON Schema estricto + Idempotency-Key.

3. Worker TypeScript de producción con `Idempotency-Key` y validador de variables

Mantén el glosario de 50,000 tokens fijo al inicio del mensaje system para aprovechar la caché de prefijo y envía Idempotency-Key en cada lote:

import OpenAI from 'openai';

const bf16 = new OpenAI({
  baseURL: 'https://api.bf16.ai/v1',
  apiKey: process.env.BF16_BATCH_KEY,
});

// Shared 50,000-token lore glossary stays identical across all chunks -> hits $0.06-$0.30/1M prefix cache!
export async function localizeDialogueBatch(
  frozenGlossaryXml: string,
  batchId: string,
  rows: Array<{ id: string; speaker: string; sourceEn: string; tier: 'bulk_ui' | 'cinematic' }>
) {
  const isCinematic = rows.some((r) => r.tier === 'cinematic');
  const model = isCinematic
    ? 'zai-org/glm-5.3-abliterated'            // $1.40 in / $0.30 cached / $4.40 out
    : 'zai-org/glm-5.3-flash-abliterated';     // $0.24 in / $0.06 cached / $1.00 out

  const completion = await bf16.chat.completions.create(
    {
      model,
      temperature: isCinematic ? 0.35 : 0.1,
      response_format: {
        type: 'json_schema',
        json_schema: {
          name: 'localized_rows',
          strict: true,
          schema: {
            type: 'object',
            additionalProperties: false,
            required: ['items'],
            properties: {
              items: {
                type: 'array',
                items: {
                  type: 'object',
                  additionalProperties: false,
                  required: ['id', 'ja', 'zh_CN', 'de'],
                  properties: {
                    id: { type: 'string' },
                    ja: { type: 'string' },
                    zh_CN: { type: 'string' },
                    de: { type: 'string' },
                  },
                },
              },
            },
          },
        },
      },
      messages: [
        {
          role: 'system',
          content:
            'You are a senior game & legal corpus localization engine. Preserve speaker register, ' +
            'slang, dark-fantasy conflict, and placeholders ({player_name}, %d) 1:1 without sanitizing ' +
            'tone or appending commentary.\n\n' + frozenGlossaryXml,
        },
        { role: 'user', content: JSON.stringify(rows) },
      ],
    },
    {
      // Safe worker retries: exact replay returns cached response with zero double-charging
      headers: { 'Idempotency-Key': `loc-batch-${batchId}` },
    }
  );

  return JSON.parse(completion.choices[0]?.message?.content ?? '{"items":[]}');
}

Valida siempre los placeholders ({player_name}, %d) antes de persistir resultados. Explora el catálogo completo en bf16.ai/models:

// Post-generation placeholder & refusal-leakage assertion before writing to Postgres/Parquet
export function assertCleanLocalizationRow(source: string, translated: string) {
  const placeholders = source.match(/\{[a-z0-9_]+\}|%[sd]/gi) ?? [];
  for (const token of placeholders) {
    if (!translated.includes(token)) {
      throw new Error(`Missing placeholder ${token} in localized output`);
    }
  }
  if (/cannot translate|申し訳ありませんが|无法翻译|als KI-Modell/i.test(translated)) {
    throw new Error('Refusal leakage detected in localized string');
  }
}

4. Coste de un trabajo de localización de 10,000 filas con caché de prefijo

Supongamos que hay que localizar 10,000 líneas RPG (20 filas × 500 lotes, cada uno con una biblia de 50K tokens = 25M tokens de glosario acumulados). A precios de lista, esos 25M tokens de glosario cuestan $6.00 sin caché en GLM-5.3 Flash, pero solo $1.50 desde la caché de prefijo; en GLM-5.3, $35.00 frente a $7.50. Los tokens de salida se facturan igual en ambos casos:

Configuración del Pipeline	Resultado SLA
LLM con filtro estricto (3x retry)	Requiere revisión manual
Llamadas sin caché de prefijo	Lento; el glosario se factura a la tarifa de entrada completa en cada llamada
bf16.ai con Caché (GLM-5.3 Flash + GLM-5.3)	Parquet/JSON listo para producción

5. 4 reglas de ingeniería antes de procesar más de 100K filas

Mantén idéntico byte a byte el prefijo system (sin timestamps dinámicos arriba).
Agrupa entre 15 y 25 filas por petición JSON.
Incluye siempre Idempotency-Key en tus colas de trabajo.
Verifica placeholders y longitud máxima de cadenas para UI en alemán o ruso.