Skip to main content
All posts
模型原理與基準評測

去拒答但絕不「降智」:拆解正交權重消融(Abliteration)原理與 bf16.ai 的 6 維防縮水硬核質檢

為何許多來路不明的 Uncensored 模型一跑數學與 JSON 工具呼叫就崩潰?本文解析正交投影線性代數,以及 bf16.ai 如何以強制的 6 維行為驗證為每個端點把關。

省流版 · 模型品質與防坑結論

  • 為何劣質免審核模型容易「變笨」? 主因是用低品質資料暴力微調破壞了原有權重,或是無良供應商暗中換成未校準的 Q3/NVFP4 低精度量化並截斷 64K 以上上下文。
  • 秩-1 正交投影保留完整推理力:在數千維隱藏空間中僅正交移除 1 維拒答方向向量 r̂(W' = W - r̂(r̂ᵀW)),完美保留程式碼與 JSON 語法能力。
  • 資料庫級強制驗證閘門:端點必須先通過以 CSPRNG 隨機種子驅動的 6 維驗證,才能在 bf16.ai 上線服務;且首個 Token 產出前若發生上游異常,保證 $0.00 零扣款。

1. 開源推論市場的潛規則:暗中量化縮水與靜默截斷

許多工程師過去對 Uncensored 模型卻步,是因為遇過 JSON 括號漏寫或長文失憶的「降智」災情。這通常源自暴力微調覆寫了推理權重,或是廉價平台暗中提供 Q3_K_M 低精度量化並將宣稱的 1M 上下文截斷至 64K——在 temperature=0 數學測試與 20 萬字大海撈針(NIAH)探針下一測便知:

[bf16-verifier] Probing candidate upstream endpoint: "provider-x/flagship-abliterated-1m"
[bf16-verifier] V1 Tokenizer BPE boundary ............ PASS
[bf16-verifier] V5 Dual-use low-refusal fidelity ..... PASS
[bf16-verifier] V2 Symbolic Math Canary (temp=0) ..... FAIL (drift detected: NVFP4/Q3 quant!)
[bf16-verifier] V3 Passkey NIAH @ 196,608 tokens ..... FAIL (silent middle-out truncation >64K)
[bf16-verifier] V4 Parallel JSON Tool Grammar ........ FAIL (unescaped trailing comma)
[bf16-verifier] Verdict: FAIL (3 vectors below their floor). Endpoint REJECTED by DB CHECK constraint.

2. 為何秩-1 正交權重消融(Abliteration)能精準去說教而不傷智商?

可解釋性研究證實 Transformer 的過度拒答主要由殘差流中的單一方向向量 r̂ 觸發。透過在 float32 精度下將 r̂ 從殘差寫入矩陣正交投影移除,幾千個負責程式邏輯與平行工具呼叫的維度幾乎不受影響。此外,bf16.ai 以 PostgreSQL CHECK 條件強制要求所有端點必須通過 6 維行為驗證閘門——涵蓋 T=0 符號數學、200K+ 隨機密鑰召回、平行 JSON 語法與低拒答測試——才能上線服務。

3. 正交投影核心公式與模型目錄查詢

以下為針對殘差寫入權重張量執行秩-1 正交投影的精簡 PyTorch 實作:

import torch

def orthogonalize_refusal_direction(weight: torch.Tensor, refusal_dir: torch.Tensor) -> torch.Tensor:
    """
    Rank-1 orthogonal projection in bfloat16/float32 (Arditi et al. formulation):
    Removes ONLY the 1D refusal mediator subspace r_hat from residual-writing matrix W,
    leaving the (d_model - 1)-dimensional reasoning & tool-calling subspace untouched.
    """
    r_hat = refusal_dir / torch.linalg.norm(refusal_dir)
    r_hat = r_hat.to(dtype=torch.float32, device=weight.device)
    w_fp32 = weight.to(torch.float32)
    # W' = W - (W @ r_hat)[:, None] * r_hat[None, :]  (for output-feature projection)
    projection = torch.outer(r_hat, r_hat @ w_fp32)
    return (w_fp32 - projection).to(weight.dtype)

每個模型頁面 bf16.ai/models/<slug> 都會列出該模型的上下文長度、定價與零提示詞留存(ZDR)條款,亦可透過 GET /v1/models 程式化查詢同一份目錄:

# Inspect context windows & pricing before routing agent jobs
curl -sS https://api.bf16.ai/v1/models \
  -H "Authorization: Bearer $BF16_API_KEY" | jq '.data[] | {
    id,
    context_window,
    pricing_usd_per_1m
  }'

# Route via bf16/auto with a deterministic output price ceiling ($1.50 / 1M max)
curl -sS https://api.bf16.ai/v1/chat/completions \
  -H "Authorization: Bearer $BF16_API_KEY" \
  -H "X-BF16-Max-Price-Per-M-Output: 1.50" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "bf16/auto:coding",
    "temperature": 0,
    "messages": [{"role": "user", "content": "Emit a strict JSON schema patch for session fixation."}]
  }'

4. 精選 3 款百萬上下文模型與官方同價對照

bf16.ai 淘汰所有雜牌測試權重,僅保留 3 款 1M 上下文低拒答主力模型,每款皆受同一套 6 維驗證閘門把關,定價全面對標或低於官方標準價:

模型 ID平台單價 (輸入 / 快取 / 輸出 每 1M)核心工程強項
deepseek/deepseek-v4.1-flash-abliterated$0.30 / $0.05 / $1.2024/7 MausBot 與極速 CLI 迴圈
zai-org/glm-5.3-flash-abliterated$0.24 / $0.06 / $1.00原生 視覺 + 文本 瀏覽器 QA 與批次處理
zai-org/glm-5.3-abliterated$1.40 / $0.30 / $4.40前沿 SAST 修補與複雜程式碼 diff

5. 給工程師的 4 項帳本與路由保證

  1. 首字輸出前發生上游錯誤保證 $0.00 零扣款(雙分錄奈美元帳本即時解凍)。
  2. 免費領取 $1.00 額度親自於 /playground 執行 temperature=0 極限測試。
  3. 支援 X-BF16-Max-Price-Per-M-Output 標頭鎖死單價上限。
  4. 乾淨無雜訊的 /v1/models 目錄,絕無暗中降級權重。