Senza censura e senza perdita di logica: Abliterazione ortogonale dei pesi e verifica a 6 vettori su bf16.ai

TL;DR · Qualità dei Modelli e Verifica

• Perché alcuni modelli uncensored deludono: SFT distruttivo e quantizzazione nascosta (Q3/NVFP4) con taglio del contesto a 64K rompono il ragionamento matematico e i tool_calls.
• Proiezione ortogonale di rango 1: Rimuove esclusivamente la direzione 1D di rifiuto r̂ (W' = W - r̂(r̂ᵀW)), lasciando intatte migliaia di dimensioni dedicate al codice.
• Gate di verifica imposto in PostgreSQL: Su bf16.ai un endpoint può diventare attivo solo dopo aver superato una verifica a 6 vettori con seed CSPRNG, con rimborso automatico del 100% dei crediti riservati per errori upstream prima del primo token.

1. Il segreto nascosto del mercato open-weight: quantizzazione silenziosa e taglio del contesto

La cattiva fama di "brain damage" nei modelli non censurati nasce quasi sempre da fine-tuning grezzi o provider economici che pubblicizzano 1M di contesto servendo in realtà pesi Q3_K_M troncati a 64K — anomalie smascherate subito dai nostri test temperature=0 e passkey 200K:

[bf16-verifier] Probing candidate upstream endpoint: "provider-x/flagship-abliterated-1m"
[bf16-verifier] V1 Tokenizer BPE boundary ............ PASS
[bf16-verifier] V5 Dual-use low-refusal fidelity ..... PASS
[bf16-verifier] V2 Symbolic Math Canary (temp=0) ..... FAIL (drift detected: NVFP4/Q3 quant!)
[bf16-verifier] V3 Passkey NIAH @ 196,608 tokens ..... FAIL (silent middle-out truncation >64K)
[bf16-verifier] V4 Parallel JSON Tool Grammar ........ FAIL (unescaped trailing comma)
[bf16-verifier] Verdict: FAIL (3 vectors below their floor). Endpoint REJECTED by DB CHECK constraint.

2. Perché l’abliterazione ortogonale di rango 1 mantiene intatti codice e JSON Schema

Il rifiuto eccessivo nei Transformer è mediato principalmente da una singola direzione r̂ nel flusso residuale. Proiettando ortogonalmente r̂ fuori dalle matrici di scrittura in float32, il sottospazio dedicato a logica e grammatica JSON resta intatto. Inoltre, su bf16.ai ogni endpoint candidato deve superare la nostra verifica a 6 vettori — matematica simbolica, passkey NIAH 200K+, grammatica JSON parallela e test di basso rifiuto — prima che i vincoli CHECK di PostgreSQL consentano status = 'active'.

3. Algebra lineare nel codice e interrogazione del catalogo su bf16.ai

Ecco la proiezione ortogonale di rango 1 in PyTorch applicata ai tensori di scrittura residuale:

import torch

def orthogonalize_refusal_direction(weight: torch.Tensor, refusal_dir: torch.Tensor) -> torch.Tensor:
    """
    Rank-1 orthogonal projection in bfloat16/float32 (Arditi et al. formulation):
    Removes ONLY the 1D refusal mediator subspace r_hat from residual-writing matrix W,
    leaving the (d_model - 1)-dimensional reasoning & tool-calling subspace untouched.
    """
    r_hat = refusal_dir / torch.linalg.norm(refusal_dir)
    r_hat = r_hat.to(dtype=torch.float32, device=weight.device)
    w_fp32 = weight.to(torch.float32)
    # W' = W - (W @ r_hat)[:, None] * r_hat[None, :]  (for output-feature projection)
    projection = torch.outer(r_hat, r_hat @ w_fp32)
    return (w_fp32 - projection).to(weight.dtype)

Ogni pagina modello su bf16.ai/models/<slug> riporta finestra di contesto, prezzi e condizioni di Zero-Prompt Retention (ZDR) — e puoi interrogare lo stesso catalogo in modo programmatico tramite GET /v1/models:

# Inspect context windows & pricing before routing agent jobs
curl -sS https://api.bf16.ai/v1/models \
  -H "Authorization: Bearer $BF16_API_KEY" | jq '.data[] | {
    id,
    context_window,
    pricing_usd_per_1m
  }'

# Route via bf16/auto with a deterministic output price ceiling ($1.50 / 1M max)
curl -sS https://api.bf16.ai/v1/chat/completions \
  -H "Authorization: Bearer $BF16_API_KEY" \
  -H "X-BF16-Max-Price-Per-M-Output: 1.50" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "bf16/auto:coding",
    "temperature": 0,
    "messages": [{"role": "user", "content": "Emit a strict JSON schema patch for session fixation."}]
  }'

4. I 3 modelli da 1M di contesto su bf16.ai (parità coi listini ufficiali)

Invece di elencare decine di merge sperimentali instabili, bf16.ai offre 3 modelli di produzione da 1M di contesto, tutti soggetti allo stesso gate a 6 vettori e allineati ai prezzi ufficiali:

ID Modello	Prezzo Retail (In / Cache / Out 1M)	Punto di Forza
deepseek/deepseek-v4.1-flash-abliterated	$0.30 / $0.05 / $1.20	Loop MausBot 24/7 e CLI veloce
zai-org/glm-5.3-flash-abliterated	$0.24 / $0.06 / $1.00	Visione + Testo Browser-Use ed ETL
zai-org/glm-5.3-abliterated	$1.40 / $0.30 / $4.40	Patch SAST profonde e diff di codice complessi

5. 4 garanzie contabili e di routing verificabili

1. $0.00 addebitati per errori upstream prima del primo token grazie al ledger nano-USD a partita doppia.
2. Esegui i tuoi test temperature=0 su /playground col credito gratuito da $1.00.
3. Fissa tetti di prezzo unitario tramite X-BF16-Max-Price-Per-M-Output.
4. Catalogo /v1/models pulito, privo di stub di test o declassamenti silenziosi.