Roger MLOps Guard

Guard de treino longo: GPU, checkpoint e disco sem babá.

Como começar

1. Declare as curvas uma vezSchedule, faixa esperada de loss, piso de tokens/s, teto de VRAM e limite de log parado — no config, para o crítico ter com o que discordar da realidade.
2. Suba o crítico como daemonCada veredito é arquivado no ledger com a observação que o produziu. Saída só em JSON nunca é aceita como nota.python -m roger.critic --daemon # --once para um veredito só
3. Passe todo checkpoint por safe_io.publish()Em 9p/drvfs um cp sob pressão de memória trunca EM SILÊNCIO — e é isso que corrompe resume. publish grava em staging, faz fsync, confere o hash, move e poda os antigos.
4. Ligue a vigília noturnaMede vida por sentinela (log e processo), mata o treino travado e relança do último checkpoint BOM, sob orçamento de relançamento e quebrador de crash-loop.python -m roger.night_watch

Quando você vai usar

• Treino vivo com o log parado, às 3 da manhãO sentinel mede liveness e decide wedge, grind, zumbi ou trabalho real — sem isso todo watchdog confunde processo vivo com treino andando.
• Resume travado em checkpoint truncadosafe_io.publish() escreve em staging, faz fsync, confere o hash e só então move: o estado meio-escrito que corrompe resume em 9p/drvfs deixa de existir.
• Watchdog que não mata nada (ou mata errado)Só mata depois do veredito, com a razão logada, relançando do último checkpoint bom, sob orçamento de relaunch e breaker de crash-loop.
• Disco enchendo de madrugadaHigiene e poda de checkpoint, com o disco medido antes de virar emergência — inclusive o disco do host, que é o que costuma encher primeiro.
• Loop noturno herdando a nota boa de ontemCritic determinístico pontua as curvas que você declarou (LR x schedule, grad norm, loss velocity, tokens/s, VRAM, staleness) e arquiva cada veredito num ledger append-only.

O que vem no pacote

• scripts/roger/critic.py — o critic determinístico e o ledger de vereditos
• scripts/roger/night_watch.py — liveness por sentinel: wedge vs grind vs zumbi vs trabalho real
• scripts/roger/gpu_cure.py — cura e relançamento do treino travado, com razão logada
• scripts/roger/safe_io.py — I/O à prova de crash: staging, fsync, hash, move, poda
• scripts/roger/hygiene.py — higiene de loop: ANSI, quarentena de saída não confiável, regressão e flap
• scripts/quarantine.py — prova por tentativa no input que foi posto em quarentena
• scripts/cuda_tflops_bench.py — árbitro de throughput da GPU
• scripts/host_vram_probe.ps1.txt — visão de VRAM pelo lado do host — renomeie para .ps1

Precisa de

• Python 3.10+ (stdlib puro, zero dependências)
• nvidia-smi para o lado GPU
• as curvas do treino declaradas na config

Onde ela não entra: Não é framework de treino e não mexe no seu modelo: pluga no SEU loop (critic daemon + safe_io.publish + night_watch). Threshold é por fase, nunca global.

← todas as skills