telexed ~ c / 27a35ef9-019radar:70 · agent_toolLIVE
← 피드로
NO.
#27a35ef9
분야
에이전트·도구
출처
Hacker News · Show HN AI
게재
2026-05-19 12:23:07
중요도
★ 7/10 — radar 70
`Forge`, 로컬 LLM 에이전트용 재현 가능한 가드레일 공개
FIG-0271:1

`Forge`, 로컬 LLM 에이전트용 재현 가능한 가드레일 공개

`Forge` adds reproducible guardrails for local LLM agents

툴콜 실패를 모델 크기보다 시스템 문제로 다룬다. 공개 수치가 재현되면 상시 실행 에이전트 비용을 클라우드 API 의존 없이 크게 낮출 수 있음.

[ 요점 ]
  1. Ministral 8B는 가드레일 적용 후 99.3%, 같은 레이어의 Claude Sonnet100% 기록. 성능 격차가 1포인트 미만.
  2. 재시도 메커니즘이 없으면 로컬·프론티어 모델 모두 오류 복구 0%. 모델 능력보다 실행 구조가 병목이다.
  3. 기여도는 재시도 넛지와 오류 복구가 대부분. 제거 시 각각 24-49포인트, 약 10포인트 하락했다.
  4. 같은 Mistral-Nemo 12B도 백엔드에 따라 7%→83%로 갈렸다. 서빙 스택까지 벤치해야 한다.
원문github.com/antoinezambelli/forge원문 보기 →

// related