Trustyu Forge
Los contratos, SDD, Graph/Loop, cobertura, API/eventos, receipts, supply chain y rollback están distribuidos entre el runtime y el Template.
benchmark técnico v1.9 · corte source-bound 13 de agosto de 2026
Estado actual
de Forge 3.1.
Esta es la capa de ingeniería detrás de la narrativa ejecutiva. Diecisiete capacidades son evaluadas por el nivel más bajo sostenible del sistema, con evidencia vinculada a la release, el repositorio y SHA. El corte histórico 2.0–3.0 permanece por debajo, sin ser reescrito.
0.18runtime firmado y verificable
0.16Template default en Shadow
21 / 21campaña de perfil estructurado
34 / 60contratos CRM ejecutados
49 / 49superficies de Hub clasificadas
NoFleet Enforced / GA declarada
Respuestas de OpenAI de solo lectura en corredor probado en Loop, sobres de tokens, causales negativas, reversión, reingreso y desmontaje.
El observador independiente, el cumplimiento de CRM/Hub, los gates de release y la ventana operativa aún bloquean Fleet Enforced.
Recorte de contratos públicos: manifiesto legible por máquina, en el que cada fuente declara si el lector puede abrirla: las referencias a repositorios privados están marcadas como
restricted, porque GitHub responde 404 a quienes no tienen acceso y eso es indistinguible de inexistente. El perfil shadow-operational es una superficie soportada y restringida; no promociona automáticamente el runtime, los productos o la flota para Operational, Attested o Fleet Enforced.contrato de lectura
Seis estados.
Sin atajos.
El estado sigue la provenance. Un mecanismo demostrado no califica automáticamente el Template; un default de Template no califica un producto; una observación piloto no se convierte en propiedad universal.
Corte actual · 17 capacidades
Forge 3.1 ahora.
Evidencia y residuales.
Esta matriz no puntúa la presencia de archivos. Utiliza la madurez demostrada más baja entre contrato, ejecución, verificación independiente y adopción. V significa verificado en el ámbito mencionado; no significa Fleet Enforced.
Madurez
Ddocumentado
Crevisado
Vcomprobado
Aatestiguado · no declarado
Ooperativo · no declarado
| Eje | Forge 3.1 · 13 de agosto | Evidencia actual | Residual para el estado terminal |
|---|---|---|---|
| Ingeniería de contexto | VContexto mecanizado | Comprobación de canon, divulgación progresiva, perfiles y trazabilidad source-bound. | Concilie la frescura entre el programa, los problemas y el estado en vivo. |
| ADR y estado de vida | CContrato controlado | Se aceptan los ADR 0060, 0062 y 0063; topología de shadow especificada. | ADR-0063 fue aceptado el 8/12: el criterio G6 existe, pero la ventana de ≥30 días aún no ha comenzado. |
| Controles ejecutables | Vruntime verificable | runtime 0.18 valida manifiestos, receipts, encuadernaciones, Graph/Loop y sobres causales. | La enforcement permanece suspendida hasta la calificación de la flota. |
| Desarrollo impulsado por especificaciones | VTraza proporcional | docs#418 incorporó SPEC → cambio → prueba → evidencia en los gates. | Closeout de origen completado; los productos y el profile operativo aún deben satisfacer los gates terminales. |
| Aislamiento de escritura | Vescritor único | Worktree, cerradura D5, protecciones superpuestas, ejecutable de propiedad y desmontaje. | La eficacia depende del cumplimiento continuo por parte de cada consumidor. |
| Sandbox y privilegios mínimos | CPerfil restringido | Denegación por defecto, intermediario previo al envío, red fija y transporte; El conjunto adversario de 29 pruebas cubre los cuatro vectores del proxy exclusivo de CONNECT. | Imagen OCI no publicada; el E2E actual se ejecuta en SHA anterior en la frontera se fusionan y deben repetirse. Pendiente de observador independiente. |
| Gobernanza de herramienta/MCP | CCalificado de solo lectura | Se demostraron grant, allowlist, broker y tool loop en modo de sólo lectura para OpenAI Responses. | Las funciones integradas alojadas, el MCP amplio, los agentes anidados y Claude quedan fuera del perfil 3.1 admitido. |
| evals de IA | VNativo de Trace | hub#765 calidad nativa de trace cerrada e integridad del contexto. | hub#791: ejecución, límites y control aún insuficientes. |
| Pruebas y atestación | CFirmado, no atestiguado | Assets, provenance, receipts y verificadores externos al productor en runtime 0.18; publicación de la imagen por digest con SBOM y provenance entregada. | El observador OCI y el sucesor ARR siguen desaparecidos; Attested no está declarado. |
| cadena de suministro | VAnclar y revertir | SHA256SUMS, Ed25519, provenance y pines inmutables en Template 0.16.1, con reversión aprobada para 0.15. | La release ya no dependía de credenciales humanas: pasó a ser publicada por identidad de la máquina trustyu-forge-bot, con ficha efímera. Queda por observar la durabilidad en una ventana longitudinal. |
| readiness, SLO y reversión | CShadow-operational | Se admiten campañas 21/21, causales negativas, reversión, reingreso y desmontaje de perfiles. | A ADR-0063 acepta criterios fijos; La ventana, el SLI/presupuesto de errores, el día del juego y la promoción humana siguen siendo obligatorios. |
| Aprendizaje de circuito cerrado | VRegresiones duraderas | Los hallazgos se convirtieron en invariantes, esquemas, negativos y pruebas para el runtime 0.18. | Medir la recurrencia evitada y la efectividad, no el volumen récord. |
| FinOps y economía unitaria | CFichas limitadas | Sobres causales y paradas bruscas simbólicas por turno; Consolidación de CI de flota desbloqueada ~3.200 min/mes al eliminar trabajos facturados por redondeo (medida M16). | Falta un freno monetario duro y la confirmación posterior a la ola aún no se ha medido: los ahorros proyectados no son ahorros observados. |
| Roles sénior y control humano | CAutoridad explícita | Profiles, Graph/Loop, promociones y approvals no son decididos por el modelo; separar las identidades del agente y del humano habilitó el primer resultado positivo del gate de revisión. | Mesurado: el revisor automático no revisó 57,3% 699 RP en 30 días; cobertura real del gate = 37,3%. El cheque se vuelve verde sin revisar. infra#521 · #522 · #523 |
| Observabilidad agente | CSolo metadatos | Utilice, secuencia, digests y receipts sin prompt, outputs o tenants persistentes. | ai-env#139: la observación independiente sigue pendiente. |
| provenance/closeout de la emisión | CReconstruible | Las especificaciones de funciones, las relaciones públicas, los SHA de origen, los artefactos y los residuos forman una cadena auditable. | El EPIC 3.1 permanece abierto hasta G1–G6: la verdad del release y la mitad del review ya están probadas, pero el gate sigue en shadow en los cuatro repositorios. |
| Adopción y garantía | CFlota de la shadow | Template 0.16.1, CRM 1.141.0 y Hub 0.72.1 mantenga el runtime 0.18 en la shadow. | CRM 34/60 · API de Hub parcial; Fleet Enforced no es elegible. |
Definición de terminal hecho
El último punto
desde 3.1.
Los nueve flujos técnicos del programa (excluidos los artículos, que se llevan a cabo por separado) alcanzaron el estado de motor o shadow. Esto no pone fin a la release. Para honrar el nombre GA — Fleet Enforced, seis gates de clasificación siguen siendo obligatorias.
- G1Verdad de release cerrada fallidaParcial · comprobado
Release probado de extremo a extremo y publicado por la identidad de máquina; la mitad del review se desbloqueó el 13/08 con el primer gate positivo: Approve humano habilitado después de separar la identidad del agente de la del autor. El gate continúa en shadow en los cuatro repositorios y promoción a
infra#486 · #508 · #521 · #522requiredpermanece bloqueado. - G2Límite OCI y observador independienteEn curso
Frontera fusionada, suite de confrontación proxy solo CONNECT entregada (29 pruebas, cuatro vectores) y publicación de digest con SBOM/provenance lista. Faltan la imagen publicada, el receipt/ARR sucesor y el observador externo, y el E2E protegido actual se ejecuta en SHA previo a la fusión, por lo que es necesario repetirlo.
ai-env#139 · PR #140 · #147 · #157 - G3Topes duros de perfil soportadosPendiente
Fichas, plazo y coste verificados fuera del productor; modos fuera de perfil denegados.
ai-env#72 · ai-env#81 - G4CRM con contrato completo34 / 60
60/60: dispositivos autorizados y límite de dos tenants en PostgreSQL efímero, sin datos reales.
crm#1840 - G5Hub con suficientes API/eventos y Graph/LoopParcial
Pelusa/diff/conformidad de la OAS, esquemas de marco, denominadores y ejecución/límites/punto de control observados.
hub#764 · hub#791 - G6Cualificación operativa y promoción humanaPendiente
E2E protegido, campaña, reversión/día del juego, ventana mínima de 30 días, SLI/presupuesto de errores y decisión registrada. EL ADR-0063 fue aceptado el 12/08, entonces el criterio existe; la ventana aún no ha comenzado porque depende del candidato congelado.
ADR-0063 · ÉPICA #366
No bloquee 3.1 con nuevo alcance: Claude paridad total, funciones alojadas integradas, MCP amplio, agentes anidados, adoptante externo independiente y nivel Attested son candidatos explícitos para 3.2. En 3.1, estas superficies deben permanecer fuera del perfil soportado y no cerrarse.
Lectura histórica
De la fundación documental a
sistema verificable.
La evolución no fue un cambio de nombre. Cada hito aumentó la capacidad de transformar la intención en una ejecución confiable. El estudio canónico congeló las comparaciones cuantitativas a partir de 2.0; la fase inicial se conserva como origen histórico, sin fabricar una columna 1.0 que nunca tuvo una línea base formal comparable.
Origen · Forge 1.x · Abril-junio de 2026
Método y fundamento
Los Templates P1–P6, los ADR, los principios de arquitectura, la squad y los primeros productos reales formaron la base de lo que se convertiría en el framework.
Registro histórico cualitativo · no puntuado en el benchmark congelado.
Forge 2.0 · 21 de junio de 2026
Equipo AI primero
Las habilidades, los árboles de trabajo, el bucle de especificaciones, la revisión y corrección, los ganchos, MCP, la seguridad y FinOps hicieron que el proceso fuera repetible.
Línea de base formal utilizada en esta matriz.
Forge 2.1 · transición 11 de julio de 2026
Contexto y controles
Presupuesto de contexto, catálogo de controles, línea base de eval, readiness/SLO y activación de escuadrón por riesgo y fase.
Estado intermedio analítico; no hubo ningún release público por separado.
Forge 3.0 · lanzamiento el 11 de julio de 2026
harness de ingeniería
Las políticas, el entorno de evidencia, el verificador, la evidencia, el observador y el aprendizaje de circuito cerrado conectan las reglas escritas con el control demostrable.
Decisión histórica: marco únicamente HECHO el 19 de julio; sin cualificación operativa.
Decisión judicial histórica: la conciliación de las 24 partidas registradas sólo en el marco como HECHO y FORGE 3.0 como IR técnico el 19 de julio de 2026. El runtime forge-v0.8.0 fue publicado en la fuente SHA
eae88cfe39c49e829b4ec4b624887403ff15bbb4, con Template 0.8 y rollback 0.7. Una referencia sintética reprodujo el Evidence Pack 6/6 y la conformance Verificado desconectado; prueba el mecanismo, no el estado actual, el producto, el adoptante o la operación. Operational y Attested no están declarados.17 capacidades
El mercado y lo que existía.
hasta el corte 3.0.
La unidad de análisis es la capacidad de ingeniería, no archivos, reglas, relaciones públicas o líneas de código. Este fotograma v1.7 permanece congelado para preservar la comparación 2.0-3.0. No representa el estado actual; El corte 3.1 está en la matriz anterior.
Madurez
—ausente
Ddocumentado
Crevisado
Vcomprobado
Acertificado
Ooperante
| Eje | Consenso de mercado 2025-2026 | Forge 2.0 | Forge 2.1 | Corte Forge 3.0 · 17 jul | Veredicto histórico |
|---|---|---|---|---|---|
| Ingeniería de contexto | Mapa breve, conocimiento versionado, divulgación progresiva y frescura mecánica. | CADR, habilidades e instrucciones sólidos pero extensos. |
VPresupuestos, fragmentos, historial y registro de capacidades. |
VMecánica de verificación de canon y divulgación progresiva. |
FuerteLo que queda es una deriva semántica entre anclas y estado de vida. |
| ADR y estado de vida | Decisión persistente/reemplazada; estado operativo actual separado. | DDecisiones versionadas, estatus con deriva residual. |
CCatálogo de gobernanza y estado de vida. |
C0039/0040 conciliado y sometido a ratificación. |
AlineadoLa frescura semántica todavía requiere revisión humana. |
| Controles ejecutables | Titular, aplicabilidad, prueba, ejecución, excepción y plazo. | DReglas distribuidas entre ADR y CI. |
CCatálogo y perfiles deterministas. |
V14 controles, hechos diff y evidencia explícita. |
ArribaFalta acreditar cobertura en cada cambio real aplicable. |
| Desarrollo impulsado por especificaciones | Especificar como fuente, fuera de alcance, contratos antes del código y trace hasta la aceptación. | CBucle SPEC→PR y Contrato-Primero. |
CGate y especificaciones de funciones estandarizadas. |
VTrace y verificadores independientes. |
FuerteMedir defectos y rework evitados, no el uso del Template. |
| Aislamiento de escritura | Una tarea/workspace/rama; lectura paralela; un solo escritor por artefacto. | CÁrbol de trabajo por característica y protocolo D5/D6. |
CAsientos y lista explícitos. |
VSuperposición, titularidad y desmontaje de guardas. |
FuerteRegistro de desmontaje en cada tarea real. |
| Sandbox y privilegios mínimos | FS, red, secretos y herramientas por tarea; denegación por defecto; credencial corta; HITL. | DAislamiento de barandillas y árboles de trabajo. |
CPerfiles de riesgo y capacidades. |
CHub #683 y CRM #1621 aprobaron la provenance sin aprobar el agregado; #688 falló. |
ParcialFalta de gate global aprobada, aprobaciones/capacidades y cobertura longitudinal. |
| Gobernanza de herramienta/MCP | Herramientas mínimas, esquemas claros, alcances, lista de permitidos y auditabilidad. | CMCP canónico e inventario por repositorio. |
CActivación por contexto y fase. |
VEnrutamiento de capacidades y contratos validados. |
AlineadoPruebe el perfil de la herramienta por tarea y controle el costo del contexto. |
| evals de IA | Modelo + harness + entorno; ensayos aislados; graders calibradas; Costo y latencia. | Deval-harness en parte de las habilidades. |
CBaseline de cambio de IA y gates. |
VCorpus técnico 12/12 con enlace fuente/perfil/SHA. |
FuerteEscale hasta 20-50 fallas reales y mida el costo por tarea. |
| Pruebas y atestación | El ejecutor no da fe de sí mismo; enlace de fuente/SHA/perfil; artefacto verificable. | DEvidencia heterogénea sobre IC y PR. |
CContratos de evidencia y provenance definida. |
CManifiesto SHA256SUMS de runtime 0.8 con firma Ed25519; fixture sintética 6/6 Verified; Observer EVD=2/5 y VER=2/9. |
ParcialFalta pack real, cobertura ≥95%, gate global homologada y ventana longitudinal. |
| cadena de suministro | Bloqueo/pin inmutable, SBOM, provenance, constructor confiable y verificación. | CBloqueos, escaneos y acciones parcialmente fijados. |
CRecolectores de línea de base y evidencia. |
VManifiesto SHA256SUMS 0.8 con firma Ed25519 y 9 assets inventariados; Template fijado con rollback 0.7. |
FuerteNo declare el nivel SLSA sin cumplir todos los requisitos. |
| readiness, SLO y reversión | SLI/SLO, presupuesto de errores, reversión probada, runbook y condición de parada. | Dreadiness principalmente manual. |
CSLO, cuadro de mando y gates definidas. |
CObservador firmado: 11 cambios en 2 días; ventana abierta. |
ParcialRequiere ≥20 cambios, 30 días, estabilidad y ejercicios piloto. |
| Aprendizaje de circuito cerrado | La revisión o incidencia se convierte en prueba, eval, control o mejora duradera. | CRevisar-remediar y versionar el historial. |
CRegistros de aprendizaje y propiedad. |
VLa retroalimentación produce controles, evals y regresiones probados. |
AlineadoMedida de recurrencia evitada y efectividad, no número de registros. |
| FinOps y economía unitaria | Costo por unidad de valor/resultado, atención humana y denegación de billetera. | COmisión de implementación y costo por producto. |
CPresupuestos por sucursal, agente y gate. |
CM15: Acciones −47,20%/día; minutos por cambio +28,27%. |
Arriba en la gobernanzaObjetivo incumplido por 2,80 p.p.; la eficiencia de la unidad retrocedió; Modelos faltantes y tiempo humano. |
| Roles sénior y control humano | Senior define intención, riesgo y gusto; autonomía proporcional y aprobaciones claras. | DPersonas y roles de escuadrón. |
CActivación por riesgo/fase y gates humanos. |
CPropietario y decisión explícitos; aprobador técnico único. |
Alineado con la advertenciaEl fundador/CTO es hoy el único aprobador técnico real. |
| Observabilidad agente | Abarca modelos/herramientas, resultados, tokens, costos, políticas y privacidad. | DTelemetría desglosada por producto. |
CEsquema de receipts y métricas de harness. |
CSubconjunto de seguridad de privacidad de OTel GenAI en runtime 0.8, cubierto por el manifiesto SHA256SUMS firmado. |
AtrásFalta la telemetría del producto real vinculada a tokens/costo/resultado/receipt. |
| provenance/closeout de la emisión | Autoría, decisión, implementación, validación y residual reconstruible. | DLiquidaciones inconsistentes y registros no probados. |
DProblema reconocido, aún no hay gate común. |
CADR-0051 y gate de closeout en canónico. |
Arriba en el contrato.Parcial en la flota; La propagación se producirá por contacto normal. |
| Adopción y aseguramiento externo | Usuario independiente, paquete/licencia, soporte, actualización/reversión y paquete de evidencia. | —Sin producto de marco externo. |
DEstrategia de extracción documentada. |
DConformidad/EEP inventariado por el manifiesto SHA256SUMS firmado en 0.8; sin adoptantes externos. |
AtrásNo habrá adoptantes externos independientes hasta que se corte. |
Donde Forge 3.0 es fuerte
- Ingeniería de contexto integrada, catálogo ejecutable y desarrollo basado en especificaciones.
- Aislamiento de tareas, evals, cadena de suministro y verificación source-bound.
- FinOps de CI/agentes y closeout de problemas más riguroso en el diseño.
¿Qué impide el siguiente nivel?
- Gate global aprobada y cobertura de alto riesgo/≥95%; hoy EVD=2/5 y VER=2/9.
- ≥20 cambios, 30 días, 2,80 p.p. FinOps residuales y costo de modelos/atención humana por resultado.
- Verdadera adopción del perfil OTel GenAI, aseguramiento y primer adoptante externo.
Investigación source-bound
Se investigó el mercado,
no solo citado.
El gate público se realizó a partir de instantáneas revisadas por pares de fuentes oficiales, primarias y regulatorias. Cada adquisición generó un receipt vinculado a la URL, la instantánea, el hash de contenido, la política, la retención y el costo medido. El contenido externo fue tratado como datos no confiables y no fue persistido.
20 / 20fuentes y receipts aprobados
11grupos independientes
3 / 3estudios de múltiples fuentes
9 / 9claims mapeadas y revisadas
0llamadas de modelo y tokens
0contenido crudo persistente
harness de ingeniería confiable R1
La confiabilidad es una propiedad del sistema.
El Workflow, el ciclo del workspace, el aislamiento, los pequeños cambios, la retroalimentación y las decisiones duraderas deben ser explícitos. Un mejor prompt no reemplaza el harness.
R2 · Entrega segura y auditable
Los controles se complementan entre sí
Las pruebas reproducibles, el privilegio mínimo, la zona de pruebas, la provenance y la verificación independiente son gates diferentes. Ninguno de ellos por sí solo prueba el sistema.
R3 · evals, observabilidad y FinOps
La calidad y el costo necesitan un resultado
Las evals requieren criterios y traces; El costo requiere una unidad de valor. El gasto distinto de cero debe provenir de interfaces oficiales, nunca un presupuesto tratado como una factura.
Registro público reproducible
El mirror sanitizado publica el catálogo, el research pack, 20 manifests y 20 receipts. Se recibieron 423.265 bytes en 21 llamadas HTTP y 37.675 ms combinados, sin llamadas de modelo y sin retener el contenido recuperado.
Facturación oficial: Los motores OpenAI, Anthropic y Google han sido documentados, pero permanecen
documented-not-configured. Esta ejecución de solo marco no llamó a modelos, por lo que el costo directo medido del modelo fue $0. El costo futuro del producto se mantiene desconocido hasta que haya exportación autorizada y conciliación por proyecto/SKU.Cerrado por falla: Las páginas que devolvieron 403, activaron DLP/inyección de prompts o cambiaron el hash no fueron forzadas ni contadas. Han sido reemplazadas por instantáneas oficiales inmutables. El resultado prueba el mecanismo de intake y búsqueda en este corte; no prueba operación, attestation, adopción de productos o liderazgo global.
como leer
evidencia antes
adjetivo.
El “consenso de mercado” es la intersección de prácticas y estándares públicos, no una certificación o un promedio estadístico. Los estados desconocido, no disponible y cero se tratan como valores diferentes.
Jerarquía de evidencia
- E1: evento real atestiguado, vinculado a la fuente, SHA, política y verificador.
- E2: prueba, CI, artefacto firmado o contrato reproducible.
- E3: implementación presente en el SHA auditado.
- E4: Decisión aceptada y vinculada a su implementación.
- E5: declaración sin prueba independiente.
Regla de calificación
Sin estado A o O está respaldado únicamente por implementación o documentación. El artefacto o la provenance válidos por sí solos no hacen que el sistema sea compatible; La operación requiere SLO, costo, reversión, propiedad y muestra sostenida.
OpenAIHarness la ingeniería, la legibilidad de los agentes, las invariantes y los bucles de retroalimentación.
OpenAI SymphonyOrquestación sobre un harness confiable y una tabla como plano de control.
AnthropicTareas, pruebas, graders, resultados y desarrollo impulsado por evals.
Stanford HAIÍndice AI 2026: capacidad, adopción, evaluación y gobernanza.
AI Agent IndexTransparencia, autonomía y seguridad de 30 agentes; investigación con autores del MIT y otras instituciones.
NIST AI RMFGobernar, mapear, medir y gestionar el riesgo a lo largo del ciclo.
OWASPAgencia excesiva, abuso de herramientas, privilegios mínimos y negación de billetera.
DORA 2025La IA amplifica el sistema organizacional: fortalezas y debilidades.
SLSA 1.2provenance, identidad del constructor y verificación de artefactos.
SSDF del NISTPrácticas basadas en resultados para un desarrollo seguro.
OpenTelemetrySemántica interoperable para modelo, herramienta, tokens, latencia y costo.
FinOpsCosto por unidad de valor y evolución a costo por resultado.
Release 0.8: prueba pública sanitizada
La etiqueta y el SHA de origen identifican el corte; los nombres y digests de los 9 assets están en SHA256SUMS, cuya firma Ed25519 se puede verificar con la clave pública. La firma no cubre la etiqueta Git.
Frontera pública: el informe canónico completo se encuentra en el repositorio de documentación privado de Trustyu; Esta página y el paquete de evidencia v1.7 son el espejo público sanitizado del corte aprobado. Las organizaciones citadas son fuentes de investigación y práctica; no existe ninguna afirmación de asociación, certificación o respaldo.