Del piloto al valor: medir el cambio aceptado, tokens no producidos

Un piloto de IA puede realizar una demostración convincente en tan solo unos días. La respuesta llega rápidamente, el prototipo parece inteligente y el equipo finalmente ve tareas que podrían automatizarse. Luego surgen números fáciles de celebrar: usuarios activos, prompts enviados, tokens consumidos, documentos generados y horas aparentemente ahorradas.

Nada de esto por sí solo responde a la pregunta que decide una inversión: ¿La obra generó un cambio aceptado por quienes necesitaban recibirla?

Los tokens miden el consumo. Los artefactos miden la producción. El valor aparece cuando un resultado cruza el proceso, llega al destinatario, cumple con un criterio de calidad explícito y cuesta menos (en dinero, tiempo, riesgo y atención) que la alternativa relevante.

Este documento propone un contrato simple para sacar a los pilotos de IA del teatro de demostración y llevarlos a una decisión operativa defendible.

Resumen ejecutivo

No existe un piloto para demostrar que un modelo puede realizar una tarea. Existe para reducir la incertidumbre de una decisión: ampliar, rediseñar, restringir o poner fin a un cambio de trabajo.

Los estudios de campo muestran que las ganancias pueden ser reales y materialmente diferentes dependiendo de la persona, la tarea y el entorno. En atención al cliente, una encuesta de agentes 5.172 encontró un aumento promedio del 15% en los problemas resueltos por hora, con un mayor efecto entre los profesionales en el quintil de habilidades más bajo; el resultado pertenece a una empresa y ocupación específica. En tres experimentos con desarrolladores 4.867, el conjunto de datos mostró un 26,08 % más de tareas completadas para aquellos que tenían acceso al asistente, pero los experimentos son ruidosos y no miden la calidad general del software ni el empleo neto. [CAREER-A18-C1] [CAREER-A18-C2]

La conclusión responsable no es "la IA aumenta la productividad en un X%". El diseño de medición debe capturar la tarea, la población, el sistema y la calidad del resultado. DORA 2025 refuerza esta frontera al describir la IA como un amplificador de las fortalezas y debilidades del sistema organizacional, en una investigación centrada en el desarrollo de software. [CAREER-A18-C5]

Por lo tanto, el panel mínimo de un piloto debe combinar resultado, aceptación, flujo, ahorro y riesgo. La unidad de decisión es la costo por resultado aceptado, no el costo por ficha ni la cantidad bruta de artefactos.

Pilot no es una versión pequeña de la implementación.

Una demostración responde “¿es posible producir algo?”. Un piloto serio responde "¿qué necesitamos aprender antes de cambiar el sistema?"

Esta diferencia cambia todo el diseño. En lugar de simplemente elegir casos que se vean bien en una presentación, el piloto incluye trabajo representativo, excepciones, personas con diferentes niveles de experiencia y el camino completo hacia la aceptación. En lugar de ocultar la revisión humana, mide su costo. En lugar de declarar el éxito cuando aparece el resultado, espere a que el efecto llegue al cliente, usuario o equipo que lo necesitaba.

Antes de comenzar, escriba la decisión que el experimento pretende informar:

Si el flujo produce resultados más aceptados, sin exceder los límites de calidad, costo y riesgo, nos expandiremos a este alcance. De lo contrario, rediseñaremos o finalizaremos el piloto.

Sin esta frase, es fácil cambiar la definición de éxito después de ver los datos.

La unidad que evita el autoengaño

Imaginemos un copiloto que genera cien propuestas comerciales al día. Si veinte llegan al cliente, ocho respetan la política de precios y dos avanzan, “cien propuestas” es una medida de producción, no de valor. Lo mismo ocurre con las líneas de código, los tickets respondidos, las campañas creadas o los informes resumidos.

uno resultado aceptado debe cumplir cuatro condiciones:

1. alcanzó el destinatario o el estado final definido;
2. pasó criterios de calidad conocidos antes del experimento;
3. restricciones de riesgo, seguridad y responsabilidad preservadas;
4. tuvo un costo total observable, incluyendo revisión, contexto, integración y operación.

La fórmula no necesita fingir precisión financiera donde aún no existe. Es necesario evitar que una unidad de infraestructura se presente como resultado de negocio:

custo por outcome aceito = custo total do fluxo / outcomes aceitos

Los tokens, las llamadas, los asientos y el tiempo de GPU siguen siendo importantes. Explican el consumo y ayudan a operar la capacidad. un FinOps Fundación distingue las unidades de eficiencia de recursos de las unidades relacionadas con el negocio. Un token puede componer el numerador; no debe ocupar el lugar del resultado en el denominador.

Cinco dimensiones, una decisión

Las cinco dimensiones forman un conjunto. La velocidad sin aceptación solo puede producir inventario. La calidad sin costos operativos puede no escalar. Los ahorros sin riesgo pueden transferir una factura mayor al futuro. Un piloto avanza cuando el conjunto mejora dentro de los límites acordados.

Resultado

Defina el cambio desde el punto de vista del destinatario. “Generar resumen” es una actividad. “Reducir el tiempo que tarda un analista en tomar una decisión correctamente documentada” es una hipótesis de resultado.

Elija una unidad que resista un cambio de modelo. Esto evita que la empresa confunda el éxito del proveedor con el éxito del flujo.

Aceptación

Aceptado no significa perfecto; medios adecuados a los criterios establecidos. El criterio puede combinar pruebas automáticas, políticas, muestreo y decisión humana. Registre el rechazo y la corrección material, no solo la aprobación final.

Si la IA crea algo en dos minutos que requiere cuarenta minutos para corregirlo, el tiempo de generación cuenta una historia incompleta.

Flujo

Mida desde la entrada relevante hasta el resultado, no solo la parte automatizada. Un generador más rápido puede aumentar los tiempos de espera del servicio. Un clasificador puede mover la cola para excepciones. Una respuesta automática puede reducir el servicio y aumentar el retrabajo posterior.

La hora local es diagnóstica. El tiempo de un extremo a otro es una decisión.

Economía

Incluya licencias, consumo, preparación de contexto, integración, revisión, observabilidad, incidentes y operación. En los primeros ciclos, una estimación de rango es más honesta que un retorno de la inversión con muchos decimales.

Compare con la alternativa relevante: proceso actual, cambio sin IA o no hacer nada. El “coste cero” rara vez existe; el trabajo simplemente aparece en otro centro de costos.

Riesgo

Defina qué no puede empeorar: exposición de datos, promesas indebidas, decisiones no autorizadas, fallas regulatorias, daños al cliente o acciones irreversibles. Cuente incidentes y cuasiincidentes con contexto.

La ausencia de fallos observados en una muestra pequeña no demuestra seguridad. Sólo muestra lo que ese experimento logró observar.

Diseñe la línea de base antes de encender la IA

Sin una línea de base, el piloto compara el entusiasmo con la memoria. Registre el proceso actual utilizando la misma unidad y criterios que se aplicarán al nuevo flujo.

Una línea de base útil no necesita meses de instrumentación. Para una transmisión delimitada, puede comenzar con:

• volumen y composición de tareas;
• resultados aceptados;
• tiempo de espera y de un extremo a otro;
• retrabajo y escaladas;
• costo aproximado de personas y sistemas;
• fallas, excepciones y severidad;
• diferencias por experiencia, tipo de tarea o canal.

La segmentación importa. La evidencia citada en este artículo encontró diferentes efectos según el nivel de experiencia. Un promedio puede ocultar quién recibió valor y quién asumió el costo del cambio.

Un contrato piloto en una página

Antes de la primera ejecución, registre:

El contrato también establece lo que el piloto no prueba. Una prueba interna puede informar la capacidad operativa sin demostrar la preferencia del cliente. Un grupo de voluntarios puede demostrar membresía sin representar a toda la empresa. Es posible que un mes estable no cubra la estacionalidad.

Tres decisiones maduras

Expandir

El resultado mejoró, los criterios de aceptación se mantuvieron y el costo y el riesgo están dentro de los límites. La expansión se realiza por etapas, manteniendo la observabilidad y la capacidad de reversión.

Rediseño

Hay una señal de valor, pero el cuello de botella ha cambiado, la revisión se ha encarecido o una población se ha visto perjudicada. El siguiente ciclo cambia una hipótesis específica (proceso, contexto, herramienta, verificación o capacitación) y preserva la comparación.

Cerrar

El caso no mejora el resultado, cuesta más que la alternativa o crea un riesgo incompatible. El cierre no es un fracaso del programa. Es un retorno de la inversión en aprendizaje, siempre y cuando se registre la decisión y sus evidencias.

El cuarto estado, “seguir conduciendo sin decidir”, suele ser el más caro.

Qué deberían preguntar los líderes en la revisión

• ¿Qué decisión debería informar este piloto?
• ¿Cuál fue la línea de base y se midió con los mismos criterios?
• ¿Quién recibió el resultado y quién declaró su aceptación?
• ¿Qué retrabajo quedó fuera de la automatización?
• ¿En qué tarea o población se concentra la ganancia?
• ¿Cuál es el costo total por resultado aceptado?
• ¿Qué no se puede concluir de esta muestra?
• ¿Qué mecanismo cambiará si nos expandimos?

Estas preguntas no requieren que la junta elija modelos. Exigen que la empresa mantenga el vínculo entre tecnología, trabajo y resultados.

Conclusión

Un piloto de IA debe comprar información para tomar una decisión, no aplausos para una demostración.

Producir más puede ser útil, pero sólo si el flujo transforma esta capacidad en resultados aceptados. La medida madura preserva el camino completo: resultado, calidad, tiempo, costo y riesgo. Reconoce la heterogeneidad, explica los límites y nos permite decir “no” cuando la tecnología no mejora ese sistema.

Los tokens permanecen en el panel operativo. El valor comienza cuando el cliente, el equipo o la empresa recibe un cambio verificable y alguien puede argumentar, con evidencia, por qué merece ampliarse.

Lectura anterior: La IA amplifica el negocio que ya tienes. Próxima lectura: *Basado en especificaciones sin autoengaño*, en preparación en Trustyu Forge.