Una evaluación vale lo que valen sus casos, sus criterios y susAn evaluation is only as good as its cases, its criteria and itslímites.limits.
Así diseñamos una evaluación, leemos sus resultados y dejamos constancia de lo que establece y de lo que no.How we design an evaluation, read its results and record what it establishes and what it does not.
W2 · Criterios de aceptaciónAcceptance criteria
Lo que el proveedor debe demostrar se escribe antes de evaluar.What the vendor must demonstrate is written down before evaluating.
Cada criterio declara el comportamiento esperado, las condiciones, el entorno donde debe demostrarse, el método, el umbral y el tamaño de muestra. Los comportamientos prohibidos pueden bloquear la aceptación aunque el promedio mejore.Each criterion states the expected behaviour, the conditions, the environment where it must be shown, the method, the threshold and the sample size. Prohibited behaviours can block acceptance even if the average improves.
Criterios de aceptaciónAcceptance criteria · Ejemplo ilustrativo · FicticioIllustrative example · Fictitious
CriterioCriterion
Comportamiento esperadoExpected behaviour
EntornoEnvironment
Umbral y muestra (ejemplo)Threshold and sample (example)
C-01
Responde preguntas rutinarias según la base de conocimiento.Answers routine questions according to the knowledge base.
IntegraciónIntegration
≥ 95 % de los casos rutinarios≥ 95% of routine cases
C-02
Resuelve los casos críticos sin comprometer a la empresa.Resolves critical cases without committing the company.
IntegraciónIntegration
≥ 90 % de los casos críticos≥ 90% of critical cases
C-03
Escala a una persona cuando la situación lo exige.Escalates to a person when the situation requires it.
IntegraciónIntegration
Recall de escalamiento ≥ 85 %Escalation recall ≥ 85%
C-04
No confirma devoluciones que la política no permite.Never confirms refunds the policy does not allow.
IntegraciónIntegration
Comportamiento prohibido: ninguna ocurrenciaProhibited behaviour: zero occurrences
C-05
Mantiene el desempeño en casos críticos durante la operación.Keeps performance on critical cases during operation.
ProducciónProduction
≥ 85 % por periodo, 60 casos críticos≥ 85% per period, 60 critical cases
Ejemplo ilustrativo · FicticioIllustrative example · Fictitious
W3 · Muestreo y criticidadSampling and criticality
Lo que no puede fallar se mide aparte.What must not fail is measured separately.
Dividimos los casos en estratos: rutinarios y críticos. Un promedio sobre todos los casos se parece casi siempre al estrato más grande; la decisión depende del más delicado.We split cases into strata: routine and critical. An average over all cases almost always looks like the largest stratum; the decision depends on the most delicate one.
Fig. 3 · Muestreo y criticidad · 100 casosFig. 3 · Sampling and criticality · 100 casesEjemplo ilustrativo · FicticioIllustrative example · Fictitious
El resultado global puede ocultar fallas críticas.The overall result can hide critical failures.
95 %95%Resultado globalOverall result95 de 10095 of 100 · IC 95 %95% CI88,7–98,4 %88.7–98.4%
50 %50%Casos críticosCritical cases5 de 105 of 10 · IC 95 %95% CI18,7–81,3 %18.7–81.3%
Lectura ejecutivaExecutive reading
Los 5 errores están en los casos críticos. Con 10 casos el intervalo es amplio, pero incluso su extremo alto (81,3 %) queda bajo el criterio de 90 %.All 5 errors are in the critical cases. With 10 cases the interval is wide, but even its upper end (81.3%) stays below the 90% criterion.
No cumpleDoes not meet
C-02 · 90 %90%
Qué cuenta como caso crítico en este ejemploWhat counts as a critical case in this example
Reclamos con riesgo legal.Complaints with legal risk.
Devoluciones que la política comercial no permite.Refunds the commercial policy does not allow.
Clientes que piden hablar con una persona.Customers asking to speak to a person.
CorrectoCorrectIncorrectoIncorrect
Nota técnicaTechnical note · Clopper-Pearson bilateral 95 % · críticos = 10 % de la muestra y de la operación supuestaTwo-sided 95% Clopper-Pearson · critical = 10% of the sample and of assumed operation
W4 · Reglas de decisiónDecision rules
Cómo leemos una proporción: un ejemplo metodológico.How we read a proportion: a methodological example.
Las figuras de esta página usan el método y la regla de abajo. No son una regla universal: cada proyecto y cada criterio acuerdan por escrito su método, su nivel de confianza y su regla de decisión antes de evaluar.The figures on this page use the method and rule below. They are not a universal rule: each project and each criterion agree in writing on their method, confidence level and decision rule before evaluating.
Método en estos ejemplosMethod in these examples
Proporciones simples: intervalo exacto de Clopper-Pearson, bilateral, 95 %. Es conservador con muestras pequeñas.Simple proportions: exact two-sided 95% Clopper-Pearson interval. It is conservative with small samples.
Indicador global con muestra por estratos: promedio ponderado por el peso real de cada estrato, con intervalo aproximado.Overall figure from a stratified sample: average weighted by each stratum’s real share, with an approximate interval.
Supuestos que se declaranAssumptions we state
Los casos de cada estrato son una muestra representativa, fijada antes de evaluar.The cases in each stratum are a representative sample, fixed before evaluating.
Los casos son independientes y no se usaron para ajustar el sistema.Cases are independent and were not used to tune the system.
Cada caso se califica con un criterio escrito; la revisión experta es la referencia y su concordancia se informa.Each case is scored against a written criterion; expert review is the reference and its agreement is reported.
Ejemplo de regla de decisión frente a un umbral acordadoExample decision rule against an agreed threshold
CumpleMeets
Si el límite inferior del intervalo alcanza el umbral.If the lower bound of the interval reaches the threshold.
No cumpleDoes not meet
Si el límite superior queda por debajo del umbral.If the upper bound stays below the threshold.
InconclusoInconclusive
Si el intervalo contiene el umbral: la muestra no permite afirmar ni descartar.If the interval contains the threshold: the sample can neither confirm nor rule it out.
Un comportamiento prohibido confirmado da «No cumple», sin importar el porcentaje.A confirmed prohibited behaviour means «Does not meet», whatever the percentage.
Casos necesarios para demostrar ≥ 90 % (ejemplo)Cases needed to show ≥ 90% (example)
Errores permitidosErrors allowed
Casos mínimosMinimum cases
Límite inferiorLower bound
0
36
90,2 %90.2%
1
54
90,1 %90.1%
2
70
90,0 %90.0%
3
85
90,0 %90.0%
Con 10 casos críticos, ni 10 de 10 permitiría concluir «Cumple»: el límite inferior sería 69,2 %.With 10 critical cases, not even 10 out of 10 would support «Meets»: the lower bound would be 69.2%.
W5 · MétricasMetrics
¿Escala a una persona cuando debe? Un 89 % de exactitud deja 8 situaciones sin escalar.Does it escalate to a person when it should? 89% accuracy leaves 8 situations unescalated.
De 20 situaciones que requerían escalamiento, 8 quedaron sin escalar. La exactitud se ve alta porque la mayoría de los casos no necesitaba escalar.Of 20 situations that needed escalation, 8 were left unescalated. Accuracy looks high because most cases did not need escalation.
Cuándo sirve esta matrizWhen this matrix helps
Cuando el sistema toma una decisión con respuesta correcta conocida: escalar o no, aprobar o rechazar, marcar o dejar pasar.When the system makes a decision with a known correct answer: escalate or not, approve or reject, flag or let through.
Cuándo no bastaWhen it is not enough
Una respuesta abierta de IA generativa no tiene una sola respuesta correcta. Ahí se evalúa con criterios escritos, casos de referencia y revisión experta, o con el mecanismo de evaluación del proveedor una vez verificado.An open-ended generative AI answer has no single correct answer. There we evaluate with written criteria, reference cases and expert review, or with the vendor’s evaluation mechanism once it has been verified.
Nota técnicaTechnical note · ExactitudAccuracy = (12 + 77) / 100 · Recall = 12 / 20 · Precisión · cuando escaló, acertóPrecision · when it escalated, it was right = 12 / 15Clopper-Pearson 95 %
W6 · Evaluaciones en producciónEvaluations in production
Evaluaciones en producciónEvaluations in production
Fig. 2 · Antes y después del lanzamientoFig. 2 · Before and after launchDiagrama de servicioService diagram
01 · Antes del lanzamiento01 · Before launchEvaluación controladaControlled evaluationCriterios, casos de prueba y un resultado por criterio.Criteria, test cases and one result per criterion.
02 · Después del lanzamiento02 · After launchEvaluación periódica en producciónPeriodic evaluation in productionMuestras por periodo y reevaluación cuando cambian el modelo, las instrucciones o los datos.Samples per period and re-evaluation when the model, instructions or data change.
03 · Lo que hace posible la etapa 0203 · What makes stage 02 possibleMecanismo de evaluación del proveedorThe vendor’s evaluation mechanismProporcional al riesgo y al volumen. Si es automático: validado, calibrado y verificado periódicamente.Proportionate to risk and volume. If automatic: validated, calibrated and checked periodically.
Fig. 5 · Registro de operación · 300 casos por periodoFig. 5 · Operation register · 300 cases per periodEjemplo ilustrativo · FicticioIllustrative example · Fictitious
Tras una actualización del proveedor, los casos críticos bajan de 95,0 % a 63,3 %. El global ponderado, de 98,8 % a 94,8 %.After a vendor update, critical cases drop from 95.0% to 63.3%. The weighted overall figure, from 98.8% to 94.8%.
Mes 3 · tras actualizaciónMonth 3 · after updateProducciónProduction
236 / 240
38 / 60
94,8 %94.8%92,9–96,7 %92.9–96.7%
49,9–75,4 %49.9–75.4%
No cumpleDoes not meet
Mes 4 · reevaluaciónMonth 4 · re-evaluationProducciónProduction
238 / 240
58 / 60
98,9 %98.9%97,8–100,0 %97.8–100.0%
88,5–99,6 %88.5–99.6%
CumpleMeets
Lectura ejecutivaExecutive reading
En el mes 3 el global ponderado baja de 98,8 % a 94,8 %; leído solo, parece una variación menor. Los casos críticos bajan de 95,0 % a 63,3 %, y el límite superior de su intervalo (75,4 %) queda bajo el umbral operativo de 85 %: corresponde reevaluar.In month 3 the weighted overall figure drops from 98.8% to 94.8%; read on its own, it looks like a minor change. Critical cases drop from 95.0% to 63.3%, and the upper bound of their interval (75.4%) stays below the 85% operating threshold: re-evaluation is due.
Cómo leer el mes 1How to read month 1
56 de 60 da un intervalo de 83,8–98,2 %, que contiene el umbral. La muestra no permite afirmar que cumple: el resultado es «Inconcluso», sin señal de deterioro.56 of 60 gives an interval of 83.8–98.2%, which contains the threshold. The sample cannot confirm that it meets it: the result is «Inconclusive», with no sign of deterioration.
Por periodo: 240 rutinarios + 60 críticos (sobremuestreados) · global ponderado 90 / 10 por la operación supuesta · críticos: Clopper-Pearson 95 % · global: aproximación normal por estratosPer period: 240 routine + 60 critical (oversampled) · overall weighted 90 / 10 by assumed operation · critical: 95% Clopper-Pearson · overall: stratified normal approximation
W7 · Mecanismo de evaluación del proveedorThe vendor’s evaluation mechanism
¿Detecta el evaluador automático del proveedor las respuestas que los expertos consideran inaceptables?Does the vendor’s automatic evaluator catch the answers experts consider unacceptable?
No todo sistema necesita un evaluador automático: según el riesgo y el volumen, puede bastar una revisión humana por muestreo. Cuando existe, revisamos cómo se validó y cómo se calibra.Not every system needs an automatic evaluator: depending on risk and volume, sampled human review may be enough. When there is one, we review how it was validated and how it is calibrated.
Qué pedirle al proveedor antes de aceptarWhat to ask the vendor for before accepting
Criterios escritos.Written criteria.Qué cuenta como respuesta correcta, aceptable o inaceptable.What counts as a correct, acceptable or unacceptable answer.
Casos de referencia.Reference cases.Un conjunto revisado por expertos que incluya los casos críticos.A set reviewed by experts that includes the critical cases.
Un mecanismo de evaluación verificable.A verifiable evaluation mechanism.Proporcional al riesgo y al volumen: revisión humana por muestreo, un evaluador automático o ambos. Si hay evaluador automático, su validación y calibración documentadas.Proportionate to risk and volume: sampled human review, an automatic evaluator, or both. If there is an automatic evaluator, its documented validation and calibration.
Un plan de verificación.A verification plan.Cada cuánto se mide y qué cambios obligan a reevaluar: modelo, instrucciones, datos.How often it is measured and which changes require re-evaluation: model, instructions, data.
Acceso a resultados y registros.Access to results and logs.Para que un tercero pueda repetir la medición.So a third party can repeat the measurement.
Si solo recibes una demostración, no tienes cómo saber si el sistema sigue funcionando. Revisamos si lo que te entrega tu proveedor permite verificarlo, y qué falta. Si incluye un evaluador automático, revisamos su validación y calibración.If all you get is a demonstration, you have no way to know whether the system keeps working. We check whether what your vendor delivers makes that verifiable, and what is missing. If it includes an automatic evaluator, we review its validation and calibration.
Fig. 6 · Mecanismo de evaluación del proveedor · 30 casos de referenciaFig. 6 · The vendor’s evaluation mechanism · 30 reference casesEjemplo ilustrativo · FicticioIllustrative example · Fictitious
Qué mide esta figuraWhat this figure measures
Solo la detección de respuestas inaceptables: el recall del evaluador para esa clase. No mide su calibración completa ni, por sí sola, su confiabilidad.Only the detection of unacceptable answers: the evaluator’s recall for that class. It does not measure its full calibration nor, on its own, its reliability.
Calibración inicialInitial calibration24 de 30 · IC 61,4–92,3 %24 of 30 · CI 61.4–92.3%
Verificación del mes 3 · tras actualizaciónMonth 3 check · after update17 de 30 · IC 37,4–74,5 %17 of 30 · CI 37.4–74.5%
Tras recalibrarAfter recalibration27 de 30 · IC 73,5–97,9 %27 of 30 · CI 73.5–97.9%
Lectura ejecutivaExecutive reading
Después de la actualización del mes 3, el evaluador detecta 17 de 30 respuestas inaceptables: 13 habrían pasado como correctas. Con 30 casos los intervalos se superponen (61,4–92,3 % y 37,4–74,5 %), así que la caída no es concluyente por sí sola, pero basta para pedir recalibración antes de seguir confiando en él.After the month 3 update, the evaluator catches 17 of 30 unacceptable answers: 13 would have passed as correct. With 30 cases the intervals overlap (61.4–92.3% and 37.4–74.5%), so the drop is not conclusive on its own, but it is enough to ask for recalibration before relying on it again.
DetectadaDetectedNo detectadaMissed
Qué más se revisa para juzgar su confiabilidadWhat else we review to judge its reliability
Falsas alarmas: respuestas aceptables que marca como inaceptables (precisión).False alarms: acceptable answers it flags as unacceptable (precision).
Concordancia con los expertos en todas las categorías, no solo en las inaceptables.Agreement with experts across all categories, not only the unacceptable ones.
Calibración: si sus puntajes o niveles de confianza corresponden a la frecuencia real de aciertos.Calibration: whether its scores or confidence levels match the real rate of correct calls.
Desempeño por tipo de caso, incluidos los críticos.Performance by type of case, including critical ones.
Estabilidad entre versiones del modelo, de las instrucciones y de los datos.Stability across versions of the model, the instructions and the data.
Nota técnicaTechnical note · Referencia: revisión experta con concordancia entre revisores informada · casos de referencia nuevos en cada verificación · Clopper-Pearson bilateral 95 %Reference: expert review with inter-rater agreement reported · new reference cases at every check · two-sided 95% Clopper-Pearson
W8 · TrazabilidadTraceability
Cada conclusión deja constancia de qué se probó, con qué evidencia y quién responde.Every conclusion records what was tested, with what evidence, and who is accountable.
La conclusión y la recomendación las emite el evaluador. La decisión la registra la empresa compradora.The evaluator issues the conclusion and the recommendation. The buying company records the decision.
A-02 · Asistente de atención · v1.0A-02 · Customer service assistant · v1.0FicticioFictitious
Lo prometido · propuesta del proveedorWhat was promised · vendor proposal
«Resuelve los casos delicados sin intervención.»“It resolves delicate cases without intervention.”
Lo demostradoWhat was demonstratedResultadoResult
No cumpleDoes not meet
el criterio C-02: 5 de 10 casos críticos resueltos; el límite superior del intervalo queda bajo 90 %.criterion C-02: 5 of 10 critical cases resolved; the upper bound of the interval stays below 90%.
Se evaluó en integración con casos diseñados. La frecuencia de casos críticos en operación es un supuesto declarado.Evaluated in integration with designed cases. The share of critical cases in operation is a stated assumption.
SeveridadSeverity
AltaHighPrioridad · Antes de aceptarPriority · Before accepting
RecomendaciónRecommendation
Corregir antes de aceptarFix before acceptingDemostrar la corrección con un conjunto nuevo de casos críticos.Demonstrate the fix with a new set of critical cases.
Aprobó: Persona C · fecha · protocolo P-03 · E-07Approved: Person C · date · protocol P-03 · E-07
Emite: Interventoría de IAIssued by: Interventoría de IA
A · ConclusiónA · Conclusion
No cumpleDoes not meet
C-02
■ObservadaObserved
B · RecomendaciónB · RecommendationCorregir antes de aceptarFix before accepting
Registra: empresa compradoraRecorded by: buying company
C · Decisión del compradorC · Buyer’s decision
PendientePending
La empresa no ha registrado una decisión. Una decisión del comprador no es una conclusión ni una aprobación de Interventoría de IA.The company has not recorded a decision. A buyer’s decision is neither a conclusion nor an approval by Interventoría de IA.
W9 · Límites e independenciaLimits and independence
Lo que una evaluación establece, y lo que no.What an evaluation establishes, and what it does not.
No es una certificación acreditada ni una conformidad regulatoria.It is not an accredited certification or regulatory conformity.
No garantiza ausencia de fallos fuera de los escenarios probados.It does not guarantee the absence of failures outside the tested scenarios.
No se extiende a entornos, versiones o canales no evaluados.It does not extend to environments, versions or channels that were not evaluated.
No es una opinión legal.It is not a legal opinion.
Alcance de la firmaScope of the firm
En un encargo de Interventoría de IA revisamos el mecanismo de evaluación que entrega el proveedor: sus criterios, sus casos de referencia, su calibración y su verificación periódica. Cuando un sistema o una herramienta es nuestra, nunca presentamos su verificación como independiente.In an Interventoría de IA engagement we review the evaluation mechanism the vendor delivers: its criteria, its reference cases, its calibration and its periodic checks. When a system or a tool is ours, we never present its verification as independent.
IndependenciaIndependence
En los encargos de evaluación independiente, nunca evaluamos sistemas que hayamos construido, suministrado u operado.In independent evaluation engagements, we never evaluate systems we built, supplied or operated.Nuestros honorarios no dependen de que el resultado sea favorable. Cada especialista pasa la misma revisión de conflictos de interés. Cuando un caso requiere una opinión legal, la da un abogado habilitado.Our fees do not depend on a favourable result. Every specialist goes through the same conflict-of-interest review. When a case requires a legal opinion, a licensed lawyer gives it.
Especialistas según el casoSpecialists, as each case requires
Ingeniería de softwareSoftware engineering · Machine learningMachine learning · Ciencia de datosData science · CiberseguridadCybersecurity · Privacidad y datosPrivacy and data protection · Legal y contratosLegal and contracts · EconomíaEconomics · Expertos del sectorIndustry experts
Si tienes una decisión por delante, empecemos por ahí.If you have a decision ahead, let’s start there.
