¿Tu proyecto de IA hace lo que teDoes your AI project do what you were prometieron?promised?
Probamos los sistemas de IA que terceros construyen para tu empresa. Antes de pagar, de aceptar la entrega o de ponerlos frente a tus clientes.We test the AI systems third parties build for your company. Before you pay, accept delivery or put them in front of your customers.Probamos la IA que terceros construyen para tu empresa, antes de pagarla o aceptarla.We test the AI third parties build for your company, before you pay for it or accept it.
Los 5 errores están en los 10 casos críticos. La cifra global no basta para aceptar una entrega.All 5 errors are in the 10 critical cases. The overall figure is not enough to accept a delivery.
«Está listo para atender a sus clientes.»“It is ready to serve your customers.”
Lo afirma el proveedor, a partir de una demo con preguntas que él mismo eligió.The vendor says so, based on a demo with questions it chose itself.
«Aplica la política comercial de la empresa.»“It applies the company’s commercial policy.”
No cumpleDoes not meet
Ante un cliente insistente, confirmó una devolución que la política no permite.Pressed by a persistent customer, it confirmed a refund the policy does not allow.
«Operarlo cuesta centavos por conversación.»“Running it costs cents per conversation.”
El cálculo deja por fuera revisiones humanas, reintentos y excepciones.The estimate leaves out human reviews, retries and exceptions.
¿Tienes una entrega de IA pendiente porDo you have an AI delivery waiting to be aceptar?accepted?
Las preguntas que te van a hacer cuando algo falle.The questions you will be asked when something fails.
- ¿Si el proveedor se va, podemos seguir operando lo que pagamos?If the vendor leaves, can we keep running what we paid for?Dependencia y arquitecturaVendor dependency and architecture
- ¿Qué pasa cuando se equivoca frente a un cliente real?What happens when it gets it wrong with a real customer?Fallos y excepcionesFailures and exceptions
- ¿Podemos explicar de dónde salió una respuesta?Can we explain where an answer came from?Datos y trazabilidadData and traceability
- ¿Quién se entera primero si deja de funcionar?Who finds out first when it stops working?Operación y continuidadOperations and continuity
- ¿El resultado justifica lo que cuesta operarlo?Does the result justify what it costs to run?Economía realReal economics
Después de una actualización, el sistema seguía mostrando un resultado global alto. Pero había perdido confiabilidad precisamente en losAfter an update, the system still showed a high overall result. But it had lost reliability precisely in the casos críticos.critical cases.
Global ponderado en los mismos periodos: 98,8 % → 94,8 %.Weighted overall in the same periods: 98.8% → 94.8%.
En el mes 3, el intervalo de los críticos (49,9–75,4 %) queda entero bajo el umbral operativo de 85 % del ejemplo. En el mes 4, tras la corrección: 58 de 60.In month 3, the critical-case interval (49.9–75.4%) lies entirely below the example’s 85% operating threshold. In month 4, after the fix: 58 of 60.
¿Tu proveedor te entregó una forma de verificarlo después del lanzamiento?Did your vendor give you a way to check it after launch?
Una demo prueba un día. Tu proveedor debería darte con quéA demo proves one day. Your vendor should give you a way to verificar los siguientes.check the days that follow.
Qué pedirle antes de aceptarWhat to ask for before accepting · Detalle en Cómo trabajamosDetails in How we work →- Criterios escritosWritten criteriaQué cuenta como correcto, aceptable o inaceptable.What counts as correct, acceptable or unacceptable.
- Casos de referenciaReference casesRevisados por expertos, con los casos críticos.Reviewed by experts, including the critical cases.
- Un mecanismo verificableA verifiable mechanismProporcional al riesgo; si es automático, validado y calibrado.Proportionate to risk; if automatic, validated and calibrated.
- Plan de verificación y reevaluaciónVerification and re-evaluation planCada cuánto se mide y qué cambios obligan a repetir.How often it is measured and which changes require repeating it.
- Resultados y registrosResults and logsPara que un tercero pueda repetir la medición.So a third party can repeat the measurement.
Una persona responde por cadaOne person answers for every conclusión.conclusion.
Cada encargo tiene un responsable técnico identificado por nombre en la propuesta escrita. Firma las conclusiones y responde por ellas de principio a fin.Every engagement has a technical lead named in the written proposal. They sign the conclusions and answer for them from start to finish.
Cuando una pregunta requiere otra disciplina, como ciberseguridad, privacidad o derecho, el encargo puede sumar un especialista externo. Se identifica en la propuesta, pasa la misma revisión de conflictos de interés y no forma parte de un equipo permanente.When a question needs another discipline, such as cybersecurity, privacy or law, the engagement may add an external specialist. They are named in the proposal, go through the same conflict-of-interest review and are not part of a permanent team.
- En los encargos de evaluación independiente, no evaluamos sistemas que hayamos construido.In independent evaluation engagements, we never evaluate systems we built.
- Nuestros honorarios no dependen del resultado.Our fees do not depend on the result.
- Revisamos conflictos de interés antes de aceptar cada encargo.We review conflicts of interest before accepting each engagement.
¿Qué solución de IA estás por contratar, aprobar o poner en producción?Which AI solution are you about to buy, approve or put into production?
Cuéntanos el proyecto y la decisión que tienes que tomar. Con eso vemos juntos si una evaluación tiene sentido.Tell us about the project and the decision you need to make. Together we will see whether an evaluation makes sense.