Un panel de control muestra que la gente pasa más tiempo en el producto tras el rediseño. El equipo lo atribuye a un mayor engagement, pero ese tiempo extra también podría deberse a la confusión. La validez tiene que ver con si los datos respaldan realmente la interpretación que hacemos: qué significa una métrica, si una afirmación causal está justificada y hasta qué punto se puede aplicar la conclusión.
Conviene tratar la validez como un argumento respaldado por pruebas, más que como una etiqueta fija que se le pone a un estudio o cuestionario. Una misma métrica puede servir para una interpretación y no para otra, dependiendo de la población, el objetivo y las condiciones.
Plantéate si la métrica representa el concepto
La validez de constructo tiene que ver con la relación entre el concepto que queremos analizar y cómo lo medimos. Si el concepto es la confianza, una pregunta sobre el atractivo visual no es un sustituto válido solo porque un diseño bonito a veces transmita confianza. Define qué significa ese concepto en tu estudio y analiza qué otros factores podrían estar generando ese resultado.
Las evidencias pueden surgir del propio contenido de la herramienta, de cómo lo interpretan los participantes y de su relación con otras métricas. Un cuestionario validado en otros estudios puede ser útil, pero cualquier cambio en la redacción, el idioma o el contexto puede hacer que los resultados anteriores ya no sirvan.
La validez aparente se refiere a si una métrica parece adecuada a simple vista. Esto puede ayudar durante el desarrollo, pero la apariencia por sí sola no garantiza que los resultados respalden la interpretación que buscamos.
Ajusta las afirmaciones causales y generales al diseño del estudio
La validez interna evalúa si una conclusión causal se sostiene por sí misma o si se explica por otros factores. La asignación aleatoria puede reforzar una comparación, pero los fallos de implementación, la falta de datos sobre los resultados o las interferencias entre participantes aún pueden comprometer la conclusión.
La validez externa se refiere a si los resultados se pueden aplicar fuera del estudio. Plantear una tarea realista, contar con los participantes adecuados y elegir un entorno apropiado ayuda, pero un estudio no se vuelve aplicable a cualquier situación solo por haberse hecho en una casa en vez de en un laboratorio. El análisis de Nielsen Norman Group sobre validez interna y externa explica por qué debemos prestar atención tanto a la comparación en sí como al alcance que pretendemos darle.
La validez ecológica suele usarse para describir la relación entre las condiciones de la investigación y la vida real. El realismo importa, pero buscar más realismo no siempre es lo mejor para resolver cualquier duda. Tampoco hay una norma fija que diga que una mayor validez interna deba restar validez externa; un diseño bien planteado puede equilibrar ambas dentro de un marco concreto.
Diferencia la consistencia de una interpretación correcta
La fiabilidad tiene que ver con la consistencia de la medición en unas condiciones concretas. Un clic registrado con total precisión puede seguir siendo una mala métrica para medir la comprensión. Y al revés: el margen de error de una medición puede debilitar una interpretación, aunque el concepto elegido sea el correcto.
En el ejemplo del engagement, convendría analizar qué hicieron los usuarios durante ese tiempo extra, si lograron sus objetivos y cómo se recogieron los datos de los eventos. Las entrevistas, la observación de tareas y las métricas de resultados pueden arrojar luz sobre distintos aspectos de la interpretación. Que varias fuentes coincidan solo sirve si realmente responden a la pregunta y si entendemos sus limitaciones.
Primero define la hipótesis y luego reúne las pruebas necesarias. Este enfoque hace que conceptos como la triangulación y la generalización sean tangibles: el equipo podrá ver qué interpretación se sostiene, cuál sigue en el aire y qué necesitaría resolver un próximo estudio.