Dos investigadores observan la misma sesión de usabilidad. Uno registra la tarea como un éxito porque el participante llegó a la pantalla final; el otro registra un fallo porque los datos enviados eran incorrectos. Su desacuerdo revela un problema de medición antes siquiera de calcular una media.
La fiabilidad tiene que ver con la consistencia bajo condiciones de medición concretas. Esas condiciones pueden implicar mediciones repetidas a lo largo del tiempo, diferentes evaluadores o elementos relacionados dentro de una escala. La variante relevante depende de qué necesita medir el equipo y cómo se usará el resultado.
Decide qué tipo de consistencia importa
La fiabilidad test-retest se centra en la estabilidad cuando se espera que el atributo subyacente permanezca estable en ese intervalo de tiempo. Si la experiencia de una persona cambia de forma genuina entre mediciones, una puntuación diferente no significa automáticamente que falte fiabilidad. El estudio debe justificar de forma razonable qué debería haber permanecido igual.
La fiabilidad interevaluador se centra en la concordancia entre diferentes personas que realizan evaluaciones. La consistencia interna analiza la relación entre elementos diseñados para medir un mismo constructo. Un coeficiente alto de consistencia interna no demuestra que un cuestionario sea unidimensional ni válido; las preguntas redundantes también pueden inflar esos valores.
El marco de medición COSMIN distingue las propiedades de medición en instrumentos del ámbito de la salud. Su terminología resulta útil para entender por qué la fiabilidad, el error de medición y la validez requieren diferentes tipos de evidencia, aunque sus estándares específicos no deberían aplicarse a ciegas a cualquier métrica de producto.
Haz que el criterio de puntuación sea concreto
Volviendo al ejemplo de usabilidad: define qué es el éxito antes de la siguiente ronda. ¿Requiere un envío correcto de datos, completar la tarea de forma autónoma y reconocer que se ha terminado? ¿Qué ocurre si el investigador echa una mano o el prototipo falla? Una guía de evaluación debe dejar estas distinciones lo bastante claras como para que se apliquen siempre con coherencia.
Pide a varios evaluadores que analicen de forma independiente una muestra adecuada y examina después los desacuerdos. Elige una métrica que encaje con el tipo de puntuación y el diseño, en lugar de recurrir por inercia al coeficiente de siempre. Documenta las reglas y cualquier cambio para que las futuras comparaciones no usen una definición distinta sin saberlo.
En encuestas periódicas, mantén la redacción, las opciones de respuesta y las condiciones clave de aplicación cuando la comparabilidad así lo exija. Si es imprescindible cambiar el instrumento, analiza el impacto en lugar de dar por hecho que la serie anterior y la nueva tienen continuidad.
No confundas consenso con acierto
La validez plantea si el resultado respalda realmente la interpretación que se le quiere dar. Dos evaluadores pueden estar de acuerdo con una definición mal planteada, y una puntuación estable puede estar midiendo algo equivocado. La evidencia de fiabilidad ayuda a evaluar la calidad de la medición, pero no resuelve esas dudas.
El análisis cualitativo también engloba distintas tradiciones metodológicas. Un marco de codificación compartido puede servir para evaluar la consistencia del etiquetado, mientras que el análisis temático reflexivo aborda la interpretación de otra manera y no busca necesariamente evaluadores intercambiables. Elige criterios de calidad que encajen con tu enfoque en lugar de imponer la concordancia entre evaluadores a cualquier trabajo cualitativo.
Detalla qué tipo de fiabilidad se ha evaluado, la muestra, las condiciones y el margen de incertidumbre relevante. Evita recurrir a un umbral estándar para dar por buena cualquier medición. La consistencia necesaria depende del impacto que pueda tener un error y de la decisión que dependa de esa métrica.