Un test de usabilidad es

• un experimento (con grados variables de control),
• que consiste en una observación con criterios definidos,
• de una tríada fundamental en acción.

Un test…

1. genera resultados/observaciones (que en teoría no debieran ser discutibles), < Qué >
2. a partir de los cuales se pueden hacer interpretaciones (que pueden ser diferentes hechas por otres), < ¿Y qué? >
3. sobre las cuales se pueden generar recomendaciones (que pueden variar más aún según la persona, el contexto, etc.). < ¿Y ahora qué? >

Hay 4 grandes dimensiones para caracterizar un test:

1. Tipo (sumativo <> formativo)
2. Facilitación (con <> sin)
3. Relación (presencial <> remoto)
4. Contexto (real <> laboratorio)

Entre ambos extremos hay un infinito gradiente.

1. Facilitado, hay un facilitador presente que lleva el test.
2. No facilitado o auto-administrado, el Usuario avanza sólo.

Los tests no facilitados suelen ir de la mano de alguna guía y/o un registro en audio, video o mapa de calor (heatmap) de resultados para saber qué sucedió.

1. Presencial o co-locado, todes les actores están en el mismo lugar al mismo tiempo.
2. Remoto o en línea, suele haber una conexión para ver lo que está sucediendo, independientemente del registro que acompañe (usualmente video y audio).

Por supuesto, se puede hacer un test -y se hacen muchos- con un sistema real, no siempre debe ser un prototipo.

Hay 3 grandes dimensiones para caracterizar un prototipo:

1. Fidelidad (baja <> alta)
2. Soporte (físico <> electrónico/digital)
3. Funcionamiento (simulado <> real)

Veremos consejos para hacer prototipos en papel y/o en baja fidelidad.

Ver Protocolo de un test de usabilidad.

Ver Informe de un test de usabilidad.

• Handbook of Usability Testing, Jeffrey Rubin y Dana Chisnell.

Para un artículo breve acerca de cómo escribir las tareas -que luego serán utilizadas para las pruebas con Ciudadanos- recomendamos leer https://www.nngroup.com/articles/better-usability-tasks/ (10 minutos de lectura). Las reglas básicas son:

• No les digas a los Usuarios dónde ir o qué hacer.
• No armes tareas fuera del tiempo en el que vas a testear (por ejemplo, hacer un pago luego que expiró el período).
• No hacer tareas demasiado simples.
• No hagas un escenario demasiado elaborado.
• No hagas publicidad.
• No arriesgues una respuesta emocional intensa.
• No trates de ser divertido.
• Cuidá no ofender a las personas.
• Que no te cuenten, que te muestren.
• Comenzá (y a veces terminá también) con el resultado final.

El concepto general de la observación un test es:

• observar al Usuario haciendo las tareas,
• en condiciones lo mas reales posible,
• en un entorno lo mas similar al que suele tener.
• Tomar notas de lo que sucede, incluyendo lo que dice pero con foco en lo que el Usuario hace.

El contexto del test debiera ser el mas real posible. Sería ideal si fuera en la casa o en el lugar habitual del Usuario, pero eso sólo será posible (y necesario) en el caso de los Usuarios con discapacidad visual.

Además del lugar, es necesario que use herramienta/s (computadora en este caso) lo mas similar posible a la que usa normalmente. Por ejemplo, si usa una computadora de escritorio hay que tener en cuenta que el teclado de una netbook no es lo mismo. Si usa un móvil, su tamaño de pantalla y conectividad puede ser importante.

La observación debiera hacerse en un horario cómodo y usual para el Usuario. Es decir, ni demasiado temprano ni demasiado tarde, y de seguro no a las apuradas. Es fundamental mantener un contexto que lleve a la relajación tanto como sea posible.

Los Actores mínimos de un test son 3…

• Usuario/a/s: deben tratar de hacer una o más tareas (y pertenecer al grupo o muestra adecuado para las tareas),
• Facilitador/a: responsable de cuidar a los Usuarios y llevar correctamente el protocolo para que sea válido el resultado, y
• Observador/es: que deben observar y tomar notas de lo que hace el Usuario y sucede a partir de ello, para luego analizar lo qué pasó, entender porqué y poder mejorarlo.
• quien hace de Computador/es: simulan el sistema operando el prototipo.

El Usuario debe ser elegido de acuerdo con el criterio especificado en el reclutamiento

La función del Usuario es simplemente ser lo que es de la manera más relajada y “natural” posible.

Si -sea durante la verbalización o de manera espontánea frente a algún hecho- el Usuario dice algo, sus opiniones y dichos serán muy bienvenidos (y detalladamente anotados) y jamás juzgadas.

Sus funciones son 2: 1. Cuidar a las personas (especialmente a la persona que viene de afuera y nos da su tiempo y atención); y 2. Cuidar que se ejecute el protocolo adecuadamente para que sea un experimento eficaz, es decir, que sus resultados sean confiables y útiles.

El Observador debiera ser…

• un adulto (funcional, no por edad),
• con algo mas de experiencia de uso de computadora que los Usuarios
• y con un mínimo de don de gente.

La función del Observador es registrar lo que sucede (primariamente) y en el mejor de los casos tratar de aclarar porqué fue así, usando tanto la verbalización del Usuario como la entrevista post test.

Definitivamente no es su función juzgar al Usuario, ni al sitio/sistema, ni proponer o comparar soluciones excepto cuando vienen del Usuario y sirven para entender mejor su experiencia previa y por lo tanto, sus expectativas y criterios formados previamente.

Las únicas herramientas del Observador son sus sentidos y un cuaderno para anotar (o una computadora portátil si fuera muy rápido en la escritura y la computadora no hace ruido).

Sus notas debieran permitir entender y reconstruir (a los que no estuvieron ahí) lo que sucedió. Sea conciso en la escritura pero completo en el registro.

Es quien hace que el prototipo se comporte suficientemente cercano al sistema como para que la persona Usuaria pueda usarlo.

1. Combine el día, hora y lugar con el Usuario.
2. Prepare y lleve su cuaderno y con qué escribir.
3. Llame 1 o 2 días antes con para verificar el encuentro.
   • Chequee día, hora y lugar.
   • Si fueran varios esto es fundamental para que no se solapen.
   • Comience estimando 1 hora entre Usuarios (aunque luego usará menos, al inicio necesitará el tiempo y el descanso intermedio).
4. Si fuera su propio lugar/oficina/escritorio, llegue antes y verifique que todo funciona como debiera.
5. Respire profundo y espere al Usuario.
6. Dé una cálida bienvenida al Usuario/a, hágalo sentir cómodo/a.

Avance -con las buenas costumbres y cuidado usuales- y use las preguntas para ir conociéndose e ir entrando en calor.

• Nombre
• Edad
• Familia
• Estudios
• Ocupación
• Otra info…

Una vez que termina la entrevista pre test, y hasta que el Facilitador abre el juego de nuevo luego de la entrevista post test, de ahora en mas lo único que el Observador hace es fundirse con las paredes y el mobiliario a fin de que el Usuario lo olvide tanto como sea posible, y registrar. Cuando el Usuario deja de verbalizar el facilitador simplemente “levanta” la verbalización sin tomarle su atención.

Es fundamental para una buena observación separar hechos de interpretaciones. Tome registro de los hechos primero y principalmente. Si desea agregar interpretaciones, hágalo aclarando lo que son, a fin de que quienes no estuvieron no se confundan unas con otras.

Si el Usuario para y hace una pregunta directa, el Facilitador debiera -en orden de prioridad-:

1. Tratar de que el Usuario se responda solo (se puede escudar con que no sabe ya que el juego lo hicieron otros, él sólo observa e informa) y vuelva a jugar,
2. si no pudiera, ver cuál es la mínima unidad de información que necesita para seguir, anotarla y que vuelva a jugar.

La observación termina cuando el Usuario dice que ya está, logra llegar al final de la tarea o se estira la situación mas allá de lo real y/o cómodo para el Usuario.

Lo que debe observarse es:

• tiempos desde que comienza hasta que termina cada tarea,
• El camino que sigue.
• Éxitos y fracasos.
• Sorpresas.
• Observaciones (habladas).
• Emociones.
• Lugares donde se traba, se para o expresa alguna incomprensión. Idealmente, qué es lo que lo causa.
• Si existe backtraking (“volver” en el navegador), dónde se genera y si fuera posible porqué.
• Otros emergentes sean tanto físicos, verbales o de otro tipo.

La idea de la entrevista post-test es simplemente ahondar sobre lo ocurrido para entenderlo mejor.

En caso de volver sobre algo que sucedió hay que reubicarlo (“cuando estabas acá [volver a la pantalla] hiciste tal cosa y pasó esto, y dijiste tal otra, ¿tuviste una sorpresa? ¿qué esperabas, que te sorprendió?”).

• ¿Y, qué te pareció? (bien abierto).
• ¿Qué es lo que mas te acordás de todo? (complementa la anterior si no hubiera mucha respuesta)
• ¿Qué te gustó?
• ¿Qué no te gustó?
• Por favor, marca tu opinión acerca de [algo del test]

• ¿Porqué lo recomendarías/no lo recomendarías? (si no fuera neutro, y según lo que hubiera respondido en el Likert anterior).