- El autor Terence Eden pidió a usuarios reales que siguieran la guía de instalación (README) de un programa llamado ActivityBot. Planeó esta prueba durante su solicitud de subvención a NLnet, reclutó participantes en Mastodon y realizó una videollamada de 1 horas con cada persona.
- Los participantes compartieron su pantalla y hablaron en voz alta mientras explicaban dónde se confundían o se atascaban. El autor anotó a mano lo que decían, corrigió la guía después de cada sesión y luego la volvió a probar con la siguiente persona.
- Entre los problemas señalados en el original están un enlace roto a una herramienta de demostración, personas que leían la guía en una terminal, un orden de secciones confuso, la falta de una explicación de lo que hace el programa y permisos distintos según el servidor web.
- El autor afirmó que probó el README con varios participantes pagados, a 25 cada uno, y que gastó unos 150 en total. La afirmación de que la guía se volvió más fácil de seguir es un juicio del autor; el original no incluye mediciones separadas.
Me detuve un buen rato en la parte donde el autor da por normal cosas como sudo o la diferencia de un solo guion. El texto no dice entre cuántas personas se repartió 150, así que no me queda claro cuán pequeño podría ser el inicio de ese mismo método. Si su equipo corrige la documentación con frecuencia, ¿han empezado por definir antes en qué situaciones se atascan?