Marcus Andrey Estudo
Read in English Biblioteca

Pesquisa em UX · Passo 4 · 9 min de leitura

Medir a usabilidade

Dá para medir a usabilidade, desde que você saiba o que está medindo. A definição da ISO em três partes, as métricas de cada uma (taxa de sucesso, tempo na tarefa, a Single Ease Question e a System Usability Scale), como pontuar o SUS à mão, o que 68 significa e por que números precisam de muito mais gente do que achados.

"Os usuários acharam fácil" é uma opinião. "8 de 10 terminaram, com mediana de 74 segundos, e deram 77,5 no SUS" é uma medida. Números não substituem observar as pessoas: eles dizem quanto, e só observar diz por quê. Mas quando você precisa comparar duas versões, acompanhar um produto ao longo das versões ou convencer alguém que não estava na sala, um conjunto pequeno de medidas padrão faz o que uma citação não faz.

O que você vai conseguir fazer depois de ler:

  • Explicar a definição de usabilidade da ISO 9241-11 nas suas três partes
  • Escolher uma métrica para eficácia, eficiência e satisfação
  • Aplicar a SEQ depois de uma tarefa e pontuar um questionário SUS à mão
  • Interpretar uma nota SUS, e saber de quantos participantes um número precisa

1. O que "usável" quer dizer, oficialmente

A norma internacional de usabilidade é a ISO 9241-11 ("Ergonomics of human-system interaction, Part 11: Usability: Definitions and concepts"), revisada em 2018 (ISO 9241-11:2018). John Brooke, que coordenou o grupo que escreveu a primeira versão, resume a ideia: não existe uma propriedade de um produto que, sozinha, se chame usabilidade. Algo é usável para usuários específicos, fazendo tarefas específicas, num contexto específico, e a norma divide isso em três componentes (Brooke, SUS: A Retrospective, Journal of Usability Studies, 2013):

  • Eficácia: se as pessoas conseguem completar as tarefas e alcançar os objetivos.
  • Eficiência: quanto esforço e recurso elas gastam para chegar lá.
  • Satisfação: o quanto se sentem confortáveis enquanto fazem isso.
  • EficáciaA pessoa chegou lá?

    Se a pessoa completa a tarefa e alcança o objetivo, do jeito certo.

    Taxa de sucesso: 7 de 10 adicionaram a conta com os valores certos.
  • EficiênciaQuanto isso custou?

    O tempo, os passos e o esforço gastos para chegar ao objetivo.

    Tempo na tarefa, caminhos errados, erros: mediana de 74 segundos.
  • SatisfaçãoComo foi?

    O quanto a pessoa se sentiu confortável no caminho, na avaliação dela.

    SEQ depois de cada tarefa; SUS no fim da sessão.
Usabilidade como a ISO 9241-11 divide: três partes, sempre para usuários, objetivos e contexto específicos. Cada uma tem a sua medida. Um design rápido e agradável em que as pessoas não terminam a tarefa não é usável; um em que elas terminam, devagar e odiando, também não.Diagrama: Marcus Andrey, CC BY 4.0, baseado na ISO 9241-11:2018 como descrita por Brooke (2013). Os números são um exemplo.

As três importam. O exemplo do próprio Brooke: um sistema em que as pessoas completam as tarefas, mas com muito esforço e todo mundo insatisfeito, não é usável. Também não é um que seja agradável, mas em que nada se resolve.


2. Eficácia e eficiência

A taxa de sucesso é a métrica de usabilidade mais simples: a porcentagem de participantes que completam uma tarefa (NN/g, Nielsen e Budiu, Success Rate, 2001). Defina o sucesso antes das sessões, por tarefa (veja Tarefas e cenários), e avalie todo mundo do mesmo jeito.

O tempo na tarefa é a principal medida de eficiência, junto com erros e caminhos errados. Dois cuidados. Use a mediana, porque algumas sessões muito lentas puxam a média para cima. E não meça tempo numa sessão de pensar em voz alta: falar deixa as pessoas mais lentas, o que, segundo o NN/g, contamina os tempos da tarefa (Nielsen e Budiu, 2001). Medir é um estudo à parte, com as suas próprias sessões.


3. Satisfação depois de cada tarefa: a SEQ

A Single Ease Question (SEQ) faz uma pergunta só, logo depois de cada tarefa: "Overall, how difficult or easy was the task to complete?", ou, em português, "No geral, quão difícil ou fácil foi completar a tarefa?", numa escala de 7 pontos, normalmente só com as duas pontas identificadas. Perguntar na hora faz a tarefa estar fresca na memória e impede que as tarefas seguintes contaminem a resposta (NN/g, Laubheimer, Beyond the NPS, 2018). Em mais de 400 tarefas e 10.000 usuários, Jeff Sauro encontrou uma SEQ média em torno de 5,5 (MeasuringU, Sauro, 10 Things to Know About the SEQ, 2012, média atualizada em 2019). Uma tarefa bem abaixo disso é um bom lugar para olhar primeiro.


4. Satisfação com o todo: o SUS

A System Usability Scale (SUS) foi criada por John Brooke na DEC em meados dos anos 1980, como um jeito "quick and dirty", rápido e simples, de medir como as pessoas percebem a usabilidade de um sistema, e foi disponibilizada de graça (Brooke, 2013). São dez afirmações, cada uma respondida em cinco pontos, de discordo totalmente (1) a concordo totalmente (5), aplicadas uma vez no fim da sessão. Os itens ímpares são positivos ("Achei o sistema fácil de usar"); os pares são negativos ("Achei o sistema desnecessariamente complexo").

Pontuação (Sauro, Measuring Usability with the SUS, MeasuringU, 2011):

  1. Itens ímpares: subtraia 1 da resposta.
  2. Itens pares: subtraia a resposta de 5.
  3. Cada item agora vale de 0 a 4. Some tudo e multiplique por 2,5, para uma nota de 0 a 100.
#AfirmaçãoResposta (1–5)RegraPontos
1Acho que gostaria de usar este sistema com frequência.4resposta − 13
2Achei o sistema desnecessariamente complexo.25 − resposta3
3Achei o sistema fácil de usar.4resposta − 13
4Acho que precisaria do apoio de uma pessoa técnica para conseguir usar este sistema.15 − resposta4
5Achei que as várias funções do sistema estavam bem integradas.4resposta − 13
6Achei que havia inconsistência demais neste sistema.25 − resposta3
7Imagino que a maioria das pessoas aprenderia a usar este sistema muito rápido.5resposta − 14
8Achei o sistema muito trabalhoso de usar.25 − resposta3
9Me senti muito confiante usando o sistema.3resposta − 12
10Precisei aprender muitas coisas antes de conseguir começar a usar este sistema.25 − resposta3
Soma dos pontos31
× 2,5 = nota SUS77,5
Uma folha de SUS preenchida e pontuada. Os itens ímpares são positivos, então os pontos são a resposta menos 1; os pares são negativos, então os pontos são 5 menos a resposta. Some (31), multiplique por 2,5, e a nota desta pessoa é 77,5: acima da média de 68. A nota de um estudo é a média das notas de todos.Respostas de exemplo: Marcus Andrey, CC BY 4.0. As afirmações são uma tradução livre, só para ler: num estudo de verdade, use uma versão em português já validada, ou o original. Itens e pontuação: John Brooke, SUS (criada na DEC em meados dos anos 1980, publicada em 1996); pontuação como em Brooke, SUS: A Retrospective (2013). Referências: Sauro, MeasuringU (2011).

O ×2,5 não é ciência. Brooke conta que foi uma decisão de marketing na DEC: gerentes e engenheiros entendiam uma escala de 0 a 100 com mais facilidade do que uma de 10 a 50 (Brooke, 2013). O lado ruim é que as pessoas leem as notas SUS como porcentagens, e elas não são.

Interpretando uma nota. Os dados de Sauro, de 500 estudos, dão uma média de SUS de 68; acima disso é acima da média, abaixo é abaixo (MeasuringU, 2011). Percentis são o jeito honesto de apresentar: um 74 é melhor do que cerca de 70% dos produtos, e qualquer coisa abaixo de 51 fica entre os 15% piores. O NN/g acrescenta que é preciso 80 ou mais para estar entre os 10% melhores (Laubheimer, 2018). Sauro também observa que os itens 4 e 10 formam uma subescala de aprendizado, e os outros oito, uma de usabilidade. O card SUS tem os dez itens para copiar e uma calculadora que dá a nota das respostas de uma pessoa.


5. De quantas pessoas um número precisa

Um SUS de 77,5 vindo de três pessoas diz muito pouco: mais um participante pode mudá-lo em dez pontos. Toda métrica é uma estimativa do que toda a sua população de usuários tiraria, e a precisão depende da amostra. A orientação do NN/g para a maioria dos estudos quantitativos de usabilidade é de cerca de 40 participantes, e toda métrica deve vir com o seu intervalo de confiança (NN/g, Budiu e Moran, 2021). O raciocínio está em Quantos participantes, e a matemática em Tamanho da amostra e margem de erro.

Isso não torna as métricas inúteis em testes pequenos. Fazer a SEQ num teste qualitativo com cinco pessoas tudo bem, como ponto de partida para conversa ("Você deu 3. Me conte sobre isso"), não como resultado. A regra é simples: achados de cinco, números de quarenta.

Medidas mostram o seu valor com o tempo. Repita as mesmas tarefas e o SUS a cada versão importante, com participantes parecidos, e você tem um benchmark: uma linha que mostra se o produto está ficando mais fácil de usar. Isso se liga direto a Definindo sucesso e às metas no estilo HEART que o seu time já acompanha.


6. Erros comuns

  • Apresentar uma nota SUS como porcentagem ("70% usável").
  • Reescrever ou tirar itens do SUS e depois comparar com o benchmark de 68.
  • Fazer a média dos tempos na tarefa em vez de usar a mediana.
  • Medir tempo em sessões de pensar em voz alta.
  • Porcentagens e médias de cinco pessoas, sem intervalo de confiança.
  • Fazer a SEQ depois das perguntas de aprofundamento, quando as suas perguntas já moldaram a resposta.

7. Vocabulário

Termo Significado
ISO 9241-11 A norma internacional que define usabilidade: eficácia, eficiência e satisfação num contexto de uso
Taxa de sucesso A porcentagem de participantes que completam uma tarefa
Tempo na tarefa Quanto uma tarefa leva; apresentado como mediana
SEQ Single Ease Question: uma nota de dificuldade em 7 pontos, depois de cada tarefa
SUS System Usability Scale: dez afirmações, nota de 0 a 100, depois da sessão
Percentil Onde uma nota fica em relação às outras: o percentil 70 supera 70% delas
Benchmark As mesmas medidas repetidas ao longo do tempo, para acompanhar a mudança

8. Experimente (sem ferramentas)

  1. Responda você mesmo às dez afirmações do SUS sobre um app que você usa todo dia. (Os itens estão na página do SUS da MeasuringU, em inglês, e na figura acima.)
  2. Pontue à mão com as três regras. Depois faça o mesmo para um app de que você não gosta.
  3. Onde cada um fica em relação a 68 e a 80?

Perguntas para refletir: O número bateu com a sua sensação sobre cada app? O que seria preciso para você confiar numa nota dessas para o seu próprio produto?


9. Se você já pratica

  • Escolha três tarefas principais e aplique-as com o SUS a cada versão importante: um benchmark simples vale mais do que um estudo sofisticado feito uma vez.
  • Use a redação original do SUS. Se precisar de outro idioma, Brooke conta que as primeiras traduções não tinham validação; procure uma versão validada, ou valide a sua, antes de comparar com os benchmarks em inglês. A tradução da figura acima é só para leitura.
  • Apresente toda métrica com o tamanho da amostra e o intervalo de confiança, e junte a ela um achado que a explique.
  • Quantifying the User Experience, de Sauro e Lewis, é a referência para a estatística por trás de tudo isso.

Checklist

Para saber mais

Livros, cursos e vídeos para ir mais fundo

Os links dos livros são de afiliado da Amazon: como associado, recebo por compras qualificadas, sem custo a mais para você.

Relacionadas

Teste de usabilidade com cinco pessoas · Definindo sucesso · Quantos participantes · Tamanho da amostra e margem de erro · Analytics e testes A/B para designers · Escrever perguntas de questionário

Salvo só neste dispositivo.

↑ ↓ para mover · Enter para abrir · Esc para fechar