Pesquisa em UX · Passo 4 · 9 min de leitura
Medir a usabilidade
Dá para medir a usabilidade, desde que você saiba o que está medindo. A definição da ISO em três partes, as métricas de cada uma (taxa de sucesso, tempo na tarefa, a Single Ease Question e a System Usability Scale), como pontuar o SUS à mão, o que 68 significa e por que números precisam de muito mais gente do que achados.
"Os usuários acharam fácil" é uma opinião. "8 de 10 terminaram, com mediana de 74 segundos, e deram 77,5 no SUS" é uma medida. Números não substituem observar as pessoas: eles dizem quanto, e só observar diz por quê. Mas quando você precisa comparar duas versões, acompanhar um produto ao longo das versões ou convencer alguém que não estava na sala, um conjunto pequeno de medidas padrão faz o que uma citação não faz.
O que você vai conseguir fazer depois de ler:
- Explicar a definição de usabilidade da ISO 9241-11 nas suas três partes
- Escolher uma métrica para eficácia, eficiência e satisfação
- Aplicar a SEQ depois de uma tarefa e pontuar um questionário SUS à mão
- Interpretar uma nota SUS, e saber de quantos participantes um número precisa
1. O que "usável" quer dizer, oficialmente
A norma internacional de usabilidade é a ISO 9241-11 ("Ergonomics of human-system interaction, Part 11: Usability: Definitions and concepts"), revisada em 2018 (ISO 9241-11:2018). John Brooke, que coordenou o grupo que escreveu a primeira versão, resume a ideia: não existe uma propriedade de um produto que, sozinha, se chame usabilidade. Algo é usável para usuários específicos, fazendo tarefas específicas, num contexto específico, e a norma divide isso em três componentes (Brooke, SUS: A Retrospective, Journal of Usability Studies, 2013):
- Eficácia: se as pessoas conseguem completar as tarefas e alcançar os objetivos.
- Eficiência: quanto esforço e recurso elas gastam para chegar lá.
- Satisfação: o quanto se sentem confortáveis enquanto fazem isso.
- EficáciaA pessoa chegou lá?
Se a pessoa completa a tarefa e alcança o objetivo, do jeito certo.
Taxa de sucesso: 7 de 10 adicionaram a conta com os valores certos.
- EficiênciaQuanto isso custou?
O tempo, os passos e o esforço gastos para chegar ao objetivo.
Tempo na tarefa, caminhos errados, erros: mediana de 74 segundos.
- SatisfaçãoComo foi?
O quanto a pessoa se sentiu confortável no caminho, na avaliação dela.
SEQ depois de cada tarefa; SUS no fim da sessão.
As três importam. O exemplo do próprio Brooke: um sistema em que as pessoas completam as tarefas, mas com muito esforço e todo mundo insatisfeito, não é usável. Também não é um que seja agradável, mas em que nada se resolve.
2. Eficácia e eficiência
A taxa de sucesso é a métrica de usabilidade mais simples: a porcentagem de participantes que completam uma tarefa (NN/g, Nielsen e Budiu, Success Rate, 2001). Defina o sucesso antes das sessões, por tarefa (veja Tarefas e cenários), e avalie todo mundo do mesmo jeito.
O tempo na tarefa é a principal medida de eficiência, junto com erros e caminhos errados. Dois cuidados. Use a mediana, porque algumas sessões muito lentas puxam a média para cima. E não meça tempo numa sessão de pensar em voz alta: falar deixa as pessoas mais lentas, o que, segundo o NN/g, contamina os tempos da tarefa (Nielsen e Budiu, 2001). Medir é um estudo à parte, com as suas próprias sessões.
3. Satisfação depois de cada tarefa: a SEQ
A Single Ease Question (SEQ) faz uma pergunta só, logo depois de cada tarefa: "Overall, how difficult or easy was the task to complete?", ou, em português, "No geral, quão difícil ou fácil foi completar a tarefa?", numa escala de 7 pontos, normalmente só com as duas pontas identificadas. Perguntar na hora faz a tarefa estar fresca na memória e impede que as tarefas seguintes contaminem a resposta (NN/g, Laubheimer, Beyond the NPS, 2018). Em mais de 400 tarefas e 10.000 usuários, Jeff Sauro encontrou uma SEQ média em torno de 5,5 (MeasuringU, Sauro, 10 Things to Know About the SEQ, 2012, média atualizada em 2019). Uma tarefa bem abaixo disso é um bom lugar para olhar primeiro.
4. Satisfação com o todo: o SUS
A System Usability Scale (SUS) foi criada por John Brooke na DEC em meados dos anos 1980, como um jeito "quick and dirty", rápido e simples, de medir como as pessoas percebem a usabilidade de um sistema, e foi disponibilizada de graça (Brooke, 2013). São dez afirmações, cada uma respondida em cinco pontos, de discordo totalmente (1) a concordo totalmente (5), aplicadas uma vez no fim da sessão. Os itens ímpares são positivos ("Achei o sistema fácil de usar"); os pares são negativos ("Achei o sistema desnecessariamente complexo").
Pontuação (Sauro, Measuring Usability with the SUS, MeasuringU, 2011):
- Itens ímpares: subtraia 1 da resposta.
- Itens pares: subtraia a resposta de 5.
- Cada item agora vale de 0 a 4. Some tudo e multiplique por 2,5, para uma nota de 0 a 100.
| # | Afirmação | Resposta (1–5) | Regra | Pontos |
|---|---|---|---|---|
| 1 | Acho que gostaria de usar este sistema com frequência. | 4 | resposta − 1 | 3 |
| 2 | Achei o sistema desnecessariamente complexo. | 2 | 5 − resposta | 3 |
| 3 | Achei o sistema fácil de usar. | 4 | resposta − 1 | 3 |
| 4 | Acho que precisaria do apoio de uma pessoa técnica para conseguir usar este sistema. | 1 | 5 − resposta | 4 |
| 5 | Achei que as várias funções do sistema estavam bem integradas. | 4 | resposta − 1 | 3 |
| 6 | Achei que havia inconsistência demais neste sistema. | 2 | 5 − resposta | 3 |
| 7 | Imagino que a maioria das pessoas aprenderia a usar este sistema muito rápido. | 5 | resposta − 1 | 4 |
| 8 | Achei o sistema muito trabalhoso de usar. | 2 | 5 − resposta | 3 |
| 9 | Me senti muito confiante usando o sistema. | 3 | resposta − 1 | 2 |
| 10 | Precisei aprender muitas coisas antes de conseguir começar a usar este sistema. | 2 | 5 − resposta | 3 |
| Soma dos pontos | 31 | |||
| × 2,5 = nota SUS | 77,5 |
O ×2,5 não é ciência. Brooke conta que foi uma decisão de marketing na DEC: gerentes e engenheiros entendiam uma escala de 0 a 100 com mais facilidade do que uma de 10 a 50 (Brooke, 2013). O lado ruim é que as pessoas leem as notas SUS como porcentagens, e elas não são.
Interpretando uma nota. Os dados de Sauro, de 500 estudos, dão uma média de SUS de 68; acima disso é acima da média, abaixo é abaixo (MeasuringU, 2011). Percentis são o jeito honesto de apresentar: um 74 é melhor do que cerca de 70% dos produtos, e qualquer coisa abaixo de 51 fica entre os 15% piores. O NN/g acrescenta que é preciso 80 ou mais para estar entre os 10% melhores (Laubheimer, 2018). Sauro também observa que os itens 4 e 10 formam uma subescala de aprendizado, e os outros oito, uma de usabilidade. O card SUS tem os dez itens para copiar e uma calculadora que dá a nota das respostas de uma pessoa.
5. De quantas pessoas um número precisa
Um SUS de 77,5 vindo de três pessoas diz muito pouco: mais um participante pode mudá-lo em dez pontos. Toda métrica é uma estimativa do que toda a sua população de usuários tiraria, e a precisão depende da amostra. A orientação do NN/g para a maioria dos estudos quantitativos de usabilidade é de cerca de 40 participantes, e toda métrica deve vir com o seu intervalo de confiança (NN/g, Budiu e Moran, 2021). O raciocínio está em Quantos participantes, e a matemática em Tamanho da amostra e margem de erro.
Isso não torna as métricas inúteis em testes pequenos. Fazer a SEQ num teste qualitativo com cinco pessoas tudo bem, como ponto de partida para conversa ("Você deu 3. Me conte sobre isso"), não como resultado. A regra é simples: achados de cinco, números de quarenta.
Medidas mostram o seu valor com o tempo. Repita as mesmas tarefas e o SUS a cada versão importante, com participantes parecidos, e você tem um benchmark: uma linha que mostra se o produto está ficando mais fácil de usar. Isso se liga direto a Definindo sucesso e às metas no estilo HEART que o seu time já acompanha.
6. Erros comuns
- Apresentar uma nota SUS como porcentagem ("70% usável").
- Reescrever ou tirar itens do SUS e depois comparar com o benchmark de 68.
- Fazer a média dos tempos na tarefa em vez de usar a mediana.
- Medir tempo em sessões de pensar em voz alta.
- Porcentagens e médias de cinco pessoas, sem intervalo de confiança.
- Fazer a SEQ depois das perguntas de aprofundamento, quando as suas perguntas já moldaram a resposta.
7. Vocabulário
| Termo | Significado |
|---|---|
| ISO 9241-11 | A norma internacional que define usabilidade: eficácia, eficiência e satisfação num contexto de uso |
| Taxa de sucesso | A porcentagem de participantes que completam uma tarefa |
| Tempo na tarefa | Quanto uma tarefa leva; apresentado como mediana |
| SEQ | Single Ease Question: uma nota de dificuldade em 7 pontos, depois de cada tarefa |
| SUS | System Usability Scale: dez afirmações, nota de 0 a 100, depois da sessão |
| Percentil | Onde uma nota fica em relação às outras: o percentil 70 supera 70% delas |
| Benchmark | As mesmas medidas repetidas ao longo do tempo, para acompanhar a mudança |
8. Experimente (sem ferramentas)
- Responda você mesmo às dez afirmações do SUS sobre um app que você usa todo dia. (Os itens estão na página do SUS da MeasuringU, em inglês, e na figura acima.)
- Pontue à mão com as três regras. Depois faça o mesmo para um app de que você não gosta.
- Onde cada um fica em relação a 68 e a 80?
Perguntas para refletir: O número bateu com a sua sensação sobre cada app? O que seria preciso para você confiar numa nota dessas para o seu próprio produto?
9. Se você já pratica
- Escolha três tarefas principais e aplique-as com o SUS a cada versão importante: um benchmark simples vale mais do que um estudo sofisticado feito uma vez.
- Use a redação original do SUS. Se precisar de outro idioma, Brooke conta que as primeiras traduções não tinham validação; procure uma versão validada, ou valide a sua, antes de comparar com os benchmarks em inglês. A tradução da figura acima é só para leitura.
- Apresente toda métrica com o tamanho da amostra e o intervalo de confiança, e junte a ela um achado que a explique.
- Quantifying the User Experience, de Sauro e Lewis, é a referência para a estatística por trás de tudo isso.
Checklist
Para saber mais
- ISO: ISO 9241-11:2018, Ergonomics of human-system interaction, Part 11: Usability: Definitions and concepts
- John Brooke, SUS: A Retrospective (Journal of Usability Studies 8(2), 2013) · SUS: A "quick and dirty" usability scale (em Usability Evaluation in Industry, 1996)
- MeasuringU: Measuring Usability with the System Usability Scale (SUS) (Sauro, 2011) · 10 Things to Know About the Single Ease Question (Sauro, 2012)
- NN/g: Success Rate: The Simplest Usability Metric (Nielsen e Budiu, 2001) · Beyond the NPS: SUS, NASA-TLX, and the Single Ease Question (Laubheimer, 2018) · How Many Participants for Quantitative Usability Studies (Budiu e Moran, 2021)
Livros, cursos e vídeos para ir mais fundo
- Quantifying the User ExperienceJeff Sauro e James R. LewisLivro · 2ª edição (Morgan Kaufmann, 2016) (Amazon)
- Measuring Usability with the System Usability ScaleMeasuringUgratuito, artigo, em inglês (site externo)
Os links dos livros são de afiliado da Amazon: como associado, recebo por compras qualificadas, sem custo a mais para você.
Relacionadas
Teste de usabilidade com cinco pessoas · Definindo sucesso · Quantos participantes · Tamanho da amostra e margem de erro · Analytics e testes A/B para designers · Escrever perguntas de questionário