it-swarm-pt.tech

O que é recomendado para o número de usuários usar em testes qualitativos e quantitativos?

Atualmente, estou reconstruindo toda a intranet do zero, principalmente porque a tecnologia por trás está desatualizada e foi provado que muitas informações são difíceis de encontrar.

Embora isso não seja o caso, o que me pergunto é qual seria a quantidade ideal de usuários a ser usada em testes qualitativos e quantitativos com uma base de usuários de cerca de 1000 usuários?

Existe uma regra geral para ambos com base no número total de usuários que você possui? ou é apenas dizer 5 para qualitativo e 10 para quantitativo?

Qual seria a melhor abordagem?

9
LiamGu

Em Por que você só precisa testar com 5 usuários Jakob Nielsen sugere:

Os melhores resultados vêm do teste de não mais do que 5 usuários e da execução de quantos testes pequenos você puder pagar.

No entanto, em vez de focar no número de usuários, talvez seja melhor focar no número e na qualidade das tarefas :

As tarefas de teste de usabilidade são tão críticas que algumas pessoas argumentam que são ainda mais importantes que o número de participantes que você usa: parece que quantas tarefas os participantes tentam, e não o número de participantes do teste) é o fator crítico para encontrar problemas em um teste de usabilidade .

10
Antony Quinn

Não tenho uma referência para isso, mas acho que esses números dependeriam do tamanho da base de usuários.

Para testes qualitativos, você precisa ter usuários "típicos". Portanto, se você tem três funções que seus usuários podem assumir, você precisa de pelo menos três usuários - um para cada função. Na realidade, você deseja mais de um, mas esse é o seu mínimo absoluto.

Para testes quantitativos, você precisa de uma proporção significativa da sua base de usuários. Não sei qual seria esse número, mas se você considerar sua base de usuários e 10% como um número, precisará de 100 usuários. No entanto, isso pode não ser realista - pode não haver maneira de gerenciar tantos usuários ou, se você tiver uma pequena base de usuários, produziria um número muito pequeno.

2
ChrisF

Outra coisa a considerar é para onde está indo o resultado do seu relatório de usabilidade. Quanto trabalho as pessoas a jusante podem corrigir - e qual será o efeito dessas correções?

Digamos que eu faça um teste com quinze pessoas. Depois das três primeiras, localizei problemas A B C. No final dos quinze, também vi problemas D E F G.

O problema é que a equipe a jusante de mim só tem tempo para consertar A e B.

Pior ainda - depois de corrigirmos A e B, o sistema mudou e os próximos problemas mais sérios de usabilidade podem não ser o C-G.

Então, eu observaria todo o tempo do ciclo do seu desenvolvimento de produtos - e faria apenas testes de usabilidade suficientes para preencher a fila de trabalho. Mais do que isso é provável que seja desperdício.

Minha experiência é que fazer mais testes de usabilidade com menos participantes (mesmo um) espalhados por todo o processo de desenvolvimento é muito mais eficaz do que alguns testes grandes.

2
adrianh

Para testes quantitativos, é possível ser mais explícito sobre o efeito do tamanho da amostra nos seus resultados, mas o número de usuários necessários depende dos testes ou análises específicos que você está considerando (exemplos podem estar determinando a proporção de participantes que concluíram com êxito uma tarefa , estimando o tempo médio de tarefa, comparando duas versões com um questionário como o SUMI ou o SUS ...) Portanto, é difícil definir uma regra prática que seja útil para todas as situações, mas existem técnicas para descobrir o tamanho da amostra você precisa em uma determinada situação.

Agora, se você não deseja repassar todo esse problema e realmente estimar coisas como intervalos de confiança e poder estatístico, ainda há duas conclusões importantes a serem lembradas.

A primeira é que a precisão da estimativa e, portanto, o número de usuários necessários para atingir um determinado nível de precisão não dependem do tamanho de sua base de usuários, pelo menos enquanto essa base de usuários for muito maior que sua amostra de teste. A segunda é que, quanto maior o tamanho da amostra, menor será a melhoria que você pode esperar de outros usuários de teste. Assim, passar de 10 para 110 é uma enorme melhoria, passando de 1000 para 1100 nem tanto.

É por isso que as pesquisas de opinião geralmente têm amostras de cerca de 1000 participantes, mesmo quando a população de interesse inclui vários milhões de pessoas. De fato, o tamanho da amostra para uma pesquisa pré-eleitoral normalmente será muito semelhante em países com 5, 80 ou 200 milhões de habitantes. Desde que sua amostra seja aleatória e a população seja muito maior, não importa se você está solicitando apenas 1%, 0,1% ou 0,00001% do número total de eleitores.

Ambas as conclusões ainda são verdadeiras para outras coisas que não as porcentagens: por exemplo, comparações entre classificações em um questionário de satisfação ou análises do tempo necessário para concluir uma tarefa. Se você quiser ir além, um bom ponto de partida é o site de Jeff Sauro http://www.measuringusability.com/

1
Gala