MUSiC: Metriche Standards per l'Usabilità Bevan and Macleod, 1994
Collaudo dell'usabilità: mostrare un prototipo del sistema ad utenti tipici per una operazione di marketing
Gli utenti dovrebbero eseguire compiti semplici, si annotano le loro osservazioni, pensieri ed atteggiamenti
Sono necessari strumenti per metodi user-centred
Un laboratorio per la valutazione dell'usabilità è un ottimo, ma non unico, supporto durante la realizzazione di un programma
Valido, utile e pratico
conoscenza degli utenti: i loro interessi e gli ambineti dove svolgono il loro lavoro
obiettivi chiari (compiti misurati)
strumenti facili da usare (tv monitors, ecc...)
usabilità: estensione di un prodotto che possa essere usato da una determinata classe di utenti per ottenere mete prestabilite in modo efficace, efficiente e soddisfacente in un specifico contesto ambientale
Le misurazioni
la prestazione è dipendente dall'efficacia e dall'efficienza
È possibile misurare la soddisfazione mediante il SUMI (Software Usability Misurazione Inventaria) Kirakowski, 1996
la performance e la soddisfazione dell'utente non sono necessariamente correlate
Performance
il modo in cui l'utente raggiunge l'obiettivo prefissato con efficacia
vi devono essere utenti veramente rappresentativi
vi devono essere compiti reali
vi deve essere un ambiente di lavoro realistico
Struumenti di supporto
Performance Measuremnt Handbook Thomas and Curson, 1996
DRUM software per la valutazione dei dati, aanalisi del protocollo del video e derivazione di misure Macleod and Rengger, 1994
Network of European Usability Support Centres (INUSE 1997)
Misurazioni del lavoro
efficacia
efficienza (relativa al costo del lavoro)
efficienza relativa dell'utente (in rapporto ad un utente esperto)
produttività (tempo produttivo)
tempo per snag, search e help (tempo per superare problemi, per ricerche sulle funzioni permesse dal sistema, per ottenere aiuto)
Aspetti del lavoro
analisi e comparazioni col la versione precedente
progetti alternativi, prodotti competenti
i diagnostici indicano dove migliorare il sistema
i diagnostici indicano la competenza/conoscenza richiesta per utilizzare il sistema
misure di base (la prima e la seconda) possono essere ottenute direttamente a basso costo e in breve tempo
Taylor vs Card
la ricerca gestionale ha migliorato la produttività
le compagnie curano aspetti relativi sia dei singoli che dell'intero staff
misurazione del tempo per ogni specifico lavoro
lavoro ecclesiastico
utilizzare gli stessi aspetti temporali per compiti diversi, con nuove tecnologie e nuove procedure non è spesso possibile
Keystroke-Level Model (Card et al 1980): presume error-free (approccio bottom-up)
vengono considerati processi conoscitivi
vengono ignorate aspetti legati all'addestramento degli utenti
Altri approcci
l'analista interroga l'utente, rigurado l'usabilità del sistema, durante l'interazione
l'analista ottiene un elenco di problemi a cui cerca di dare una soluzione
in questo caso le misurazioni temporali diventano inattendibili
il contesto tecnico influenza i rilevamenti temporali
il contesto organizzativo distorce i rilevamenti
contesto della valutazione congruo al contesto di utilizzo
Problemi temporali
se viene misurato il tempo (per l'efficienza) è implicito che il compito è stato svolto completamente
nella realtà il risultato finale può essere incompleto, non curato o con errori
si analizzano le cause che hanno portato agli errori
Analisi strutturata
define il prodotto che deve essere valutato
gather context information
specificare il contesto della valutazione
preparare la valutazione
eseguire il lavoro
analizzare i dati
presentare i risultati
costi e risorse
MUSiC measures performance
efficacia - analisi del compito: quantity (% del compito tentato), quality: (% del compito raggiunto)
i comipiti scelti dovrebbero essere assessable (nella ricerca dell'informazione: se quello richiesto è ottenuto facilmente)
efficacia = f (quantity, quality)
efficacia del compito = ((quantity x quality)/100)%
efficienza = output/input
Efficienza
from a user’s point of view, the effort i/p may be quantified as the time spent carrying out the task (or mental effort to do the same)
from the organization’s point of view it is the cost: labour cost + resources cost + training cost
user efficiency = effectiveness/task time
productive & unproductive actions
azioni di help
azioni di search
azioni di snag
Snag actions e produttività
negation actions (undos)
cancelled actions (ciò che il sistema nega all'utente, ciò che l'utente nega al sistema)
rejected actions (azioni non concesse/ignorate dal sistema)
productive time: tempo privo del tempo dedicato alle operazioni di help, search e snag
user productivity: ((productive time/task time)100)%
relative user efficiency: ((user efficiency/expert efficiencty)100)%
Efficienza relativa dell'utente
la user productivity di un sistema commerciale è dell'ordine del 30-40%
se combinata con l'efficacia del compito la relative user efficienty è dell'ordine del 20-30%