Wahl der Methode (Oppermann, Reiterer 94)

Quelle: (vgl. Oppermann, Reiterer 94).

Kombination von Evaluationsmethoden

Art der Methode	Gegenstand der Evaluation	Ziel, Methode, Werkzeug
subjektiv	Benutzer	Ziel: Erfassen von Benutzereigenschaften Methode: Befragung (schriftlich oder mündlich) Werkzeug: Fragebogen, Interviewleitfaden
	Aufgabe und Organisation	Ziel: Erfassen der Arbeitszufriedenheit Methode: Befragung (schriftlich oder mündlich) Werkzeug: Fragebogen, Interviewleitfaden
	Benutzungsschnittstelle der Software (Evaluationsschwerpunkt)	Ziel: Erfassen der Benutzerakzeptanz Methode: Befragung (schriftlich oder mündlich) Werkzeug: Fragebogen, Interviewleitfaden
objektiv	Aufgabe und Organisation	Ziel: Erfassen der ergonomischen Qualität der Aufgabe Methode: Beobachtung Werkzeug: Arbeits- und Aufgabenanalyse
objektiv	Benutzungsschnittstelle der Software (Evaluationsschwerpunkt)	Ziel: Erfassen der ergonomischen Qualität der Software (qualitativ) Methode: Beobachtung Werkzeug: Logfilerecording, Videoaufzeichnung
leitfadenorientiert (Methoden- schwerpunkt)	Benutzungsschnittstelle der Software (Evaluationsschwerpunkt)	Ziel: Erfassen der ergonomischen Qualität der Software (qualitativ) Methode: Expertenurteil Werkzeug: Leitfaden, Evaluations-Software

Subjektive Evaluationsmethoden

Vor- und Nachteile: Die Vorteile der subjektiven Evaluationsmethoden liegen darin, daß man Rückschlüsse bzgl. der Akzeptanz ziehen kann, daß eine wenig aufwendige und leichte Durchführung möglich ist, daß sie zur Einkreisung unstrukturierter Probleme eingesetzt werden können, etc. Nachteile können darin bestehen, daß subjektive Evaluationsmethoden anfällig sind für Übertreibungen, daß man einen repräsentativen Querschnitt an Probanden benötigt, daß es zu hohen Ausfallsquoten beim Rücklauf von schriftlichen Antworten kommen kann, daß sie Suggestionen durch die Untersuchungsfragestellung fördern, daß sie eine Vielzahl von Daten produzieren und sich damit die Auswertung aufwendig gestalten kann, daß von den Befragten in der Regel nur einfache Fragen beantwortet werden können, etc.

Objektive Evaluationsmethoden

Vor- und Nachteile: Der wesentliche Vorteil besteht darin, daß Aspekte evaluiert werden können, die sich einer Beurteilung durch den Benutzer entziehen (z.B. nicht bewußtseinsfähige und nicht bewußtseinspflichtige Operationen, die nicht verbalisiert werden können). Desweiteren werden subjektive Einflüsse der Beurteilung ausgeschaltet, was bei der Verallgemeinerung von Ergebnissen eine wichtige Rolle spielt. Der wesentliche Nachteil besteht darin, daß objektive Evaluationsmethode in der Regel aufwendig durchzuführen sind und daher vielfach auf den Einsatz in Untersuchungslabors beschränkt sind. Die Beschränkung auf die Erfassung von Verhaltensdaten engt den Anwendungsbereich zusätzlich ein. So bleibt offen, welche Hypothesen des Benutzers beziehungsweise welche Vorstellungen vom EDV-System zu den mit dieser Methode aufgezeichneten Operationen geführt haben (Moll 87).

Leitfadenorientierte Evaluationsmethoden

Vor- und Nachteile: Das methodengeleitete Expertenurteil verbindet Vorteile der subjektiven und objektiven Evaluationsmethoden, da es mit relativ geringem Durchführungsaufwand eingesetzt werden kann und gleichzeitig nachvollziehbare Ergebnisse liefert. Nachteilig ist, daß es auf objektivierbare Kriterien mit bekannten Kriteriumswerten begrenzt ist und einen entsprechend qualifizierten Evaluator voraussetzt.