Anleitung zum systematischen Entwurf von Verfahren
zur Beurteilung der Benutzerfreundlichkeit.

Abb. 1: Evaluation

Voraussetzung für eine Evaluation sind Soll-Maßtäbe, anhand derer ein Ist-Zustand beurteilt werden kann. Zweck der Evaluation ist es, Aussagen (Evaluationsergebnisse) zu treffen, ob etwas erreicht wurde oder nicht. Damit eine Evaluation vorgenommen werden kann, bedarf es demnach einer Aufgabenstellung (Abb. 1).

1. Evaluationsverfahren werden auf der Basis einer vorgegebenen Aufgabenstellung entwickelt. Mit der vorgestellten Systematik zur Evaluation können verschiedene Alternativen zur Entwicklung von Evaluationsverfahren voneinander abgegrenzt werden.

2. Zur Entwicklung von Evaluationsverfahren sollte eine Modellbetrachtung des rechnerunterstützten Arbeitssystems verwendet werden, auf die sich die Objekte der Gestaltung und Evaluation beziehen können.

3. Vor der Gestaltung und Evaluation ist es ein Zielsystem zu bestimmen. Die Aufstellung des Zielsystems orientiert sich an den äußeren Einflußgrößen, wie z.B. an der jeweiligen Aufgabenstellung. Zum Geltungsbereich des Zielsystems sollten entsprechende Bedingungen formuliert werden.

4. Entsprechend den Zielklassen "Mindestziele", "Benutzungsziele" und "Allgemeine Ziele" können unterschiedliche Schwerpunkte bei der Gestaltung oder Evaluation bestehen. Zum Ziel "Benutzungsfreundlichkeit" muß deshalb festgelegt werden, bezüglich welcher Zielklassen eine Gestaltung oder Evaluation durchgeführt wird.

5. Realisierungsformen in rechnerunterstützten Arbeitssystemen können unterschiedliche Zielbeiträge bewirken (Zielbeiträge zu den Stufen der Mindestziele, zum Minimalniveau oder zur Zielerfüllung). Vor der Gestaltung oder Evaluation sollte deshalb festgelegt werden, welchen Zielbeitrag bestimmte Realisierungsformen bei ihrer Erfüllung bzw. Nicht-Erfüllung mit sich bringen.

6. Entsprechend der Ziele werden grundsätzliche Anforderungen, Benutzungs- und Anwendungsanforderungen zu bestimmten Gestaltungsobjekten im rechnerunterstützten Arbeitssystem zusammenstellt.

7. Forderungen zur Gestaltung von rechnerunterstützten Arbeitssystemen werden entsprechend den Zielsetzungen, der Aufgabenstellung und bestehender Anforderungen zu einem bestimmten Gestaltungsobjekt formuliert. Die Verwendung einer geeigneten Modellvorstellung mit Komponenten der Gestaltung unterstützt die Evaluation dieser Gestaltungsobjekte.

8. Zu Forderungen sollten die Teilziele benannt werden, zu denen die Forderungen Zielbeiträge erbringen können.

9. Mit Hilfe der Elemente des Ist-Arbeitssystems lassen sich alle Feststellungen beschreiben, die für den Vergleich mit dem Soll-Arbeitssystem notwendig sind.

10. Bei den Feststellungen wird angegeben, auf welches Gestaltungsobjekt sie zutreffen und unter welchen Bedingungen sie gelten (Ist-Situation).

11. Entsprechend der Aufgabenstellung zur Evaluation werden geeignete Abläufe im Untersuchungs-/Beurteilungssystem zusammengestellt.

12. Teilweise ist es möglich, das Vergleichen und Bewerten gemeinsam durchzuführen. die Vergleichsergebnisse sind dann in den Bewertungsergebnissen enthalten.

13. Die Aufgabenstellung zur Evaluation kann Hinweise zu Rahmenbedingungen, Untersuchungsmethoden und zum Objekt der Untersuchung berücksichtigt werden.

14. Die Auswahl einer Untersuchungsmethode und die Wahl eines Skalenniveaus für die Feststellungen hängt vom Ziel der Evaluation und vom geforderten Informationsgehalt der Evaluationsergbnisse ab.

15. Sollen die Feststellungen der Untersuchungen bei Soll-Ist-Vergleichen verwendet werden, müssen sie sich am Format der Soll-Vorgaben und an den dazugehörigen Bedingungen orientieren.

16. Vergleiche bei der Beurteilung von Zielen werden durchgeführt, um Aussagen über mögliche Zielbeiträge zu liefern. Das Vergleichssysten steht mit dem Zielsystem durch Kriterien in Beziehung.

17. Durch Soll-Ist-Vergleich wird beurteilt, ob Forderungen bei der Gestaltung eingehalten wurden.

18. Durch den Vergleich mit Idealvorstellungen wird beurteilt, ob sich ein Evaluator bessere Realisierungsmöglichkeiten vorstellen kann.

19. Mit System-Vergleichen wird beurteilt, ob Unterschiede zwischen verschiedenen Realisierungsmöglichkeiten bestehen. Oftmals werden bei System-Vergleichen auch Bewertungen vorgenommen. Dabei wird ermittelt, welche Zielbeiträge eine Realisierungsmöglichkeit im Vergleich zu anderen Realisierungsmöglichkeiten liefert.

20. Liegen die Feststellungen auf unterschiedlichem Skalenniveau vor und sollen die Vergleichsergebnisse zusammen ausgewertet werden, dann sollte angestrebt werden, die Vergleichsergebnisse während des Vergleichs auf einheitliche Skalen zu transformieren.

21. Absolute Bewertungen sollen von mehreren Evaluatoren durchgeführt werden. Diese sollten Kenntnis von Beurteilungen zur Zielerfüllung bei Vergleichssituationen besitzen. Die Zusammensetzung des Zielsystems muß dabei bekannt sein.

22. Die Ergebnisse relativer Bewertungen sind meist nur im Rahmen der durchgeführten Beurteilung gültig und können auf Beurteilungen bei anderen Situationen nicht übertragen werden.

23. Zu Kriterien können unterschiedliche Gewichtungsfaktoren berücksichtigt werden, wenn die Bewertungsergebnisse mindestens auf Intervallskalenniveau vorliegen.

24. Zusammen mit der Planung des Feststellungs-, Vergleichs- und Auswertungssystems sollten auch geeignete Auswertungsmöglichkeiten festgelegt, angepaßt oder entwickelt werden (Abb. 2).

25. Evaluationsverfahren lassen sich durch die Elemente des Evaluationssystems beschreiben.

26. Sofern bereits Evaluationsverfahren bestehen, können die Merkmalsausprägungen dieser Verfahren mit Hilfe der Systematik zur Evaluation beschrieben werden. Zur Auswahl eines geeigneten Evaluationsverfahrens vergleicht man die Merkmalsausprägungen bereits bestehender Evaluationsverfahren mit denen des zu planenden Verfahrens.

Abb. 2: Evaluationssystem