in den Wirtschaftswissenschaften

Das Ziel von SEAL ist eine wirksame Verbesserung im Vergleich zu den bisher eingesetzten Systemen und Tools in der universitären Lehr- und Prüfungsorganisation.

Herzstück des Projektes bildet dabei ein computergestütztes System, welches Möglichkeiten zur Korrektur und Auswertung, zur Klausureinsicht, zur Evaluation und zum Rollenmanagement bietet. So wird es zum Beispiel möglich sein, Prüfungen und deren Auswertungsschemata flexibel zu gestalten und so an die individuellen Bedürfnisse der jeweiligen Veranstaltung anzupassen. Die Auswertungszeit von etwa 800 bis 1000 Multiple-Choice-Klausuren konnte bereits von drei Wochen auf drei Tage reduziert werden.

SEAL basiert auf der Software-Eigenentwicklung KLE (Klausureinsicht) des Lehrstuhls für Mikroökonomie. KLE wurde bereits mehrfach zur Auswertung der Klausur der Assessmentphasen-Veranstaltung "Grundzüge der VWL" an der Fakultät für Wirtschaftswissenschaften eingesetzt. Die Antwortbögen der Studierenden wurden dazu mit Hilfe einer Scan-Software in die Software eingepflegt und dort automatisch ausgewertet. So konnte die Auswertungszeit von etwa 800 bis 1000 Multiple-Choice-Klausuren bereits von drei Wochen auf drei Tage reduziert werden.

Im Rahmen der Veranstaltung "Grundzüge der VWL" wurden 142 Studierende bezüglich der Benutzerfreundlichkeit von Methoden zur Lernüberprüfungen befragt. Zur Auswahl standen dabei zwei Verfahren, die für Multiple-Choice-Klausuren geeignet sind: der Scantronbogen und der Klausurlösungsbogen (KLB). Beim Scantronbogen müssen die Kästchen, die die richtigen Antworten repräsentieren, mit Bleistift ausgemalt werden. Beim KLB muss zwar auch ein Antwortbogen ausgefüllt werden, allerdings wurde dieses Vorgehen vereinfacht, da zum Beispiel kein Bleistift mehr genutzt werden muss. Auch muss eine Fläche nicht mehr vollständig ausgemalt werden und Korrekturen sind, im Gegensatz zum Scantronbogen, ebenfalls möglich. Dieser KLB ist Grundlage für SEAL.

In der Stichprobe finden sich 90 Frauen und 52 Männer. Über 90% der Befragten studieren Wirtschaftswissenschaften oder International Business Studies. Weiterhin wurden die Fachsemester, die Benutzung von elektronischen und internetfähigen Geräten und die Erfahrung mit anderen Prüfungsformen (Scantron, KLB, Freitext, ePrüfung, Sonstige) erfragt.

Um die Benutzerfreundlichkeit der zwei zu untersuchenden Prüfungsformen zu überprüfen, wurde ein standardisierter Fragebogen gewählt. Dieser geht zurück auf Brooke [2]. Neben der guten Vergleichbarkeit mit anderen Studien ist vor allem die Berechnung der sogenannten System Usability Score (SUS) hervorzuheben. Der System Usability Score befragt dazu Nutzer zur der Benutzerfreundlichkeit einer Anwendung und stellt das Ergebnis als prozentualen Benutzerfreundlichkeitswert (oder Usability Score) der Applikation dar. Demnach entsprechen 100 Prozent einem perfekten System ohne Benutzerfreundlichkeitsprobleme, ein Wert über 80 Prozent deutet auf ein System mit exzellenter Benutzerfreundlichkeit hin, Werte zwischen 60 und 80 Prozent sind als gut zu interpretieren und ein Benutzerfreundlichkeitswert unter 60 Prozent weist auf erhebliche Probleme in der Bedienung des Systems hin.

Alle Fragebögen wurden vollständig ausgefüllt, so dass jeweils 142 SUS für jede Prüfungsform ermittelt werden konnten. Die Benutzerfreundlichkeit liegt demnach für den Scantronbogen im Mittel bei 52,62%. Die Standardabweichung beträgt etwa 16.78 Prozentpunkte. Die Benutzerfreundlichkeit liegt für den KLB hingegen im Mittel bei etwa 72%. Die Standardabweichung beträgt hier etwa 15.26 Prozentpunkte. Die Verbesserung gegenüber dem Scantronbogen ist deutlich zu sehen. Die Benutzerfreundlichkeit liegt etwa 20 Prozentpunkte über der des Scantronbogens. Dies ist umso erstaunlicher, wenn man bedenkt, dass die benötigte Anpassung relativ gering war.

SEAL ist ein computergestütztes System, welches eine zeiteffiziente Prüfungsorganisation, -durchführung und -auswertung ermöglicht. Dies verbessert sowohl die Studien- als auch die Forschungsbedingungen. Dabei ist vor allem die Flexibilität von SEAL hervorzuheben. Jeder Lehrstuhl kann eigenständig Prüfungen, Bewertungs- und Auswertungsschemata erstellen. SEAL eignet sich für jegliche Art von Multiple-Choice-Prüfungen.

Außerdem ist SEAL intuitiv bedienbar und baut auf bereits vorhandenen Architekturen der Universität Paderborn auf. Somit können die Kosten für Administration, Wartung und Umsetzung geringgehalten werden und sogar gegenüber den bislang genutzten Systemen reduziert werden.

Die Entwicklung von SEAL erfolgt kooperativ an drei Lehrstühlen aus zwei verschiedenen Fakultäten. Aus der Fakultät für Wirtschaftswissenschaften ist der Lehrstuhl für Mikroökonomie von Prof. Dr. Claus-Jochen Haake, aus der Fakultät Kulturwissenschaften sind Prof. Dr. Ilka Mindt vom Institut für Anglistik und Amerikanistik und Prof. Dr. Doris Tophinke vom Institut für Germanistik und Vergleichende Literaturwissenschaft beteiligt.