Achtung:

Sie haben Javascript deaktiviert!
Sie haben versucht eine Funktion zu nutzen, die nur mit Javascript möglich ist. Um sämtliche Funktionalitäten unserer Internetseite zu nutzen, aktivieren Sie bitte Javascript in Ihrem Browser.

Zusammenfassung

SEAL ist ein computergestütztes System, mit dem die Korrektur von Multiple-Choice-Klausuren automatisiert und die Klausureinsicht digital abgebildet wird. Dies spart Ressourcen seitens der Lehrenden und erhöht die Transparenz für die Studierenden. Außerdem verbessert SEAL die Prüfungsorganisation sowie die Personalsituation an der Universität Paderborn, indem Korrekturzeit für Forschungs- und Lehraufgaben gewonnen wird. Insgesamt werden damit die Rahmenbedingungen der Lehre und damit die Qualität des Studiums vorangetrieben, dies auch unter der Prämisse von steigenden Studierendenzahlen.

Im Jahr 2012 erhielt das Projekt den Förderpreis für Innovation und Qualität in der Lehre der Universität Paderborn

Motivation

An der Universität Paderborn studieren aktuell etwa 18.630 Personen (Stand WS 2012/2013). Im Herbst 2013 erwartet die Universität Paderborn aufgrund des doppelten Abiturjahrgangs über 20.000 Studierende. Die beiden größten Fakultäten werden durch die Kulturwissenschaften und die Wirtschaftswissenschaften repräsentiert.

Vor allem für die Einführungsveranstaltungen bedeuten diese Zahlen große Herausforderungen. Meist werden aufgrund der hohen Teilnehmerzahlen Multiple-Choice-Prüfungen durchgeführt. Damit die Durchführung und Auswertung dieser Klausuren möglichst zeiteffizient, einfach und ressourcensparend durchgeführt werden können, wurde das SEAL-Projekt entwickelt.

Anzahl der Studierenden im Sommersemester 2012
Leistungsmerkmale

Das Ziel von SEAL ist eine wirksame Verbesserung im Vergleich zu den bisher eingesetzten Systemen und Tools in der universitären Lehr- und Prüfungsorganisation.

Herzstück des Projektes bildet dabei ein computergestütztes System, welches Möglichkeiten zur Korrektur und Auswertung, zur Klausureinsicht, zur Evaluation und zum Rollenmanagement bietet. So wird es zum Beispiel möglich sein, Prüfungen und deren Auswertungsschemata flexibel zu gestalten und so an die individuellen Bedürfnisse der jeweiligen Veranstaltung anzupassen. Die Auswertungszeit von etwa 800 bis 1000 Multiple-Choice-Klausuren konnte bereits von drei Wochen auf drei Tage reduziert werden.

Momentaner Stand und Entwicklung

SEAL basiert auf der Software-Eigenentwicklung KLE (Klausureinsicht) des Lehrstuhls für Mikroökonomie. KLE wurde bereits mehrfach zur Auswertung der Klausur der Assessmentphasen-Veranstaltung "Grundzüge der VWL" an der Fakultät für Wirtschaftswissenschaften eingesetzt. Die Antwortbögen der Studierenden wurden dazu mit Hilfe einer Scan-Software (die Dokumentation zu dieser Software finden Sie hier) in die Software eingepflegt und dort automatisch ausgewertet. So konnte die Auswertungszeit von etwa 800 bis 1000 Multiple-Choice-Klausuren bereits von drei Wochen auf drei Tage reduziert werden.

Erste Evaluationsergebnisse

Im Rahmen der Veranstaltung "Grundzüge der VWL" wurden 142 Studierende bezüglich der Benutzerfreundlichkeit von Methoden zur Lernüberprüfungen befragt. Zur Auswahl standen dabei zwei Verfahren, die für Multiple-Choice-Klausuren geeignet sind: der Scantronbogen und der Klausurlösungsbogen (KLB). Beim Scantronbogen müssen die Kästchen, die die richtigen Antworten repräsentieren, mit Bleistift ausgemalt werden. Beim KLB muss zwar auch ein Antwortbogen ausgefüllt werden, allerdings wurde dieses Vorgehen vereinfacht, da zum Beispiel kein Bleistift mehr genutzt werden muss. Auch muss eine Fläche nicht mehr vollständig ausgemalt werden und Korrekturen sind, im Gegensatz zum Scantronbogen, ebenfalls möglich. Dieser KLB ist Grundlage für SEAL.

In der Stichprobe finden sich 90 Frauen und 52 Männer. Über 90% der Befragten studieren Wirtschaftswissenschaften oder International Business Studies. Weiterhin wurden die Fachsemester, die Benutzung von elektronischen und internetfähigen Geräten und die Erfahrung mit anderen Prüfungsformen (Scantron, KLB, Freitext, ePrüfung, Sonstige) erfragt.

Um die Benutzerfreundlichkeit der zwei zu untersuchenden Prüfungsformen zu überprüfen, wurde ein standardisierter Fragebogen gewählt. Dieser geht zurück auf Brooke [2]. Neben der guten Vergleichbarkeit mit anderen Studien ist vor allem die Berechnung der sogenannten System Usability Score (SUS) hervorzuheben. Der System Usability Score befragt dazu Nutzer zur der Benutzerfreundlichkeit einer Anwendung und stellt das Ergebnis als prozentualen Benutzerfreundlichkeitswert (oder Usability Score) der Applikation dar. Demnach entsprechen 100 Prozent einem perfekten System ohne Benutzerfreundlichkeitsprobleme, ein Wert über 80 Prozent deutet auf ein System mit exzellenter Benutzerfreundlichkeit hin, Werte zwischen 60 und 80 Prozent sind als gut zu interpretieren und ein Benutzerfreundlichkeitswert unter 60 Prozent weist auf erhebliche Probleme in der Bedienung des Systems hin.

Alle Fragebögen wurden vollständig ausgefüllt, so dass jeweils 142 SUS für jede Prüfungsform ermittelt werden konnten. Die Benutzerfreundlichkeit liegt demnach für den Scantronbogen im Mittel bei 52,62%. Die Standardabweichung beträgt etwa 16.78 Prozentpunkte. Die Benutzerfreundlichkeit liegt für den KLB hingegen im Mittel bei etwa 72%. Die Standardabweichung beträgt hier etwa 15.26 Prozentpunkte. Die Verbesserung gegenüber dem Scantronbogen ist deutlich zu sehen. Die Benutzerfreundlichkeit liegt etwa 20 Prozentpunkte über der des Scantronbogens. Dies ist umso erstaunlicher, wenn man bedenkt, dass die benötigte Anpassung relativ gering war.

Nähere Informationen finden Sie hier.

 

Muster eines Scantronbogens
Usability des Scantronbogens
Muster eines KLB
Usability des KLB
Vorteile

SEAL ist ein computergestütztes System, welches eine zeiteffiziente Prüfungsorganisation, -durchführung und -auswertung ermöglicht. Dies verbessert sowohl die Studien- als auch die Forschungsbedingungen. Dabei ist vor allem die Flexibilität von SEAL hervorzuheben. Jeder Lehrstuhl kann eigenständig Prüfungen, Bewertungs- und Auswertungsschemata erstellen. SEAL eignet sich für jegliche Art von Multiple-Choice-Prüfungen.

Außerdem ist SEAL intuitiv bedienbar und baut auf bereits vorhandenen Architekturen der Universität Paderborn auf. Somit können die Kosten für Administration, Wartung und Umsetzung geringgehalten werden und sogar gegenüber den bislang genutzten Systemen reduziert werden.

Beteiligte Personen

Die Entwicklung von SEAL erfolgt kooperativ an drei Lehrstühlen aus zwei verschiedenen Fakultäten. Aus der Fakultät für Wirtschaftswissenschaften ist der Lehrstuhl für Mikroökonomie von Prof. Dr. Claus-Jochen Haake, aus der Fakultät Kulturwissenschaften sind Prof. Dr. Ilka Mindt vom Institut für Anglistik und Amerikanistik und Prof. Dr. Doris Tophinke vom Institut für Germanistik und Vergleichende Literaturwissenschaft beteiligt.

Die SEAL-Homepage erreichen Sie unter: https://seal.upb.de.

 

SEAL-Anmeldung

Wie man sich bei SEAL anmeldet, können Sie sich hier durchlesen.

 

SEAL-Probedatensatz

Unter dem folgenden Link finden Sie einen Ordner mit (eingescanntem) Klausurlösungsbögen, mit denen Sie den gesamten Prozess durchspielen können.

The University for the Information Society