Online-Prüfungen mit ILIAS

Die Digitalisierung ermöglicht (und erfordert) neue Prüfungsformate und kann bestehende Formate erweitern, etwa in Bezug auf Raum, Zeit und die Zahl der Geprüften. Zugleich bieten digitale Prüfungen (auch E-Assessments genannt) eine Reihe spezifischer Herausforderungen.

Unter Digitale Prüfungen auf der DigiLeB-Website findest du die allgemeinen Rahmenbedingungen und didaktische Überlegungen zu digitalen Formen von summativen Prüfungen, die am Ende des Lehr-Lernprozesses stehen. Zudem bietet die Seite Checklisten für die Organisation von Online-Prüfungen sowie Empfehlungen für passende Tools.

Im vorliegenden Artikel geht es um die technischen Aspekte von schriftlichen Online-Prüfungen mit ILIAS.

Voraussetzungen

Die Policy der PHBern besagt, dass Online-Prüfungen grundsätzlich unter der Vorgabe “Open Internet” und “bring your own device” (BYOD) durchgeführt werden.

Vorgabe 23 – Technologien / Digitale Medien I: Für die Umsetzung individualisierter Lernwege werdend digitale Technologien gezielt genutzt. Basierend auf dem Konzept Bring-your-own-device werden die Möglichkeiten digitaler Medien in der Studiengangs-, Modul- und Veranstaltungskonzeption zur Unterstützung des Lernens und der Kooperation mit den Studierenden ausgeschöpft.

Vorgabe 24 – Technologien / Digitale Medien II: Sowohl in den Lernprozessen als auch bei Leistungsnachweisen gelten ausgehend von einem Grundverständnis des Konnektivismus als Teil des Lernkonzepts die Vorgaben Open Source und Open Internet.

Der primäre Dienst zur Durchführung von schriftlichen Online-Prüfungen an der PHBern ist ILIAS. Dabei gilt es einige Dinge zu beachten, um den technischen Grenzen des Systems betr. Serverleistung und WLAN-Kapazität gerecht zu werden.

Folgende Möglichkeiten werden genutzt:

• Das ILIAS-Objekt Test wurde dafür konzipiert, Online-Prüfungen durchzuführen. Es bietet vielfältige Frage- und Aufgabetypen, wie auch die Möglichkeit, Dateien hochzuladen.

• Das ILIAS-Objekt Übung kommt ebenfalls in Frage, wenn die Prüfungsteilnehmenden ausschliesslich Dateien einreichen müssen.

Anleitungen: siehe Lerninhalte gestalten: ILIAS-Objekte | Assessment-Objekte

Aus Gründen der Datensicherheit und Nachvollziehbarkeit, ob und wann jemand eine Datei eingereicht hat, ist auf die Nutzung von Mail oder Filesharing-Diensten zu verzichten!

Grundproblem

Bei einer grösseren Anzahl von BenutzerInnen, die gleichzeitig an einer Prüfung teilnehmen, werden entsprechend mehr Ressourcen des Servers benötigt, auf dem ILIAS läuft. Das System kann dadurch etwas langsamer werden, d.h. die Antwortzeit von ILIAS auf Benutzereingaben kann sich verlängern, was an sich nicht problematisch wäre. Aber: Wenn eine kritische Grenze erreicht wird, kann es passieren, dass das System plötzlich deutlich langsamer wird. Dies nicht zuletzt, weil dann die BenutzerInnen (unter Prüfungsdruck!) dazu neigen, im Browser laufend die Seite neu zu laden, wenn ILIAS auf eine Eingabe verzögert reagiert. So kann es im schlimmsten Fall rasch zu einem (vorübergehenden) Ausfall kommen.

Optimale Prüfungsgestaltung

Wie gross die Gefahr ist, dass so etwas passiert, hängt weitestgehend davon ab, wie die Prüfung genau aufgebaut ist.

• Bei einem Test mit umfangreichen Fragen, bei denen die BenutzerInnen lange auf der Seite verweilen, um die Frage zu beantworten, werden weniger Serverressourcen benötigt, und es können mehr Teilnehmende gleichzeitig am Test teilnehmen.
  Beispiel: Eine Aufgabe erfordert, dass die Studierenden eine Aufgabe mithilfe anderer Programme (Statistik, Excel, Programmiertools etc.) lösen, oder einen Text verfassen, und erst das Endresultat eingeben oder einreichen.

• Ein Test mit sehr vielen kurzen Fragen, die vom ILIAS-Testobjekt am Anfang per Zufall aus vielen Fragepools zusammengetragen werden, benötigt ungleich mehr Serverressourcen. In diesem Fall kann es schon bei kleineren Gruppen kritisch werden, insbesondere dann, wenn alle den Test in der gleichen Minute starten, da in diesem Fall gerade der erste Aufruf sehr rechenintensiv ist.
  Typisches Beispiel: Prüfungen mit vielen Single-/Multiple-Choice- oder KPrim-Fragen.
  Um in diesem Fall das Risiko eines Systemausfalls zu vermindern, sollten folgende Empfehlungen beachtet werden:

  • Wenn möglich sollte man die Testdurchgänge in mehrere Gruppen aufteilen, die den Test nacheinander bzw. versetzt durchführen.

  • Bei grossen Teilnehmendengruppen sollte soweit möglich auf die zufällige Fragenauswahl aus verschiedenen Fragepools verzichtet werden.

  • Es sollte verhindert werden, dass alle Teilnehmenden gleichzeitig den Startbutton der Prüfung betätigen. Deshalb sollte man die Prüfungszeit nicht z.B. von 9:00 bis 10:00 definieren, sondern indem die Zeitbeschränkung so gewählt wird, dass man zwischen 9:00 und 10:15 Uhr 60 Minuten Zeit hat, vom Zeitpunkt des Betätigen des Startbuttons an gerechnet. Dadurch ergibt sich eine natürliche Streuung der individuellen Startzeitpunkte.

Optimierung des Zugangs

Auf ILIAS wurde ein leicht zugänglicher Bereich "E-Assessement" eingerichtet. Dieser erlaubt, Testobjekte ausserhalb des Veranstaltungskurses zu platzieren und Prüfungen so immer über die gleiche Webadresse phbern.ch/online-pruefungen erreichbar zu machen, sodass der Einstieg möglichst homogen gehandhabt werden kann. Kontaktiere dafür bitte den Informatiksupport.

Vorteile

• Die Teilnehmenden können schneller und fehlerfrei zur Prüfung navigieren.

• Zudem haben sie keinen Zugang zu Kursmaterialien, bzw. nur zu solchen, die für den Test explizit freigegeben worden sind.

Support

Falls Prüfungen digital mit der Infrastruktur und den Informatikservices der PHBern durchgeführt werden, können Dozierende Unterstützung bei der Vorbereitung oder telefonischen Support bei der Durchführung erhalten. → informatik@phbern.ch

Für Unterstützung bezüglich didaktischen Belangen und der konkreten Umsetzung in ILIAS kannst du dich an digileb@phbern.ch wenden.