Zu Hauptinhalten wechseln
pdf?stylesheet=default
Blackboard Help

Ausführen von Elementanalysen für Tests

Elementanalysen liefern Statistiken zur allgemeinen Testleistung und einzelnen Testfragen. Dank dieser Daten können Sie Fragen identifizieren, die sich nicht besonders gut zur Messung der Teilnehmerleistungen eignen. Sie können diese Informationen verwenden, um Fragen für zukünftige Tests zu verbessern oder die Punktzahl bei aktuellen Versuchen anzupassen.

Funktionen mit Benotungsberechtigungen (wie Kursleiter, Korrektur- und Lehrassistenten) können an drei Stellen im Benotungsablauf auf die Elementanalyse zugreifen. Sie ist im Kontextmenü verfügbar für:

  • in Inhaltsbereichen bereitgestellte Tests.
  • bereitgestellte Tests, die auf der Seite Tests aufgelistet sind.
  • Notencenterspalten.

Sie können Elementanalysen für bereitgestellte Tests mit eingereichten Versuchen ausführen, nicht jedoch für Umfragen. Sie können auf zuvor ausgeführte Analysen unter der Überschrift Verfügbare Analyse zugreifen oder einen bereitgestellten Test aus der Dropdown-Liste auswählen und dann auf Ausführen klicken, um einen neuen Bericht zu generieren. Der Link für den neuen Bericht wird unter der Überschrift Verfügbare Analyse oder im Statuseingang oben auf der Seite angezeigt.

Führen Sie Elementanalysen für Tests mit einem Versuch für beste Ergebnisse nach Übermittlung aller Versuche und Bewertung aller manuell benoteten Fragen aus. Interpretieren Sie die Daten der Elementanalyse sorgfältig und mit dem Bewusstsein, dass die Statistiken von der Anzahl der Testversuche, der Art der Teilnehmer und versehentlichen Fehlern beeinflusst werden.

So führen Sie eine Elementanalyse für einen Test aus

Sie können Elementanalysen für Tests ausführen, die einen oder mehrere Versuche, Fragesätze, Zufallsblöcke, automatisch benotete Fragentypen und Fragen, die manuell benotet werden müssen, enthalten. Für Tests mit manuell benoteten Fragen, denen noch keine Ergebnisse zugewiesen wurden, werden nur für die bewerteten Fragen Statistiken generiert. Benoten Sie die Fragen manuell und führen Sie die Elementanalyse erneut durch. Die Statistiken für die manuell benoteten Fragen werden generiert und die zusammenfassende Teststatistik wird aktualisiert.

  1. Öffnen Sie eine der folgenden Elementanalysen. Gehen Sie dazu zu:
    • einem in einem Inhaltsbereich bereitgestellten Test
    • einem auf der Seite Tests aufgelisteten bereitgestellten Test
    • einer Notencenterspalte für einen Test
  2. Öffnen Sie das Kontextmenü des Tests.
  3. Wählen Sie Elementanalyse aus.
  4. Wählen Sie in der Dropdown-Liste Test auswählen einen Test aus. Nur bereitgestellte Tests sind aufgeführt.
  5. Klicken Sie auf Ausführen.
  6. Zeigen Sie die Elementanalyse an, indem Sie unter der Überschrift Verfügbare Analyse auf den Link des neuen Berichts oder im Statuseingang oben auf der Seite auf Analyse anzeigen klicken.

Informationen zur Testzusammenfassung auf der Seite "Elementanalyse"

Die Testzusammenfassung oben auf der Seite Elementanalyse liefert Daten zum Test im Allgemeinen.

  1. Test bearbeiten ermöglicht den Zugriff auf den Testplan.
  2. Die Testzusammenfassung liefert Statistiken zum Test, u. a.:
    • Mögliche Punktzahl: Die Gesamtanzahl der Punkte für den Test.
    • Mögliche Fragen: Die Gesamtanzahl der Fragen im Test.
    • Versuche in Bearbeitung: Die Anzahl der Teilnehmer, die den Test derzeit absolvieren, ihn aber noch nicht übermittelt haben.
    • Abgeschlossene Versuche: Die Anzahl der übermittelten Tests.
    • Durchschnittliches Ergebnis: Ergebnisse, die mit einem * versehen sind, weisen darauf hin, dass einige Versuche nicht benotet sind und sich das durchschnittliche Ergebnis nach Benotung aller Versuche möglicherweise noch ändert. Das hier angezeigte Ergebnis ist das durchschnittliche Ergebnis für den Test im Notencenter.
    • Durchschnittliche Zeit: Die durchschnittliche Abschlusszeit für alle übermittelten Versuche.
    • Diskriminanz: In diesem Bereich wird die Anzahl der Fragen angezeigt, die in die Kategorien Befriedigend (größer als 0,3), Ausreichend (zwischen 0,1 und 0,3) und Mangelhaft (weniger als 0,1) fallen. Ein Diskriminanzwert wird als Kann nicht berechnet werden aufgelistet, wenn die Schwierigkeit der Frage bei 100 % liegt oder wenn alle Teilnehmer bei einer Frage dasselbe Ergebnis erzielen. Fragen mit Diskriminanzwerten in den Kategorien Gut und Befriedigend sind besser geeignet, um zwischen Teilnehmern mit höherem und niedrigerem Wissensstand zu unterscheiden. Es wird empfohlen, Fragen der Kategorie Mangelhaft zu überprüfen.
    • Schwierigkeit: In diesem Bereich wird die Anzahl der Fragen angezeigt, die in die Kategorien Einfach (über 80 %), Mittel (zwischen 30 und 80 %) und Schwer (unter 30 %) fallen. Die Schwierigkeit ist der Anteil der Teilnehmer, die die Frage richtig beantwortet haben. Fragen in den Kategorien Einfach oder Schwer sollten überprüft werden und sind an einem roten Kreis erkennbar.

      Nur benotete Versuche werden bei den Berechnungen der Elementanalyse berücksichtigt. Aktuell in Bearbeitung befindliche Versuche werden von der Elementanalyse ignoriert, bis sie übermittelt werden und Sie den Elementanalysebericht erneut ausführen.

Informationen zur Fragenstatistiktabelle auf der Seite „Elementanalyse“

Die Fragenstatistiktabelle liefert Elementanalysestatistiken für die einzelnen Fragen im Test. Fragen, deren Überprüfung empfohlen wird, sind mit einem roten Kreis gekennzeichnet. So können Sie Fragen, die möglicherweise überarbeitet werden müssen, schnell finden.

Im Allgemeinen kennzeichnen sich gute Fragen wie folgt:

  • Mittel (30 % bis 80 %) als Schwierigkeit.
  • Gut oder Befriedigend (über 0,1) als Diskriminanzwert.

Fragen, für die eine Überprüfung empfohlen wird, sind mit einem roten Kreis gekennzeichnet. Diese sind möglicherweise von geringer Qualität oder werden falsch beantwortet. Im Allgemeinen haben Fragen, für die eine Überprüfung empfohlen wird,:

  • Einfach (> 80 %) oder Schwer (< 30 %) als Schwierigkeit.
  • Mangelhaft (< 0,1) als Diskriminanzwert.
  1. Filtern Sie die Fragentabelle nach Fragentyp, Diskriminanzkategorie und Schwierigkeitskategorie.
  2. Untersuchen Sie eine bestimmte Frage, indem Sie auf ihren Titel klicken und die zugehörige Seite Fragendetails prüfen.
  3. In der Tabelle werden Statistiken für jede einzelne Frage angezeigt, unter anderem:
    • Diskriminanz: Zeigt, wie gut eine Frage zwischen solchen Teilnehmern, die das Thema kennen, und solchen, die es nicht kennen, unterscheidet. Eine Frage ist ein gutes Diskriminanzmerkmal, wenn Teilnehmer, die eine Frage richtig beantworten, auch im gesamten Test gut abschneiden. Die Werte bewegen sich zwischen -1,0 und +1,0. Fragen werden zur Überprüfung gekennzeichnet, wenn ihr Diskriminanzwert unter 0,1 liegt oder negativ ist. Diskriminanzwerte können nicht berechnet werden, wenn der Schwierigkeitswert der Frage bei 100 % liegt oder alle Teilnehmer bei einer Frage dasselbe Ergebnis erzielen.

      Diskriminanzwerte werden mit dem Pearson-Korrelationskoeffizient berechnet. X steht für das Ergebnis der einzelnen Teilnehmer bei einer Frage und Y steht für das Ergebnis der einzelnen Teilnehmer im Test.

      Bei den folgenden Variablen handelt es sich um das Standardergebnis sowie den Mittelwert und die Standardabweichung einer Stichprobe:

    • Schwierigkeit: Der Anteil der Teilnehmer, die die Frage richtig beantwortet haben. Schwierigkeitswerte können zwischen 0 % und 100 % liegen, wobei ein höherer Prozentsatz darauf hinweist, dass die Frage einfach war. Fragen in den Kategorien Einfach (mehr als 80 %) oder Schwer (weniger als 30 %) werden zur Überprüfung gekennzeichnet.

      Mit Schwierigkeitsstufen, die etwas höher liegen als in der Mitte zwischen Zufalls- und perfekten Ergebnissen lassen sich Teilnehmer, die das getestete Material kennen, besser von denen unterscheiden, die es nicht kennen. Denken Sie unbedingt daran, dass hohe Schwierigkeitswerte nicht zwangsläufig hohe Diskriminanzstufen sicherstellen.

    • Anzahl der benoteten Testversuche: Anzahl der Versuche für Fragen, bei denen die Benotung abgeschlossen ist. Eine höhere Zahl für benotete Versuche führt zu zuverlässiger berechneten Statistiken.
    • Durchschnittliches Ergebnis: Ergebnisse, die mit einem * versehen sind, weisen darauf hin, dass einige Versuche nicht benotet sind und sich das durchschnittliche Ergebnis nach Benotung aller Versuche möglicherweise noch ändert. Das hier angezeigte Ergebnis ist das durchschnittliche Ergebnis für den Test im Notencenter.
    • Standardabweichung: Maß für die Abweichung der Ergebnisse vom durchschnittlichen Ergebnis. Wenn die Ergebnisse eng gruppiert sind und die meisten Werte eng am Durchschnitt liegen, ist die Standardabweichung klein. Wenn der Datensatz weit verteilt ist und die Werte weit vom Durchschnitt entfernt sind, ist die Standardabweichung größer.
    • Standardfehler: Eine Schätzung der Schwankungsbreite beim Ergebnis eines Teilnehmers aufgrund von Zufall. Je kleiner der gemessene Standardfehler ist, umso genauer ist der von der Testfrage bereitgestellte Messwert.

So zeigen Sie Details zu einzelnen Fragen an

Auf Fragen, die zur Überprüfung gekennzeichnet sind, können Sie über die entsprechende Seite Fragendetails zugreifen. Die zeigt die Leistung der Teilnehmer bei der ausgewählten einzelnen Testfrage an.

  1. Blättern Sie auf der Seite Elementanalysen zur Fragenstatistiktabelle.
  2. Wählen Sie auf der Seite Fragendetails einen verknüpften Fragentitel aus.
  1. Verwenden Sie die Pfeiltasten, um nacheinander durch die Fragen zu blättern oder zur ersten oder letzten Frage zu springen.
  2. Klicken Sie auf Test bearbeiten, um auf den Testplan zuzugreifen.
  3. Die Übersichtstabelle zeigt Statistiken für die Frage an, u. a.:
    • Diskriminanz: Zeigt, wie gut eine Frage zwischen solchen Teilnehmern, die das Thema kennen, und solchen, die es nicht kennen, unterscheidet. Der Diskriminanzwert wird mit der entsprechenden Kategorie aufgelistet: Mangelhaft (weniger als 0,1), Ausreichend (0,1 bis 0,3) und Gut (mehr als 0,3). Eine Frage ist ein gutes Diskriminanzmerkmal, wenn Teilnehmer, die eine Frage richtig beantworten, auch im gesamten Test gut abschneiden. Die Werte bewegen sich zwischen -1,0 und +1,0. Fragen werden zur Überprüfung gekennzeichnet, wenn ihr Diskriminanzwert unter 0,1 liegt oder negativ ist. Diskriminanzwerte können nicht berechnet werden, wenn der Schwierigkeitswert der Frage bei 100 % liegt oder alle Teilnehmer bei einer Frage dasselbe Ergebnis erzielen.

      Diskriminanzwerte werden mit dem Pearson-Korrelationskoeffizient berechnet. X steht für das Ergebnis der einzelnen Teilnehmer bei einer Frage und Y steht für das Ergebnis der einzelnen Teilnehmer im Test.

      Bei den folgenden Variablen handelt es sich um das Standardergebnis sowie den Mittelwert und die Standardabweichung einer Stichprobe:

    • Schwierigkeit: Der Anteil der Teilnehmer, die die Frage richtig beantwortet haben. Der Schwierigkeitsprozentsatz wird mit der entsprechenden Kategorie aufgelistet: Einfach (mehr als 80 %), Mittel (30 % bis 80 %) und Schwer (weniger als 30 %). Schwierigkeitswerte können zwischen 0 % und 100 % liegen, wobei ein höherer Prozentsatz darauf hinweist, dass die Frage einfach war. Fragen der Kategorien "Einfach" oder "Schwer" werden zur Überprüfung gekennzeichnet.

      Mit Schwierigkeitsstufen, die etwas höher liegen als in der Mitte zwischen Zufalls- und perfekten Ergebnissen lassen sich Teilnehmer, die das getestete Material kennen, besser von denen unterscheiden, die es nicht kennen. Denken Sie unbedingt daran, dass hohe Schwierigkeitswerte nicht zwangsläufig hohe Diskriminanzstufen sicherstellen.

    • Anzahl der benoteten Testversuche: Anzahl der Versuche für Fragen, bei denen die Benotung abgeschlossen ist. Eine höhere Zahl für benotete Versuche führt zu zuverlässiger berechneten Statistiken.
    • Durchschnittliches Ergebnis: Ergebnisse, die mit einem * versehen sind, weisen darauf hin, dass einige Versuche nicht benotet sind und sich das durchschnittliche Ergebnis nach Benotung aller Versuche möglicherweise noch ändert. Das hier angezeigte Ergebnis ist das durchschnittliche Ergebnis für den Test im Notencenter.
    • Std.-Abw: Maß für die Abweichung der Ergebnisse vom durchschnittlichen Ergebnis. Wenn die Ergebnisse eng gruppiert sind und die meisten Werte eng am Durchschnitt liegen, ist die Standardabweichung klein. Wenn der Datensatz weit verteilt ist und die Werte weit vom Durchschnitt entfernt sind, ist die Standardabweichung größer.
    • Std.-Fehler: Eine Schätzung der Schwankungsbreite beim Ergebnis eines Teilnehmers aufgrund von Zufall. Je kleiner der gemessene Standardfehler ist, umso genauer ist der von der Testfrage bereitgestellte Messwert.
    • Übersprungen: Anzahl der Teilnehmer, die diese Frage übersprungen haben.
  4. Der Fragentext und die Antwortmöglichkeiten werden angezeigt. Die Informationen hängen vom Fragentyp ab:
Für Fragentypen bereitgestellte Elementanalyse-Informationen
Angezeigte Informationen Fragentypen

Anzahl der Teilnehmer, die die einzelnen Antworten ausgewählt haben

UND

Verteilung dieser Antworten zwischen den Klassenvierteln.

Multiple-Choice

Mehrfachantwort

Richtig/Falsch

Entweder/Oder

Likert-Skala

Anzahl der Teilnehmer, die die einzelnen Antworten ausgewählt haben

Zuordnen

Sortieren

Lückentext (mehrere Lücken)

Anzahl der Teilnehmer, die die Frage richtig oder falsch beantwortet oder übersprungen haben.

Berechnung (Formel)

Berechnung (numerisch)

Lückentext

Hotspot

Quiz-Bowl

Nur Fragentext.

Essay

Dateiantwort

Kurzantwort

Ungeordneter Satz (schließt auch die Antworten ein, aus denen die Teilnehmer ausgewählt haben)

Antwortverteilungen

Die Verteilung der Antworten zwischen den Klassenvierteln wird für die Fragentypen Multiple-Choice, Mehrfachantwort, Richtig/Falsch, Entweder/Oder und Likert-Skala aufgeführt. Die Verteilung zeigt Ihnen, welche Teilnehmertypen die richtigen oder falschen Antworten ausgewählt haben.

  • Bestes Viertel: Anzahl der Teilnehmer mit Gesamttestergebnissen im besten Viertel der Klasse, die die Antwortoption ausgewählt haben.
  • 2. Viertel: Anzahl der Teilnehmer mit Gesamttestergebnissen im zweiten Viertel der Klasse, die die Antwortoption ausgewählt haben.
  • 3. Viertel: Anzahl der Teilnehmer mit Gesamttestergebnissen im dritten Viertel der Klasse, die die Antwortoption ausgewählt haben.
  • Schlechtestes Viertel: Anzahl der Teilnehmer mit Gesamttestergebnissen im schlechtesten Viertel der Klasse, die die Antwortoption ausgewählt haben.

Symbollegende

Neben den Fragen werden Symbole angezeigt, um Sie auf mögliche Probleme aufmerksam zu machen:

  • Überprüfung empfohlen: Diese Bedingung wird bei Diskriminanzwerten unter 0,1 oder Schwierigkeitswerten über 80 % (die Frage war zu einfach) oder unter 30 % (die Frage war zu schwer) ausgelöst. Überprüfen Sie die Frage, um festzulegen, ob sie überarbeitet werden muss.
  • Die Frage wurde möglicherweise nach der Bereitstellung geändert: zeigt an, dass sich ein Teil der Frage geändert hat, seit der Test zuletzt bereitgestellt wurde. Das Ändern eines Teils einer Frage nach der Bereitstellung des Tests kann bedeuten, dass die Daten für diese Frage möglicherweise nicht zuverlässig sind. Versuche, die nach der Änderung einer Frage übermittelt wurden, haben möglicherweise von der Änderung profitiert. Dieser Indikator hilft Ihnen dabei, die Daten mit diesem Wissen im Hinterkopf zu interpretieren.

    In wiederhergestellten Kursen wird dieser Indikator nicht angezeigt.

  • Nicht alle Übermittlungen wurden benotet: wird für einen Test mit Fragen angezeigt, für die eine manuelle Benotung erforderlich ist, beispielsweise bei Essay-Fragen. In einem Test mit einer Essay-Frage mit 50 Teilnehmerversuchen wird diese Anzeige angezeigt, bis der Kursleiter alle 50 Versuche benotet hat. Das Elementanalysetool verwendet nur Versuche, die zum Zeitpunkt der Ausführung des Berichts bereits benotet sind.
  • (FS) und (ZB): weisen auf eine Frage hin, die aus einem Fragensatz oder einem Zufallsblock stammt. Aufgrund der Bereitstellung von Zufallsfragen ist es möglich, dass einige Fragen über mehr Versuche verfügen als andere.

Informationen zu Elementanalysen und mehreren Versuchen, zum Außerkraftsetzen und Bearbeiten von Fragen

Das Tool für die Elementanalyse geht mit mehreren Versuchen, Außerkraftsetzungen und anderen gängigen Szenarien wie folgt um:

  • Wenn Teilnehmer einen Test mehrmals absolvieren dürfen, wird der zuletzt übermittelte Versuch als Eingabe für die Elementanalyse verwendet. Beispiel: Für einen Test sind drei Versuche zulässig. Teilnehmer A hat zwei Versuche bereits abgeschlossen und arbeitet gerade am dritten Versuch. Der aktuelle Versuch von Teilnehmer A zählt zu der Anzahl, die unter Versuche in Bearbeitung aufgeführt ist. Keiner der vorherigen Versuche von Teilnehmer A wird in die aktuellen Daten der Elementanalyse aufgenommen. Sobald Teilnehmer A den dritten Versuch übermittelt, wird dieser in alle folgenden Elementanalysen aufgenommen.
  • Außerkraftsetzungen im Notencenter haben keine Auswirkungen auf die Daten der Elementanalyse, da dieses Tool statistische Daten für Fragen anhand von abgeschlossenen Versuchen der Teilnehmer generiert.
  • Manuell benotete Fragen oder Änderungen am Fragentext, richtige Antworten, Teilantworten oder Punkte werden im Bericht der Elementanalyse nicht automatisch aktualisiert. Führen Sie die Analyse erneut aus, um zu prüfen, ob die Änderungen sich auf die Daten der Elementanalyse ausgewirkt haben.

Beispiele

Elementanalysen können Sie dabei unterstützen, Fragen für künftige Tests zu verbessern oder irreführende bzw. mehrdeutige Fragen in einem aktuellen Test zu klarzustellen. Beispiele:

  • Sie untersuchen eine Multiple-Choice-Frage, die auf der Seite der Elementanalyse zur Überprüfung gekennzeichnet wurde. Viele Teilnehmer aus dem besten Viertel haben Antwort B gewählt, obwohl A die richtige Antwort war. Sie stellen fest, dass bei der Fragenerstellung die falsche Antwort als die richtige zugewiesen wurde. Sie korrigieren das in der Testfrage und die Änderung wird automatisch berücksichtigt.
  • Bei einer Multiple-Choice-Frage stellen Sie fest, dass sich ungefähr gleich viele Teilnehmer für die Antworten A, B und C entschieden haben. Prüfen Sie die Antwortoptionen, um festzustellen, ob sie möglicherweise nicht eindeutig waren, ob die Frage zu schwer war oder ob der Stoff noch nicht behandelt wurde.
  • Eine Frage wird zur Überprüfung empfohlen, weil Sie in die Schwierigkeitskategorie "Schwer" fällt. Sie prüfen die Frage und stellen fest, dass sie zwar schwer ist, behalten sie aber im Test, weil sie erforderlich ist, um die Kursziele angemessen zu testen.