{"id":1634,"date":"2010-08-31T15:50:27","date_gmt":"2010-08-31T13:50:27","guid":{"rendered":"http:\/\/www.schattenreigen.de\/schattenlog\/?p=1634"},"modified":"2010-08-31T17:35:28","modified_gmt":"2010-08-31T15:35:28","slug":"diese-sache-mit-den-klausuren-und-den-noten","status":"publish","type":"post","link":"https:\/\/www.schattenreigen.de\/schattenlog\/archive\/1634","title":{"rendered":"Diese Sache mit den Klausuren und den Noten"},"content":{"rendered":"\t<p>Erstmal Gl&#252;ckwunsch an die Kollegin Nadine Schlomske aus Jena. Sich diesem brisanten Thema zu stellen erfordert sehr viel Sorgfalt und auch Mut. Die Kollegin verf&#252;gt &#252;ber die richtige Mischung aus beidem. Gerade auch wenn das Interesse bestimmt sehr pl&#246;tzlich und &#252;berraschend kam und sie so sicher ein wenig aus unserem manchmal vielleicht zu sehr gesch&#228;tzten Elfenbeinturm geweckt wurde.<\/p>\n\n\t<p><a title=\"Faire Noten, Spiegel Online\" href=\"http:\/\/www.spiegel.de\/schulspiegel\/wissen\/0,1518,714844,00.html\" target=\"_blank\">http:\/\/www.spiegel.de\/schulspiegel\/wissen\/0,1518,714844,00.html<\/a><\/p>\n\n\t<p>T-MITOCAR ist eine Heuristik f&#252;r spezifische, sprachorientierte Fragen der Wissens- und Lerndiagnose. Als solche hat sie sich in vielen Studien als recht stabil erwiesen. Mit allen Einschr&#228;nkungen, die eine Heuristik eben immer hat. Die zugrunde liegende Technologie war von mir urspr&#252;nglich entwickelt worden um eine spezifische Hypothese im Bereich der Expertise zu kl&#228;ren. Es stellte sich heraus, dass sie mit einigen Modifikationen auch f&#252;r viele andere Fragestellungen eingesetzt werden kann.<\/p>\n\n\t<p>Ob die <em>Unterst&#252;tzung der Benotung<\/em> funktionieren wird, h&#228;ngt sicherlich davon ab, welche Kriterien an die Benotung gesetzt werden. Chancen und Grenzen der Software liegen im Bereich der Begriffsassoziationen. Das ist im Feld der Wortrelationen und der Semantik anzusiedeln. Genau hier liegen oft Lernziele, weswegen der Ansatz von Nadine Schlomske sehr interessant ist. Andere Bereiche (etwa Stil, Ausdruck, Grammatik, Kreativit&#228;t, u.v.m.) wird von der Software nicht erfasst. Hier darf man sich keinen Illusionen hingeben&#8212;das sind Grenzen. Als Reliabilit&#228;t (Verl&#228;sslichkeit) gegen&#252;ber anderen Verfahren kann die Heuristik r=.82 erreichen. Das ist zwar einerseits ziemlich gut f&#252;r eine rein automatische Analyse, zeigt aber auch klar die Grenzen auf. Andererseits kann subjektive Benotung von dieser Art Reliabilit&#228;t in der Regel nur tr&#228;umen.<\/p>\n\n\t<p>Urspr&#252;nglich hatte ich noch eine andere Software entwickelt, die mehrere Stufen der Bewertung beinhaltete. Auf Konferenzen wurde ich immer wieder mit der Anfrage und Anforderung der Analyse gro&#223;er Text-Datenbest&#228;nde konfrontiert, die eine halb-manuelle Analyse aus praktischen Gr&#252;nden schwierig gestaltet. Die Frage kam auf, ob mir eine voll automatisierte Variante gel&#228;nge. Zun&#228;chst war ich sehr skeptisch, habe dann aber doch&#8212;insbesondere dank einer langj&#228;hrigen Forschungstradition vieler sehr gesch&#228;tzter Kolleginnen und Kollegen in den Bereichen der Modellsemantik, der mentalen Modelle, und des induktiven und deduktiven Schlie&#223;ens&#8212;eine Inspiration gehabt, die letztlich funktioniert hat. Vielleicht war das mehr Gl&#252;ck als Verstand. Jedenfalls geh&#246;ren die beteiligten philosophischen, p&#228;dagogischen, kognitionswissenschaftlichen und linguistischen Forschungsbereiche mit zu dem Interessantesten, mit dem man sich besch&#228;ftigen darf.<\/p>\n\n\t<p>In der Verwendung der Software begegne ich drei Arten von Nutzern. Die einen sind sehr euphorisch nach der ersten Nutzung und glauben, dass man damit so ziemlich alles l&#246;sen kann. Das ist sicherlich falsch. Andere sagen: das sind ja blo&#223; Assoziationen, die sagen gar nichts aus. Das ist widerum vor dem Hintergrund der Assoziationspsychologie und einer langen philosophischen Tradition des Nachdenkens &#252;ber die Beschaffenheit von Erfahrung ebenfalls etwas kurz gegriffen. Man ahnt wohl schon, dass mir die dritte Gattung der Nutzer am liebsten ist: Sie erkennen einen gewissen Einsatzbereich, der Nutzen aber auch Grenzen hat und setzen sich kritisch mit dem forschungsseitigen und dem praktischen Einsatzbereich auseinander. Ich habe das gro&#223;e Gl&#252;ck, dass meine Kollegen aus Jena zu letzteren geh&#246;ren. Gro&#223;artig finde ich, dass konsequent von einer <em>Unterst&#252;tzung der Benotung<\/em> die Rede ist (und nicht etwa von einem Ersatz). Ich denke, das zeigt eine gute (und gesunde) Reichweite dessen, was man derzeit von derartigen Werkzeugen erwarten kann.<\/p>\n\n\t<p>Mehr zu den Funktionsweisen und auch zu Alternativen kann man hier nachsehen:<\/p>\n\n\t<p>Ifenthaler, D., Pirnay-Dummer, P., & Seel, N. M. (Eds.). (2010).  Computer-based diagnostics and systematic analysis of knowledge. New  York: Springer.<\/p>\n\n\t<p><img loading=\"lazy\" class=\"aligncenter size-medium wp-image-1635\" title=\"Computer-Based Diagnostics and Systematic Analysis of Knowledge\" src=\"http:\/\/www.schattenreigen.de\/schattenlog\/wp-content\/uploads\/2010\/08\/computer_diagnostic_titel_small-186x300.jpg\" alt=\"\" width=\"186\" height=\"300\" srcset=\"https:\/\/www.schattenreigen.de\/schattenlog\/wp-content\/uploads\/2010\/08\/computer_diagnostic_titel_small-186x300.jpg 186w, https:\/\/www.schattenreigen.de\/schattenlog\/wp-content\/uploads\/2010\/08\/computer_diagnostic_titel_small.jpg 218w\" sizes=\"(max-width: 186px) 100vw, 186px\" \/><\/p>\n\n\t<p><em>weitere Literatur:<\/em><\/p>\n\n\t<p>Ifenthaler, D. (2006). Diagnose lernabh&#228;ngiger Ver&#228;nderung mentaler Modelle Entwicklung der <span class=\"caps\">SMD<\/span>-Technologie als methodologisches Verfahren zur relationalen, strukturellen und semantischen Analyse individueller Modellkonstruktionen. Freiburg: FreiDok.<\/p>\n\n\t<p>Ifenthaler, D. (2008). Relational, structural, and semantic analysis of graphical representations and concept maps, Educational Technology Research and Development.<\/p>\n\n\t<p>Lachner, A., & Pirnay-Dummer, P. (2010). Model Based Knowledge Mapping. A new Approach for the Automated Graphical Representation of Organizational Knowledge. In Kinshuk, D. G. Sampson & J. M. Spector (Eds.), Learning and Instruction in the Digital Age (pp. 79-85). New York: Springer.<\/p>\n\n\t<p>Pirnay-Dummer, P. (2006). Expertise und Modellbildung &#8211; <span class=\"caps\">MITOCAR<\/span>. Freiburg: FreiDok.<\/p>\n\n\t<p>Pirnay-Dummer, P. (2010). Complete Structure Comparison. In D. Ifenthaler, P. Pirnay-Dummer & N. M. Seel (Eds.), Computer-Based Diagnostics and Systematic Analysis of Knowledge (pp. 235-258). New York: Springer.<\/p>\n\n\t<p>Pirnay-Dummer, P., & Ifenthaler, D. (2010). Automated Knowledge Visualization and Assessment. In D. Ifenthaler, P. Pirnay-Dummer & N. M. Seel (Eds.), Computer-Based Diagnostics and Systematic Analysis of Knowledge. New York: Springer.<\/p>\n\n\t<p>Pirnay-Dummer, P., Ifenthaler, D., & Spector, J. M. (2010). Highly integrated model assessment technology and tools. Educational Technology Research and Development. , 58(1), 3-18.<\/p>\n\n\t<p>Pirnay-Dummer, P., & Lachner, A. (2008). Towards Model Based Knowledge Management. A New Approach to the Assessment and Development of Organizational Knowledge. In M. Simonson (Ed.), Annual proceedings of the <span class=\"caps\">AECT 2008 <\/span>(pp. 178-187). Orlando, FL, <span class=\"caps\">USA<\/span>: AECT.<\/p>\n\n\t<p>Pirnay-Dummer, P., & Rauh, K. (2008). Annotations for Knowledge Structures. Quantitative Measurability of Propositions in Concept Maps and New Approaches to Mental Model Assessment. Paper presented at the <span class=\"caps\">AERA 2008<\/span>, Devision C, Section 6, Cognition & Instruction, New York, NY, <span class=\"caps\">USA<\/span>.<\/p>\n\n\t<p>Pirnay-Dummer, P., & Spector, J. M. (2008). Language, Association, and Model Re-Representation. How Features of Language and Human Association can be Utilized for Automated Knowledge Assessment. Paper presented at the <span class=\"caps\">AERA 2008<\/span>, TICL <span class=\"caps\">SIG<\/span>, Chicago, Illinois.<\/p>\n\n\t<p>Pirnay-Dummer, P., & Walter, S. (2009). Bridging the World&#8217;s Knowledge to Individual Knowledge Using Latent Semantic Analysis and Web Ontologies to Complement Classical and New Knowledge Assessment Technologies. Technology, Instruction, Cognition and Learning, 7(1), 21-45.<\/p>\n\n\t<p>Schlomske, N., & Pirnay-Dummer, P. (2009). Model based assessment of learning dependent change within a two semester class Educational Technology Research and Development., 57(6), 753-765.<\/p>\n ","protected":false},"excerpt":{"rendered":"\t<p>Erstmal Gl&#252;ckwunsch an die Kollegin Nadine Schlomske aus Jena. Sich diesem brisanten Thema zu stellen erfordert sehr viel Sorgfalt und auch Mut. Die Kollegin verf&#252;gt &#252;ber die richtige Mischung aus beidem. Gerade auch wenn das Interesse bestimmt sehr pl&#246;tzlich und &#252;berraschend kam und sie so sicher ein wenig aus unserem manchmal vielleicht zu sehr gesch&#228;tzten [&hellip;]<\/p>\n ","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[5,7,3],"tags":[183,182,184,179,180,178,181],"_links":{"self":[{"href":"https:\/\/www.schattenreigen.de\/schattenlog\/wp-json\/wp\/v2\/posts\/1634"}],"collection":[{"href":"https:\/\/www.schattenreigen.de\/schattenlog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.schattenreigen.de\/schattenlog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.schattenreigen.de\/schattenlog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.schattenreigen.de\/schattenlog\/wp-json\/wp\/v2\/comments?post=1634"}],"version-history":[{"count":7,"href":"https:\/\/www.schattenreigen.de\/schattenlog\/wp-json\/wp\/v2\/posts\/1634\/revisions"}],"predecessor-version":[{"id":1642,"href":"https:\/\/www.schattenreigen.de\/schattenlog\/wp-json\/wp\/v2\/posts\/1634\/revisions\/1642"}],"wp:attachment":[{"href":"https:\/\/www.schattenreigen.de\/schattenlog\/wp-json\/wp\/v2\/media?parent=1634"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.schattenreigen.de\/schattenlog\/wp-json\/wp\/v2\/categories?post=1634"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.schattenreigen.de\/schattenlog\/wp-json\/wp\/v2\/tags?post=1634"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}