Erstmal Glückwunsch an die Kollegin Nadine Schlomske aus Jena. Sich diesem brisanten Thema zu stellen erfordert sehr viel Sorgfalt und auch Mut. Die Kollegin verfügt über die richtige Mischung aus beidem. Gerade auch wenn das Interesse bestimmt sehr plötzlich und überraschend kam und sie so sicher ein wenig aus unserem manchmal vielleicht zu sehr geschätzten Elfenbeinturm geweckt wurde.

http://www.spiegel.de/schulspiegel/wissen/0,1518,714844,00.html

T-MITOCAR ist eine Heuristik für spezifische, sprachorientierte Fragen der Wissens- und Lerndiagnose. Als solche hat sie sich in vielen Studien als recht stabil erwiesen. Mit allen Einschränkungen, die eine Heuristik eben immer hat. Die zugrunde liegende Technologie war von mir ursprünglich entwickelt worden um eine spezifische Hypothese im Bereich der Expertise zu klären. Es stellte sich heraus, dass sie mit einigen Modifikationen auch für viele andere Fragestellungen eingesetzt werden kann.

Ob die Unterstützung der Benotung funktionieren wird, hängt sicherlich davon ab, welche Kriterien an die Benotung gesetzt werden. Chancen und Grenzen der Software liegen im Bereich der Begriffsassoziationen. Das ist im Feld der Wortrelationen und der Semantik anzusiedeln. Genau hier liegen oft Lernziele, weswegen der Ansatz von Nadine Schlomske sehr interessant ist. Andere Bereiche (etwa Stil, Ausdruck, Grammatik, Kreativität, u.v.m.) wird von der Software nicht erfasst. Hier darf man sich keinen Illusionen hingeben—das sind Grenzen. Als Reliabilität (Verlässlichkeit) gegenüber anderen Verfahren kann die Heuristik r=.82 erreichen. Das ist zwar einerseits ziemlich gut für eine rein automatische Analyse, zeigt aber auch klar die Grenzen auf. Andererseits kann subjektive Benotung von dieser Art Reliabilität in der Regel nur träumen.

Ursprünglich hatte ich noch eine andere Software entwickelt, die mehrere Stufen der Bewertung beinhaltete. Auf Konferenzen wurde ich immer wieder mit der Anfrage und Anforderung der Analyse großer Text-Datenbestände konfrontiert, die eine halb-manuelle Analyse aus praktischen Gründen schwierig gestaltet. Die Frage kam auf, ob mir eine voll automatisierte Variante gelänge. Zunächst war ich sehr skeptisch, habe dann aber doch—insbesondere dank einer langjährigen Forschungstradition vieler sehr geschätzter Kolleginnen und Kollegen in den Bereichen der Modellsemantik, der mentalen Modelle, und des induktiven und deduktiven Schließens—eine Inspiration gehabt, die letztlich funktioniert hat. Vielleicht war das mehr Glück als Verstand. Jedenfalls gehören die beteiligten philosophischen, pädagogischen, kognitionswissenschaftlichen und linguistischen Forschungsbereiche mit zu dem Interessantesten, mit dem man sich beschäftigen darf.

In der Verwendung der Software begegne ich drei Arten von Nutzern. Die einen sind sehr euphorisch nach der ersten Nutzung und glauben, dass man damit so ziemlich alles lösen kann. Das ist sicherlich falsch. Andere sagen: das sind ja bloß Assoziationen, die sagen gar nichts aus. Das ist widerum vor dem Hintergrund der Assoziationspsychologie und einer langen philosophischen Tradition des Nachdenkens über die Beschaffenheit von Erfahrung ebenfalls etwas kurz gegriffen. Man ahnt wohl schon, dass mir die dritte Gattung der Nutzer am liebsten ist: Sie erkennen einen gewissen Einsatzbereich, der Nutzen aber auch Grenzen hat und setzen sich kritisch mit dem forschungsseitigen und dem praktischen Einsatzbereich auseinander. Ich habe das große Glück, dass meine Kollegen aus Jena zu letzteren gehören. Großartig finde ich, dass konsequent von einer Unterstützung der Benotung die Rede ist (und nicht etwa von einem Ersatz). Ich denke, das zeigt eine gute (und gesunde) Reichweite dessen, was man derzeit von derartigen Werkzeugen erwarten kann.

Mehr zu den Funktionsweisen und auch zu Alternativen kann man hier nachsehen:

Ifenthaler, D., Pirnay-Dummer, P., & Seel, N. M. (Eds.). (2010). Computer-based diagnostics and systematic analysis of knowledge. New York: Springer.

weitere Literatur:

Ifenthaler, D. (2006). Diagnose lernabhängiger Veränderung mentaler Modelle Entwicklung der SMD-Technologie als methodologisches Verfahren zur relationalen, strukturellen und semantischen Analyse individueller Modellkonstruktionen. Freiburg: FreiDok.

Ifenthaler, D. (2008). Relational, structural, and semantic analysis of graphical representations and concept maps, Educational Technology Research and Development.

Lachner, A., & Pirnay-Dummer, P. (2010). Model Based Knowledge Mapping. A new Approach for the Automated Graphical Representation of Organizational Knowledge. In Kinshuk, D. G. Sampson & J. M. Spector (Eds.), Learning and Instruction in the Digital Age (pp. 79-85). New York: Springer.

Pirnay-Dummer, P. (2006). Expertise und Modellbildung – MITOCAR. Freiburg: FreiDok.

Pirnay-Dummer, P. (2010). Complete Structure Comparison. In D. Ifenthaler, P. Pirnay-Dummer & N. M. Seel (Eds.), Computer-Based Diagnostics and Systematic Analysis of Knowledge (pp. 235-258). New York: Springer.

Pirnay-Dummer, P., & Ifenthaler, D. (2010). Automated Knowledge Visualization and Assessment. In D. Ifenthaler, P. Pirnay-Dummer & N. M. Seel (Eds.), Computer-Based Diagnostics and Systematic Analysis of Knowledge. New York: Springer.

Pirnay-Dummer, P., Ifenthaler, D., & Spector, J. M. (2010). Highly integrated model assessment technology and tools. Educational Technology Research and Development. , 58(1), 3-18.

Pirnay-Dummer, P., & Lachner, A. (2008). Towards Model Based Knowledge Management. A New Approach to the Assessment and Development of Organizational Knowledge. In M. Simonson (Ed.), Annual proceedings of the AECT 2008 (pp. 178-187). Orlando, FL, USA: AECT.

Pirnay-Dummer, P., & Rauh, K. (2008). Annotations for Knowledge Structures. Quantitative Measurability of Propositions in Concept Maps and New Approaches to Mental Model Assessment. Paper presented at the AERA 2008, Devision C, Section 6, Cognition & Instruction, New York, NY, USA.

Pirnay-Dummer, P., & Spector, J. M. (2008). Language, Association, and Model Re-Representation. How Features of Language and Human Association can be Utilized for Automated Knowledge Assessment. Paper presented at the AERA 2008, TICL SIG, Chicago, Illinois.

Pirnay-Dummer, P., & Walter, S. (2009). Bridging the World’s Knowledge to Individual Knowledge Using Latent Semantic Analysis and Web Ontologies to Complement Classical and New Knowledge Assessment Technologies. Technology, Instruction, Cognition and Learning, 7(1), 21-45.

Schlomske, N., & Pirnay-Dummer, P. (2009). Model based assessment of learning dependent change within a two semester class Educational Technology Research and Development., 57(6), 753-765.