Erstmal Glückwunsch an die Kollegin Nadine Schlomske aus Jena. Sich diesem brisanten Thema zu stellen erfordert sehr viel Sorgfalt und auch Mut. Die Kollegin verfügt über die richtige Mischung aus beidem. Gerade auch wenn das Interesse bestimmt sehr plötzlich und überraschend kam und sie so sicher ein wenig aus unserem manchmal vielleicht zu sehr geschätzten Elfenbeinturm geweckt wurde.

http://www.spiegel.de/schulspiegel/wissen/0,1518,714844,00.html

T-MITOCAR ist eine Heuristik für spezifische, sprachorientierte Fragen der Wissens- und Lerndiagnose. Als solche hat sie sich in vielen Studien als recht stabil erwiesen. Mit allen Einschränkungen, die eine Heuristik eben immer hat. Die zugrunde liegende Technologie war von mir ursprünglich entwickelt worden um eine spezifische Hypothese im Bereich der Expertise zu klären. Es stellte sich heraus, dass sie mit einigen Modifikationen auch für viele andere Fragestellungen eingesetzt werden kann.

Ob die Unterstützung der Benotung funktionieren wird, hängt sicherlich davon ab, welche Kriterien an die Benotung gesetzt werden. Chancen und Grenzen der Software liegen im Bereich der Begriffsassoziationen. Das ist im Feld der Wortrelationen und der Semantik anzusiedeln. Genau hier liegen oft Lernziele, weswegen der Ansatz von Nadine Schlomske sehr interessant ist. Andere Bereiche (etwa Stil, Ausdruck, Grammatik, Kreativität, u.v.m.) wird von der Software nicht erfasst. Hier darf man sich keinen Illusionen hingeben — das sind Grenzen. Als Reliabilität (Verlässlichkeit) gegenüber anderen Verfahren kann die Heuristik r=.82 erreichen. Das ist zwar einerseits ziemlich gut für eine rein automatische Analyse, zeigt aber auch klar die Grenzen auf. Andererseits kann subjektive Benotung von dieser Art Reliabilität in der Regel nur träumen.

Ursprünglich hatte ich noch eine andere Software entwickelt, die mehrere Stufen der Bewertung beinhaltete. Auf Konferenzen wurde ich immer wieder mit der Anfrage und Anforderung der Analyse großer Text-Datenbestände konfrontiert, die eine halb-manuelle Analyse aus praktischen Gründen schwierig gestaltet. Die Frage kam auf, ob mir eine voll automatisierte Variante gelänge. Zunächst war ich sehr skeptisch, habe dann aber doch — insbesondere dank einer langjährigen Forschungstradition vieler sehr geschätzter Kolleginnen und Kollegen in den Bereichen der Modellsemantik, der mentalen Modelle, und des induktiven und deduktiven Schließens — eine Inspiration gehabt, die letztlich funktioniert hat. Vielleicht war das mehr Glück als Verstand. Jedenfalls gehören die beteiligten philosophischen, pädagogischen, kognitionswissenschaftlichen und linguistischen Forschungsbereiche mit zu dem Interessantesten, mit dem man sich beschäftigen darf.

In der Verwendung der Software begegne ich drei Arten von Nutzern. Die einen sind sehr euphorisch nach der ersten Nutzung und glauben, dass man damit so ziemlich alles lösen kann. Das ist sicherlich falsch. Andere sagen: das sind ja bloß Assoziationen, die sagen gar nichts aus. Das ist widerum vor dem Hintergrund der Assoziationspsychologie und einer langen philosophischen Tradition des Nachdenkens über die Beschaffenheit von Erfahrung ebenfalls etwas kurz gegriffen. Man ahnt wohl schon, dass mir die dritte Gattung der Nutzer am liebsten ist: Sie erkennen einen gewissen Einsatzbereich, der Nutzen aber auch Grenzen hat und setzen sich kritisch mit dem forschungsseitigen und dem praktischen Einsatzbereich auseinander. Ich habe das große Glück, dass meine Kollegen aus Jena zu letzteren gehören. Großartig finde ich, dass konsequent von einer Unterstützung der Benotung die Rede ist (und nicht etwa von einem Ersatz). Ich denke, das zeigt eine gute (und gesunde) Reichweite dessen, was man derzeit von derartigen Werkzeugen erwarten kann.

Mehr zu den Funktionsweisen und auch zu Alternativen kann man hier nachsehen:

Ifenthaler, D., Pirnay-Dummer, P., & Seel, N. M. (Eds.). (2010). Computer-based diagnostics and systematic analysis of knowledge. New York: Springer.

weitere Literatur:

Ifenthaler, D. (2006). Diagnose lernabhängiger Veränderung mentaler Modelle Entwicklung der SMD-Technologie als methodologisches Verfahren zur relationalen, strukturellen und semantischen Analyse individueller Modellkonstruktionen. Freiburg: FreiDok.

Ifenthaler, D. (2008). Relational, structural, and semantic analysis of graphical representations and concept maps, Educational Technology Research and Development.

Lachner, A., & Pirnay-Dummer, P. (2010). Model Based Knowledge Mapping. A new Approach for the Automated Graphical Representation of Organizational Knowledge. In Kinshuk, D. G. Sampson & J. M. Spector (Eds.), Learning and Instruction in the Digital Age (pp. 79-85). New York: Springer.

Pirnay-Dummer, P. (2006). Expertise und Modellbildung – MITOCAR. Freiburg: FreiDok.

Pirnay-Dummer, P. (2010). Complete Structure Comparison. In D. Ifenthaler, P. Pirnay-Dummer & N. M. Seel (Eds.), Computer-Based Diagnostics and Systematic Analysis of Knowledge (pp. 235-258). New York: Springer.

Pirnay-Dummer, P., & Ifenthaler, D. (2010). Automated Knowledge Visualization and Assessment. In D. Ifenthaler, P. Pirnay-Dummer & N. M. Seel (Eds.), Computer-Based Diagnostics and Systematic Analysis of Knowledge. New York: Springer.

Pirnay-Dummer, P., Ifenthaler, D., & Spector, J. M. (2010). Highly integrated model assessment technology and tools. Educational Technology Research and Development. , 58(1), 3-18.

Pirnay-Dummer, P., & Lachner, A. (2008). Towards Model Based Knowledge Management. A New Approach to the Assessment and Development of Organizational Knowledge. In M. Simonson (Ed.), Annual proceedings of the AECT 2008 (pp. 178-187). Orlando, FL, USA: AECT.

Pirnay-Dummer, P., & Rauh, K. (2008). Annotations for Knowledge Structures. Quantitative Measurability of Propositions in Concept Maps and New Approaches to Mental Model Assessment. Paper presented at the AERA 2008, Devision C, Section 6, Cognition & Instruction, New York, NY, USA.

Pirnay-Dummer, P., & Spector, J. M. (2008). Language, Association, and Model Re-Representation. How Features of Language and Human Association can be Utilized for Automated Knowledge Assessment. Paper presented at the AERA 2008, TICL SIG, Chicago, Illinois.

Pirnay-Dummer, P., & Walter, S. (2009). Bridging the World’s Knowledge to Individual Knowledge Using Latent Semantic Analysis and Web Ontologies to Complement Classical and New Knowledge Assessment Technologies. Technology, Instruction, Cognition and Learning, 7(1), 21-45.

Schlomske, N., & Pirnay-Dummer, P. (2009). Model based assessment of learning dependent change within a two semester class Educational Technology Research and Development., 57(6), 753-765.

Es gibt Tage, da laufen Dinge einfach rund. Auch wenn’s viel zu tun gibt.

Wenngleich’s allemal komplexer wird dieses Jahr, alles, übrigens, die Realität uns hier und da einholt, dann gibt’s doch hin und wieder eine kurze Sekunde der lachenden Stille. Das hier symbolisiert einen recht umfangreichen Schritt. Danke an das Team.

Und damit uns auch nach Konferenz und Workshop nicht langweilig wird, sitzen wir gerade beim Vorbereiten eines neuen Chapter Proposals für ein recht interessant klingendes Buch. Ansonsten geht’s uns aber gut…

Die guten Konferenzen sind die, von denen man mit mehr Arbeit zurück kommt als man vorher schon hatte.

Die Balance zwischen Sessions, Präsentationen, Postern, Kooperationspartner und inzwischen lieb gewonnene Freunde treffen und zusammen führen, hier und da mal wieder jemanden überraschen, Reflexion und dem Aufrechterhalten aller Fäden zu Hause und sonstwo unterwegs wird jedes Jahr komplexer. Ein rasender Strom an Eindrücken, Ideen, Vorhaben, Fragen und immer länger werdenden Antworten. Wir erfahren, dass man hierzulande bereits vollständig überlastet ist, wenn man zwei Lehrveranstaltungen mit je ca. 10 Studierenden abhalten muss und dann noch drei Studierende betreut. Entscheidung, Konsequenz. Tief durchatmen. Wir werden uns nach dem Rausch der Termine heute zum Ausgleich einen Tag Berge gönnen.

Die AERA 2010 war eine gute Konferenz.

Weil gelegentlich die Versgräben der eingeschliffenen Beamtenbestückung dem immanent Verrückten zuwiederlaufen (hier von Beseelung zu sprechen wäre ernsthaft fälschlicherweise mehrdeutig — auch noch aus mehrerern Gründen), gibt sich das Maß der Impulse selbst die Ehre. Eine Reflexivität, die vielleicht eines Tages in eine echte, schöne Rekursion mündet. Nur ein Verrückter erkennt einen andern. Aber die Verrücktheit müsse hier zum Zwecke des Erkenntnisgewinns nur graduell angepasst werden. Selbstironisch auch Shakespeare: “Und ist es auch Schwachsinn, so hat es doch Methode”, schön z.B. von Bram Stoker aufgegriffen und in völlig anderen Kontext gesetzt. Hachja, Danke Ihr großen Denker.  Wenngleich auch kaum jemand eure ästhetisch atemberaubend großartige Flut des Selbstzweifels so richtig nachvollziehen will und kann. Ja, Herr Geheimrat Goethe, mit Begeisterung für das Unfassbare allein ist es eben doch nicht getan, was mir an eurem allerseits aus verschiedenen (diversen!) Gründen geschätzten Werke bereits als Schüler qualvoll zutage treten wollte — nie wollen diese so recht, verzeiht, des Pudels Kern treffen.

Weil wir Menschen nunmal ein geradezu platonisch zu nennendes Metaphernbedürfnis haben, das ebenso gerade nicht weit vom mythischen Bedürfnis gelagert ist, wird die ganze Sache mal wieder komplex. Na, weil wir da nicht gefüttert werden! Und entweder will man zur Befriedigung dieses Bedürfnisses nun Harry Potter heiraten oder man stößt alsbald auf eine geneigte Langeweile, die sich aus der Struktur selbst ergibt. Vorausgesetzt man hat hinreichend intelektuelle Fähigkeit “angehäuft” um eine solche Langeweile zu entwickeln. Andererseits ist das ja auch insgesamt wieder nicht viel. Ich bitte meine geneigte Leserschaft mich nun nicht fälschlicherweise deswegen als Neo-Platonianer zu begreifen. Das läge mir fern. Obschon es wohl Dinge gibt, die mir deutlich ferner liegen, deren Nennung jedoch an dieser Stelle wenig sachdienlich wäre. Bleiben daselbst meine herausgewürgten Assoziationen nur auf das aberwitzig Kleinste beschränkt, so können sie doch eine Brücke schlagen (Danke, William – Danke auch, Bertold).

Nun, mich hat’s jedenfalls überrascht. Das Ungleichgewicht habe ich versucht grafisch zu illustrieren. Bei meinen bescheidenen zeichnerischen Fähigkeiten möge man mir auch den Rest verzeihen (“… und bitte sie, mir zu verzeihn”). Wer richtig hinsieht, wird feststellen, dass z.B. der Edelstein ein falscher ist. Vielleicht trägt das sogar zur Modellstabilität bei. Die oben genannte Illustration — das habe ich extra hinreichend durchleuchtet — stellt abwechslungsweise mal keine sinnlose Maschine dar. Das macht aber nichts.

Viel Arbeit war’s mal wieder. Jetzt ist die Ankündigung offiziell da:

Computer-Based Diagnostics and Systematic Analysis of Knowledge

Da kommt auch mitten im Urlaub nochmal zusätzlich Freude auf.

Der eine packt aus, der nächste packt ein. Unidentifizierte Vampir-Viecher (UVV) bissen nach Steffi, hinterließen Spuren und Gips. Grips hatse selbst. Studenten hingen zwischen Klausuren und Events, Semesterabschlüssen und weiteren Unwägbarkeiten, mit halbem Bein im Praktikum und mit dem anderen sonstwo.  Die Proposals sind alle auf dem Weg nach draußen. Letztdrücker wurden’s, wie immer, weil manchmal nicht alles geht, wie es manchmal gehen könnte. Mögen die Gutachter gnädig sein und die finalen Papers den letzten Feinschliff bekommen, den sie aufgrund der Inhalte allemal verdienen. Die kommende Lehre stand klar schon wieder auf der Agenda. Aber ich hatte mir eine Auszeit gegönnt. Erste Augustwoche. Weil ich zunehmend schlafloser und zunehmend unausstehlicher wurde. Also habe ich mir selbst, auf “plattdeutsch”, verzeihung, eine Anti-Scheißkerl-Kur verschrieben. Da sollte also in guter alter Zen-Tradition… ja, was eigentlich… gesoffen? Nee, das ist ja kein Zen. Also: Die Wand angestarrt werden. Und gerade hatte das eine schöne Perspektive bei dem ganzen 3.00 Uhr einschlafen und 7.00 Uhr wieder raus.

So war jedenfalls der Plan. Kam anders. Jetzt vorbei. Urlaub dahin. Zwar 13 Stunden geschlafen am Tag. Aber aus anderen Gründen. Wenig Neues entdeckt in dieser Zeit. Jetzt gibt es längst wieder Deadlines. Was solls. Weiter rudern.

Aus entfernt genannten Gründen erscheint dieser Beitrag drei Wochen zu spät.