In de toekomst zullen computers onze artsen, onze soldaten, onze brandweerlieden en onze leraren zijn. Ze diagnosticeren ziekten, voeden onze baby's, beschermen onze huizen en leren onze kinderen. Eén bedrijf ontwikkelt al een computerprogramma op basis van een essay dat professoren en gestandaardiseerde testgraders kan ontlasten. Maar kan een computer echt een zorgvuldig opgesteld essay beoordelen?
Het bedrijf, edX, denkt van wel. Ze bieden al online cursussen aan instellingen aan, samen met een kunstmatig intelligentiesysteem dat studentessays beoordeelt. John Markoff bij de New York Times legt uit:
Anant Agarwal, een elektrotechnisch ingenieur die president is van EdX, voorspelde dat de instant-grading software een nuttig pedagogisch hulpmiddel zou zijn, waarmee studenten steeds opnieuw testen en essays kunnen schrijven en de kwaliteit van hun antwoorden kunnen verbeteren. Hij zei dat de technologie duidelijke voordelen zou bieden ten opzichte van het traditionele klaslokaalsysteem, waar studenten vaak dagen of weken op cijfers wachten.
"Het heeft een enorme waarde om te leren met onmiddellijke feedback, " zei Dr. Agarwal. "Studenten vertellen ons dat ze veel beter leren met onmiddellijke feedback."
Of die directe feedback van hoge kwaliteit is, is een andere vraag. Sceptici van deze computergraders zijn niet moeilijk te vinden. Eén groep, die zichzelf Professionals Against Machine Scoring of Student Essays in High-Stakes Assessment noemt, heeft een verklaring afgegeven en verzamelt handtekeningen om zich uit te spreken tegen het overdragen van de taak van beoordeling aan een computer. Zij schrijven:
Laten we de realiteit onder ogen zien van automatisch scoren van essays. Computers kunnen niet 'lezen'. Ze kunnen de essenties van effectieve schriftelijke communicatie niet meten, onder andere nauwkeurigheid, redenering, toereikendheid van bewijs, gezond verstand, ethische houding, overtuigend argument, betekenisvolle organisatie, duidelijkheid en waarachtigheid.
Het verzoekschrift vraagt wetgevers om te stoppen met het vertrouwen op computers voor beoordeling en voor scholen om te stoppen met kopen in de geautomatiseerde scoresystemen.
Agarwal erkent dat de software beter zou kunnen zijn en hoopt dat het beter zal worden in het onderscheiden van een goed essay van middelmatig. "Dit is machine learning en er is nog een lange weg te gaan, maar het is goed genoeg en het voordeel is enorm, " vertelde hij de New York Times . Ook, zegt hij, houdt iedereen die denkt dat leraren consistent zijn zichzelf voor de gek. "We hebben vastgesteld dat de kwaliteit van de beoordeling vergelijkbaar is met de variatie die je van instructeur tot instructeur vindt."
Sommige onderzoeken hebben zelfs gesuggereerd dat computers en leraren dezelfde variabiliteit in scores hebben. Een studie van Mark Shermis aan de Universiteit van Akron concludeerde dat "geautomatiseerde essayscores in staat waren scores te produceren die vergelijkbaar zijn met menselijke scores voor schrijfartikelen met een uitgebreide respons met gelijke prestaties voor zowel brongebaseerd als traditioneel schrijfgenre." werd nooit gepubliceerd in een tijdschrift, en andere onderzoekers hebben zijn beweringen in twijfel getrokken. Les C. Perelman van het MIT schreef een reactie op de Shermis-paper en schreef dat "een nauwkeurig onderzoek van de methodologie van de paper en de gebruikte datasets aantoont dat een dergelijke claim niet wordt ondersteund door de gegevens in de studie."
De groep professionals citeert ook verschillende artikelen die suggereren dat computers niet zo goed zijn als leraren bij het evalueren van studenten.
Hoogstwaarschijnlijk is dit een kwestie van of deze computers al goed genoeg zijn om te beoordelen, niet of ze dat ooit zullen zijn. Maar het zijn niet alleen leraren die meer hightech krijgen, studenten ook. Als studenten leren waar het programma naar op zoek is, kunnen ze eenvoudig zelf een programma schrijven om op hun beurt het perfecte essay te schrijven op basis van de softwarespecificaties. Misschien zullen geautomatiseerde leraren in de toekomst geautomatiseerde studenten beoordelen.
Meer van Smithsonian.com:
Estland leert 100 procent van zijn eerste klassers om te coderen
Politieagenten leren zien
