Valutare l’informazione

Tempo di lettura stimato: 17 minuti
Pubblicata nel 2016, questa ricerca dell’Università di Stanford, a cura dello Stanford History Education Group, ha suscitato scalpore: i nativi digitali sono anche pessimi valutatori dell’attendibilità di ciò che trovano in rete. Dal numero 13 de «La ricerca», con la traduzione di Francesca Nicola.
Robert Redford e Dustin Hoffman nel film “Tutti gli uomini del Presidente”, del 1976.

In questa ricerca, durata 18 mesi, lo Stanford History Education Group ha elaborato, testato e convalidato una serie di prove finalizzate a verificare l’attitudine al ragionamento civico online, in particolare la capacità di giudicare la credibilità di informazioni veicolate da smartphone, tablet e computer. Dal gennaio 2015 al giugno dell’anno seguente, abbiamo compiuto 56 verifiche con studenti di 12 Stati. In totale abbiamo raccolto e analizzato 7804 risposte.
La verifica sul campo ha coinvolto un campione molto diversificato di scuole, alcune dotate di poche risorse altre invece ben attrezzate, sia nell’area di Los Angeles sia nella periferia di Minneapolis.
In ambito universitario, in cui la nostra indagine si è focalizzata sulle capacità di utilizzo della rete, le prove sono state somministrate online agli studenti di sei Università molto diverse fra loro, da quella di Stanford, un’istituzione tanto selettiva da respingere il 94% degli aspiranti, ad alcune grandi università statali che ammettono gli studenti quasi senza restrizioni.

Il quadro di insieme

Quando migliaia di studenti svolgono decine di attività, le risposte presentano infinite variazioni, e questo è certamente il caso della nostra esperienza. Tuttavia, a ogni livello (scuole medie, superiori e università), queste differenze individuali sembrano annullarsi mettendo in evidenza una costante stupefacente e spaventosa.
Nel complesso, la capacità dei giovani di spiegare le informazioni su internet può essere riassunta in una sola parola: pessima. I “nativi digitali” possono essere capaci di usare Facebook e Twitter, magari caricano contemporaneamente un selfie su Instagram e inviano un messaggio a un amico. Ma rimangono facilmente ingannati quando si tratta di valutare le informazioni che fluiscono attraverso i canali dei social media.

Nel complesso, la capacità dei giovani di spiegare le informazioni su internet può essere riassunta in una sola parola: pessima.Non abbiamo progettato i nostri esercizi per proporre gerarchie o pedanti distinzioni tra risposte insufficienti, buone ed eccellenti. Abbiamo piuttosto cercato di identificare una competenza ragionevole, un livello di prestazioni che pensavamo fosse condiviso dalla maggior parte degli studenti della scuola media, dei liceali e degli universitari.
Ci aspettavamo, per esempio, che gli alunni delle medie fossero in grado di distinguere una notizia da un annuncio pubblicitario. Oppure che, informandosi sulle leggi relative al possesso delle armi, gli studenti delle superiori tenessero in giusta considerazione il fatto che una statistica sia stata elaborata da un comitato di azione politica favorevole (o contrario) alle leggi oggi vigenti in questo campo. Supponevamo che gli studenti universitari, abituati a navigare in rete, fossero capaci di guardare oltre la URL e si chiedessero chi vi è dietro un sito che presenta solo un lato di una questione controversa. Ma in ogni caso e ad ogni livello, siamo rimasti sorpresi dalla mancanza di preparazione degli studenti.

Per ogni problema che riguarda la nazione, ci sono innumerevoli siti web che fingono di essere qualcosa che non sono. Un tempo le persone comuni si affidavano di volta in volta ad autori, editori ed esperti per raccogliere le informazioni di cui avevano necessità. Ma su internet, in assenza di qualsivoglia regolamentazione, si trova di tutto e di più.

Michael Lynch, un filosofo che studia il cambiamento tecnologico, ha osservato che internet «è il miglior strumento per verificare l’attendibilità di una notizia ma contemporaneamente anche per confermare i pregiudizi»1. Non abbiamo mai avuto così tanta informazione immediatamente disponibile. Se questo indubbio vantaggio ci renderà più intelligenti e meglio informati oppure più ignoranti e di vedute ristrette, dipenderà dalla consapevolezza dei problemi messi in luce dalla nostra ricerca e dalle risposte che saremo in grado di elaborare sul piano educativo. Per il momento, ciò che ci preoccupa è che la stessa democrazia risulta minacciata dal fatto che la disinformazione su questioni civiche possa diffondersi e prosperare.

La struttura della ricerca

Il nostro lavoro ha attraversato tre fasi distinte, la prima delle quali dedicata a immaginare le prove da sottoporre agli studenti. Abbiamo seguito un percorso simile a quello praticato nel design thinking2, un metodo elaborato nel mondo della progettazione in cui da una nuova idea si ricavano una serie di prototipi, che vengono prima sottoposti al giudizio degli utenti, quindi revisionati ed ancora riproposti in un ciclo di continuo miglioramento.

Questa strategia ha avuto per noi un’importanza cruciale, poiché è impossibile sapere in anticipo se un esercizio progettato dagli adulti sarà interpretato in modo simile da ragazzi di tredici anni. E ristrutturando continuamente i nostri strumenti di valutazione abbiamo tenuto conto di ciò che gli studenti riuscivano o non riuscivano a fare.

Internet è il miglior strumento per verificare l’attendibilità di una notizia ma contemporaneamente anche per confermare i pregiudizi.Ad esempio, uno dei nostri compiti invitava i liceali e gli universitari a consultare la homepage di MinimumWage.com, un sito dedicato ai temi delle politiche salariali e occupazionali, apparentemente equo e moderato. Il sito si collega a fonti affidabili come il «The New York Times» e si definisce come un progetto dell’Istituto delle Politiche per l’Occupazione, un’organizzazione no-profit che proclama di sostenere ricerche non partigiane sul tema del lavoro.
Ebbene, negli esercizi di navigazione in rete, solo il 9% degli allievi di scuole superiori, che pure frequentavano un corso avanzato di storia, si è dimostrato in grado di interpretare il linguaggio suadente di MinimumWage.com e capire che si tratta di un’iniziativa comunicativa messa in atto da una lobby di Washington, secondo una prassi, ben analizzata da Lisa Graves nell’articolo Corporate America’s New Scam (Il nuovo inganno delle aziende americane), per la quale quelli che nelle grandi aziende erano sino a poco tempo fa gli uffici per le pubbliche relazioni si presentano ora come think tank oggettivi e indipendenti3.
Tra gli universitari i risultati sono stati ancora peggiori: il 93% è rimasto intrappolato dall’inganno, confermando così l’intuizione di Lisa Graves: impressionati dalla autorevolezza apparentemente non partigiana della sigla Istituto per le Politiche di Occupazione, non hanno neppure tentato di usare Google per indagare sui finanziamenti di questa organizzazione. La maggior parte non è mai andata oltre il sito stesso4.

La seconda fase del nostro lavoro si è posta l’obbiettivo di convalidare le prove elaborate. Per fare in modo che misurassero proprio ciò che stavamo cercando (escludendo ad esempio le capacità di lettura o di esecuzione dei test), ci siamo impegnati in una approfondita revisione, a volte modificando e rivedendo i nostri esercizi fino a mezza dozzina di volte. Inoltre, abbiamo chiesto a gruppi di studenti di verbalizzare il loro pensiero mentre completavano i compiti a loro proposti. Questa pratica ci ha permesso di considerare ciò che è conosciuto come “validità cognitiva”, il rapporto tra ciò che una valutazione cerca di misurare e ciò che effettivamente fa5.

Infine ci siamo dedicati alla verifica sul campo del lavoro sino ad allora svolto, approfittando della rete di insegnanti coinvolti nel progetto Reading Like a Historian messo a punto del gruppo online della Stanford History Education. Si tratta di un curriculum utilizzato in tutto il Paese e ufficialmente adottato dal distretto scolastico di Los Angeles7, il secondo per importanza in tutti gli Stati Uniti. Con l’aiuto di questi insegnanti e di altri in diverse città, abbiamo raccolto migliaia di risposte e recepito il parere di molti docenti sulla adeguatezza degli esercizi proposti. Alla fine, sommando questo lavoro alla analisi delle interviste di validità cognitiva, siano certi di aver elaborato strumenti di valutazione adeguati a misurare le competenze che gli studenti dovrebbero possedere.

Figura 1. La schermata della rivista online Slate e gli esercizi proposti.

La difficoltà di formulare i test di valutazione

Abbiamo progettato, gestito e convalidato quindici test di valutazione, cinque rivolti agli studenti delle scuole medie ed altrettanti ai liceali e agli universitari. A livello di scuola media, dove la capacità di navigare online è agli inizi, abbiamo progettato un esercizio da svolgersi con carta e matita seppure basato su un contenuto digitale, come illustra la figura 1. Abbiamo cioè utilizzato una schermata di Slate, una delle più note riviste online americane. Lanciata nel 1996 da Microsoft, dal 2004 è stata acquisita dal gruppo editoriale del «The Washington Post». Di stampo liberale, è gratuita perché si mantiene con la pubblicità. Agli studenti è stato chiesto di distinguere fra le sezioni della schermata dedicate alle notizie e quelle contenenti annunci pubblicitari. Allo stesso modo, abbiamo utilizzato schermate di tweets, post di Facebook e una riproduzione del sito web della CNN per proporre esercizi analoghi.

All’inizio pensavamo che gli esercizi proposti fossero troppo facili, ma non lo erano affatto.Siamo ben consapevoli del rischio implicato dall’apparente incongruenza di chiedere ai ragazzi di usare carta e matita per analizzare una fonte online. Ci basiamo, però, su un recente studio8, Students, Computers and Learning: Making the Connection, condotto dalla OECD (Organizzazione per la Cooperazione Economica e lo Sviluppo) che dimostra come le capacità di valutare le fonti online possono essere misurate anche con gli strumenti didattici tradizionali. Ancor più importante per la nostra decisione è stata la speranza che questo sistema valutativo potesse coinvolgere anche scuole molto arretrate sul piano dell’innovazione, nelle quali i più moderni sistemi informatici rimangono ancora una possibilità remota. Queste prove di valutazione che abbiamo elaborato per la scuola media costituiscono una batteria di test facilmente utilizzabile da tutti gli insegnanti, indipendentemente dai mezzi tecnici a loro disposizione, e sono utili per misurare le abilità di base degli studenti.

A livello di scuola superiore, abbiamo progettato compiti più complessi chiedendo agli studenti di ragionare su più fonti. A livello universitario, gli esercizi sono stati amministrati online. Data la fluidità dei livelli di competenza, nulla impedisce che gli esercizi pensati per il livello liceale possono essere usati per quello universitario, e viceversa.

Gli esercizi

Ecco qui di seguito il contenuto degli esercizi proposti. I due segnalati dal grassetto sono analizzati in dettaglio nel prosieguo della relazione.

Scuole medie
1. Notizie su Twitter. Gli studenti confrontano diversi tweet e decidono quale è il più affidabile.
2. Analisi di un articolo. Gli studenti leggono un post sponsorizzato e spiegano perché potrebbe non essere affidabile.
3. Sezione commenti. Gli studenti esaminano un post da una sezione di commenti di un giornale online e decidono se potrebbero utilizzarlo in una ricerca.
4. Ricerca news. Gli studenti distinguono tra un articolo di notizie e uno d’opinione.
5. Analisi di una home page. Gli studenti identificano le pubblicità su un sito web di notizie.

Scuole superiori
1. Analisi degli argomenti. Gli studenti confrontano e valutano due messaggi della sezione di commenti di un giornale online.
2. Notizie su Facebook. Gli studenti identificano il segno di spunta blu che distingue un account Facebook verificato da uno falso.
3. Argomentare su Facebook. Gli studenti considerano la diversa evidenza dei ragionamenti che due utenti svolgono in uno scambio su Facebook.
4. Valutazione delle prove. Gli studenti decidono se fidarsi di una fotografia pubblicata su un sito web per la condivisione di foto.
5. Confronto di articoli. Gli studenti determinano la diversa affidabilità di una notizia e di un post sponsorizzato.

Università
1. Valutazione di un articolo. In una ricerca web aperta, gli studenti decidono se un sito può essere considerato affidabile.
2. Soddisfare una richiesta. Gli studenti cercano online per verificare un reclamo su un argomento controverso.
3. Affidabilità di un sito web. Gli studenti determinano se un sito partigiano è affidabile.
4. Social media video. Gli studenti guardano un video online e identificano i suoi punti di forza e di debolezza.
5. Informazione sui social media. Gli studenti leggono un tweet e spiegano perché potrebbe o non potrebbe essere una fonte utile di informazioni.

I prossimi passi

Immaginiamo tre tipi di sviluppo del lavoro che finora abbiamo svolto. Il primo riguarda la possibilità di usare le prove da noi elaborate come strumenti per l’apprendimento. Riteniamo possano rivelarsi utili anche nell’ordinario lavoro in classe. Oltre a verificare le capacità di apprendimento, possono servire anche a stimolarlo, se usate come apparati didattici, del tipo di quelle che gli insegnanti chiamano “valutazioni formative”. Allo stesso modo, gli insegnanti possono utilizzare questi esercizi come base per lezioni più ampie sulle competenze che questi compiti misurano. Ci ripromettiamo comunque di elaborare ulteriori materiali che aiutino i docenti a introdurre questi temi nel loro lavoro formativo.

Un’altra esigenza sta nel mettere a punto un curriculum specifico finalizzato allo sviluppo del ragionamento civico online. Sfruttando l’esperienza che abbiamo acculato realizzando il curriculum Reading Like a Historian6, abbiamo iniziato a elaborare una serie di lezioni da utilizzarsi in combinazione con le valutazioni proposte nella ricerca. Nei prossimi mesi lavoreremo a stretto contatto con gli insegnanti per perfezionare questi materiali ed applicarli nelle aule. Pensiamo ve ne sia un grande bisogno.

Dobbiamo infine sviluppare la consapevolezza del problema presso gli educatori. Non avevamo affatto capito la sua profondità quando abbiamo iniziato la nostra ricerca. Ci chiedevamo addirittura se fosse il caso di proporre determinati esercizi, considerandoli eccessivamente facili, e solo dopo il primo round di validazione dei test abbiamo percepito la realtà dei fatti rimanendone sconvolti. Poiché i giovani usano senza difficoltà i social media, si tende a pensare che siano altrettanto esperti nel discernere ciò che vi trovano. Ma il nostro lavoro mostra il contrario. Abbiamo messo in cantiere la produzione di una serie di video web per sensibilizzare gli educatori, mostrando loro la profondità del problema rivelato dalle prestazioni estremamente carenti dimostrate dagli studenti affrontando i nostri test. È una questione che lega strettamente l’alfabetizzazione digitale al corretto esercizio di una cittadinanza consapevole, tanto importante da rappresentare una minaccia alla democrazia.

Figura 2. La fotografia delle margherite “malate” pubblicata sul sito Imgur.

Valutare il valore di prova di una fotografia

Data la grande quantità di informazioni disponibili online, gli studenti devono essere in grado di distinguere tra fonti legittime e dubbie. Devono porsi una domanda basilare: qual è la fonte del documento che sto consultando?

Questo esercizio, proposto nelle scuole medie, valuta se gli studenti esaminano questo problema anche quando si confrontano con un’immagine di grande impatto visivo. Ad esempio quella che abbiamo loro presentato, pubblicata nel luglio 2015 da Imgur, un sito web di condivisione di fotografie, con una didascalia in cui si afferma che la deformità di queste margherite è dovuta a una crescita patologica prodotta dal disastro avvenuto il 21 marzo 2011 nella centrale nucleare di Fukushima in Giappone (vedi figura 2).

Anche se l’immagine è avvincente ed efficace nel suggerire ciò che la didascalia afferma, gli studenti più accorti dovrebbero notare che non fornisce una prova certa di un’abnorme sviluppo prodotto dalle radiazioni atomiche. Dovrebbero poi indagare sulla fonte del post, notando che chi l’ha inviata non possiede alcuna credenziale, dato che appare in un sito in cui chiunque può caricare una fotografia. Infine potrebbero notare che non si fornisce alcuna prova che l’immagine sia stata scattata in prossimità della centrale nucleare di Fukushima.

In generale, gli studenti di livello superiore sono rimasti affascinati dalla fotografia e si sono basati su di essa per valutare la fiducia del post. Hanno ignorato i dettagli chiave, come la fonte della foto. Meno del 20% ha risposto centrando l’obiettivo o comunque mettendo in dubbio la fonte della foto e la credibilità dell’immagine. D’altra parte, quasi il 40% ha sostenuto che il post fornisce forti evidenze perché testimonia la degenerazione della natura vicino alla centrale. Il 25% ha ammesso che il post non fornisce una prova soddisfacente del disastro, ma solo perché mostra soltanto margherite e non anche altre piante o animali che potrebbero essere affetti dalle radiazioni nucleari.

L’informazione sui social

Twitter è pieno di individui e gruppi che cercano di migliorare i loro programmi. Per navigare in questo mare di informazioni, gli studenti devono essere in grado di valutare i punti di forza e le debolezze dei tweet, quando li si consideri come fonte di informazioni. In particolare, devono considerare le fonti di un tweet e le informazioni che veicola.

Dalle interviste è emerso che più della metà degli studenti non è stata in grado di esplorare neppure i collegamenti forniti all’interno del tweet che stava analizzando.Questo esercizio presenta agli studenti universitari un tweet dell’organizzazione di ispirazione liberale MoveOn.org in cui si afferma che: «Un nuovo sondaggio mostra che la NRA (National Rifle Association) non rappresenta più i possessori di armi e neppure i suoi stessi associati». Il contenuto effettivo della notizia è espresso in uno spazio grafico in cui si apprende che «Due possessori di armi su tre dicono che voteranno per un candidato favorevole all’introduzione di controlli preventivi sugli acquirenti di armi». Il tweet contiene anche il collegamento a una rassegna stampa relativa al committente del sondaggio: il Centro per il Progresso Americano, una organizzazione di ispirazione liberale. E indica infine la società che nel novembre del 2015 ha eseguito il sondaggio, la Public Policy Polling, un’agenzia nata nel 2001, seria e autorevole ma politicamente schierata a favore del Partito Democratico.

Agli studenti viene chiesto se questo tweet può essere considerato un’utile fonte di informazione.
I più consapevoli dovrebbero rispondere in senso affermativo, notando che il sondaggio è stato condotto da una società professionalmente affidabile. Allo stesso tempo, però, dovrebbero riconoscere che le motivazioni politiche di MoveOn.org e del Centro per il Progresso Americano, organizzazioni che sostengono con forza l’introduzione del porto d’armi, potrebbero avere modificato la struttura del sondaggio, la pubblicizzazione e la valorizzazione dei suoi risultati.

Abbiamo presentato questo compito a 44 universitari in tre università. I risultati indicano che gli studenti hanno avuto forti difficoltà nel valutare il tweet. Solo pochi hanno sottolineato l’autorevolezza della Public Policy Polling e hanno quindi elaborato un giudizio positivo del tweet come fonte di informazioni. Meno di un terzo ha osservato in modo esplicito come le agende politiche di MoveOn.org e del Centro per il Progresso Americano potrebbero averne influenzato il contenuto. Molti hanno fatto ampie considerazioni sui limiti dei sondaggi e sulla frequente inattendibilità delle informazioni veicolate dai social media, senza però essere in grado di indagare seriamente sulle specifiche fonti di questo documento.

Dalle interviste condotte dopo gli esercizi è emerso che più della metà degli studenti non ha esplorato i collegamenti forniti all’interno del tweet, limitandosi semplicemente a scorrere su e giù la pagina. Altri, infine, hanno cercato di procurarsi sul web notizie sulle organizzazioni coinvolte. Tuttavia, dalle ricerche sul Centro per il Progresso Americano non hanno saputo trarre informazioni utili.

Nel complesso i risultati di questo esercizio suggeriscono che gli studenti hanno bisogno di ulteriori istruzioni su come affrontare i contenuti dei social media, in particolare quando sono presentati da una fonte con un programma politico chiaro.

[Tratto da: Stanford History Education Group (con il supporto della Robert R. McCormick Foundation), Evaluating Information: the Cornerstone of Civic Online Reasoning, 2016, rintracciabile in rete qui.
Traduzione di Francesca Nicola]


NOTE

1. M. Lynch, Googling is Believing: Trumping the Informed Citizen, «New York Times», 9 Marzo 2016, rintracciabile in rete al sito http://opinionator.blogs.nytimes.com.
2. T. Brown, Design Thinking, in «Harvard Business Review» 86, n. 6 (2008), pp. 84-95.
3. L. Graves, Corporate America’s New Scam: Industry P.R. Firm Poses as Think Tank!, in «Salon», novembre 2013, rintracciabile in rete sul sito www.salon.com. 
4. Abbiamo sempre raccomandato agli studenti di porre un’attenzione particolare a questo quesito dedicandovi almeno tre minuti, anche se nulla impediva di studiarlo per un tempo più lungo, dato che non abbiamo posto limiti temporali all’esecuzione dei compiti. Possiamo assicurare che le risposte non sono state condizionate dalla fretta.
5. J. Pellegrino, Knowing What Students Know: The Science and Design of Educational Assessment, National Academies Press, Washington, 2001.
6. http://sheg.stanford.edu.
7. achieve.lausd.net/page/5965.
8. Organisation for Economic Cooperation and Development, Students, Computers and Learning: Making the Connection, OECD Publishing, Parigi, 2015.

L’History Education Group, fondato nel 2002, è un gruppo di ricerca afferente all’Università di Stanford specializzato nella formazione professionale degli insegnanti di storia. Il suo prestigio sta nell’aver elaborato il curriculum Reading Like a Historian, un corso di 88 lezioni in cui la storia degli Stati Uniti è sviluppata attraverso il ricorso sistematico alle fonti documentarie. Dopo il grande successo ottenuto negli Stati Uniti, il metodo è stato applicato anche alla storia di altri Paesi. Per ulteriori notizie: http://sheg.stanford.edu.

Condividi:

Contatti

Loescher Editore
Via Vittorio Amedeo II, 18 – 10121 Torino

laricerca@loescher.it
info.laricerca@loescher.it