Come capire se quello che stai leggendo è stato scritto da un'IA

Questo post fa parte della serie di Lifehacker "Esposizione dell'IA". Stiamo esplorando sei tipi diversi di media generati dall'IA e mettendo in evidenza le peculiarità, i sottoprodotti e le caratteristiche comuni che aiutano a distinguere il contenuto creato dall'IA da quello creato dall'uomo.

**Dalla sua introduzione al mondo a fine 2022, ChatGPT ha reso chiaro che in futuro non si può più dare per scontato che qualcosa che si sta leggendo sia stato scritto da un essere umano. È possibile chiedere a un programma IA come ChatGPT di scrivere qualsiasi cosa e lo farà in pochi secondi. Ma come si può fare per fidarsi che ciò che si sta leggendo provenga dalla mente di una persona e non dal prodotto di un algoritmo?

Se la continua svalutazione della bolla dell'IA ci ha insegnato qualcosa, è che la maggior parte delle persone ha una certa avversione per l'IA in generale, il che significa che probabilmente non sono entusiasti dell'idea che ciò che stanno leggendo sia stato sputato fuori da una macchina senza riflettere. Tuttavia, alcuni hanno completamente abbracciato la capacità dell'IA di generare testo realistico, a volte con risultati positivi e altre volte con risultati negativi. Lo scorso anno, CNET ha iniziato a pubblicare contenuti AI insieme agli articoli scritti dall'uomo, ma ha incontrato critiche e risentimento da parte dei propri dipendenti. L'ex casa editrice di Lifehacker, G/O Media, ha pubblicato contenuti AI sui propri siti, ma ha incontrato la stessa reazione negativa, sia per l'implementazione della tecnologia senza il consenso dei dipendenti, sia perché il contenuto stesso era semplicemente pessimo.

Ma non tutti i testi generati dall'IA si annunciano così chiaramente. Usati correttamente, i programmi IA possono generare testi convincenti, anche se è ancora possibile individuare indizi che ne rivelano la fonte non umana.

Come funziona la scrittura IA

L'IA generativa non è una coscienza digitale onnisciente in grado di rispondere alle domande come farebbe un essere umano. Non è affatto "intelligente". Gli attuali strumenti IA sono alimentati da modelli linguistici di grandi dimensioni (LLM), che sono algoritmi di apprendimento profondo addestrati su enormi set di dati, in questo caso set di dati di testo. Questo addestramento influisce su tutte le loro risposte alle query dell'utente. Quando si chiede a ChatGPT di scrivere qualcosa, l'IA suddivide la domanda e individua ciò che "ritiene" siano gli elementi più importanti nella query. Quindi "prevede" la sequenza di parole giusta per rispondere alla richiesta in base alla sua comprensione della relazione tra le parole.

I modelli più potenti sono in grado di elaborare contemporaneamente più informazioni e di restituire risultati più lunghi e naturali. Inoltre, è comune che i chatbot siano programmati con istruzioni personalizzate che si applicano a tutte le richieste, che, se utilizzate strategicamente, possono potenzialmente nascondere i segni usuali del testo generato dall'IA.

Detto questo, qualsiasi cosa tu chieda all'IA di rispondere, essa è vincolata al suo addestramento e ci saranno probabilmente segni che un testo è stato generato da un LLM. Ecco alcune cose a cui fare attenzione.

Fate attenzione alle parole e alle frasi comunemente utilizzate

Poiché i chatbot sono stati addestrati per individuare le relazioni tra le parole, tendono ad utilizzare alcune parole e frasi più spesso di quanto farebbe una persona. Non c'è una lista specifica di parole e frasi che servono da segnali di allarme, ma se si utilizza abbastanza un tool come ChatGPT, si potrebbe iniziare a notare alcune tendenze.

Per esempio, ChatGPT utilizza spesso la parola "delve", soprattutto durante le transizioni nel testo. (ad esempio "Entriamo nel merito del suo significato.") Il tool ama anche esprimere come un'idea "sottolinei" l'argomento generale (ad esempio "Questa esperienza sottolinea l'importanza della perseveranza..."), e come una cosa sia "un testimone di" un'altra. (Ho generato tre saggi con ChatGPT per questa sezione - due con GPT-4o e uno con GPT-4o mini - e "testimone" è comparso in ciascuno di essi.)

In modo simile, si potrebbero notare ripetizioni di parole come "emerge", "relentless", "groundbreaking", tra gli altri regolari notevoli. In particolare, quando ChatGPT descrive una raccolta di qualcosa, spesso la chiama "mosaico" o "tappeto". (ad esempio "Il paesaggio culturale di Madrid è un vibrante mosaico.")

Questo thread di Reddit di r/chatgpt evidenzia un mucchio di queste parole generate comunemente, ma è importante notare che il post ha 10 mesi e OpenAI aggiorna spesso i propri modelli, quindi alcune di queste informazioni potrebbero non essere più rilevanti oggi. Nel mio test, ho trovato che alcune delle parole più citate nel thread di Reddit non sono comparse affatto nei miei saggi di prova, mentre altre lo hanno fatto con una certa frequenza.

Tutte queste parole sono perfettamente accettabili da usare quando si scrive da soli. Se uno studente scrive "delve into" nel suo saggio, non è una prova schiacciante che lo abbia generato con ChatGPT. Se un dipendente scrive che qualcosa è "un testimone di" qualcosa altro in un rapporto, non significa che stia esternalizzando il proprio lavoro all'IA. Questo è solo un aspetto della scrittura IA da tenere a mente mentre si analizza il testo in futuro.

Considerate lo stile della scrittura

È impressionante con quanta rapidità l'IA può generare una risposta a una query, soprattutto quando si lavora con un LLM particolarmente potente. E mentre alcune di queste scritture possono sembrare molto naturali, se si legge attentamente, si noteranno presto le peculiarità che la maggior parte degli scrittori umani non utilizzerebbe.

Se l'AI utilizzi il modello GPT di OpenAI o Gemini di Google, ha un brutto vizio di usare un linguaggio fiorito nelle sue generazioni, come se fosse stata addestrata principalmente su testi di marketing. L'AI cercherà spesso di venderti con forza qualsiasi cosa stia parlando: la città di cui scrive è spesso "integrale", "vibrante" e un "punto di riferimento" del paese in cui si trova; l'analogia che utilizza "bellezza" evidenzia l'argomento generale; una conseguenza negativa non è solo brutta, ma "devastante". Nessuno di questi esempi è dannoso di per sé, ma se leggi abbastanza testo dell'AI, inizierai a sentirti come se avessi parlato con un thesaurus.

Questo diventa ancora più evidente quando un chatbot cerca di usare un tono casual. Se il bot si spaccia per una persona reale, ad esempio, spesso si presenterà come allegro e sopra le righe, e troppo entusiasta per ascoltare qualsiasi cosa tu abbia da dire. A onor del vero, nei miei test per questo articolo, il modello GPT-4o di ChatGPT non ha sembrato farlo tanto quanto in passato, preferendo risposte più concise alle domande personali - ma il chatbot di Meta AI lo fa ancora assolutamente, assumendo i ruoli di migliore amica e terapeuta ogni volta che condivido un problema finto che sto avendo.

Se stai leggendo un saggio o un articolo che esprime un argomento, fai attenzione a come il "scrittore" struttura i suoi punti. Chiunque chieda a uno strumento AI di scrivere un saggio su un argomento senza dargli troppe indicazioni spesso riceverà un saggio che non si addentra molto negli argomenti. L'AI genererà probabilmente brevi paragrafi che offrono punti di superficie che non aggiungono molto per approfondire l'argomento o contribuire alla narrazione, nascondendo queste limitazioni con i suddetti $10 parole e linguaggio fiorito. Ogni paragrafo potrebbe sembrare più una sintesi dell'argomento, piuttosto che un tentativo di contribuire all'argomento stesso. Ricorda, un LLM non sa nemmeno di cosa sta parlando; si limita a concatenare parole che crede appartengano insieme.

Se ti senti di aver imparato assolutamente nulla dal pezzo, potrebbe essere colpa dell'AI.

Verifica dei fatti e correzione delle bozze

Gli LLM sono scatole nere. Il loro addestramento è così complesso che non possiamo guardarci dentro per vedere esattamente come hanno stabilito la loro comprensione delle relazioni tra le parole. Quello che sappiamo è che tutte le AI hanno la capacità (e la tendenza) a "allucinare". In altre parole, a volte l'AI si inventa le cose. Ancora una volta, gli LLM non "sanno" nulla: si limitano a prevedere i modelli di parole in base al loro addestramento. Quindi, mentre molte delle cose che sputano fuori probabilmente si baseranno sulla verità, a volte prevedono in modo errato e potresti ottenere risultati bizzarri dall'altra parte. Se stai leggendo un testo e vedi un'affermazione che sai non essere vera, affermata come fatto, soprattutto senza fonte, sii scettico.

Al contrario, considera quanto la bozza del pezzo abbia richiesto di essere corretta. Se non ci sono errori di battitura e nessuna grammatica errata, anche questo è un segno dell'AI: questi modelli potrebbero inventarsi le cose, ma non producono errori come gli errori di ortografia. Certo, magari l'autore si è assicurato di punteggiare ogni "i" e incrociare ogni "t", ma se sei già preoccupato che il testo sia stato generato con l'AI, il perfezionismo artificioso può essere un indizio.

Prova un rilevatore di testo AI (ma non puoi fidarti nemmeno di quelli)

I rilevatori AI, come gli LLM, si basano su modelli AI. Tuttavia, invece di essere addestrati su grandi volumi di testo generale, questi rilevatori sono addestrati specificamente su testo AI. In teoria, questo significa che dovrebbero essere in grado di individuare il testo AI quando gli viene presentato un campione. Non è sempre così.

Quando ho scritto sull'AI rilevatori lo scorso anno, ho avvertito di non usarli, perché non erano affidabili come sostenevano di essere. È difficile dire quanto siano migliorati nel frattempo: quando inserisco una delle mie storie in uno strumento come ZeroGPT, dice che il mio pezzo è stato scritto al 100% da un essere umano. (Certo.) Se sottopongo un saggio generato da Gemini sulla significato dell'aver perso i genitori di Harry nella serie di Harry Potter, lo strumento identifica il 94,95% del pezzo come generato dall'AI. (L'unica frase che pensa sia stata scritta da un essere umano è: "Questa partecipazione personale al conflitto distingue Harry dagli altri personaggi, concedendogli uno scopo inamovibile." Vero.)

Eppure il rilevatore fallisce lo stesso test che gli ho fatto nel 2023: sostiene che il 100% dell'Article 1., Section 2. della Costituzione degli Stati Uniti è generato dall'AI. Qualcuno dica al Congresso! Ho anche impostato lo strumento per analizzare questo breve articolo del New York Times, pubblicato il 16 luglio 2015, molto tempo prima dell'avvento degli LLM moderni. Ancora una volta, mi è stato assicurato che il pezzo era al 100% AI.

Ci sono molti rilevatori AI sul mercato e forse alcuni sono migliori degli altri. Se ne trovi uno che tende a identificare in modo affidabile il testo che sai essere stato scritto da un essere umano come tale, e allo stesso modo per il testo che sai essere stato generato dall'AI, vai avanti e testalo con il testo di cui non sei sicuro. Ma credo ancora che il metodo superiore sia analizzarlo da soli. Il testo AI sta diventando sempre più realistico, ma ancora viene con un sacco di indizi che lo tradiscono - e spesso saprai quando lo vedi.

Per analizzare più efficacemente il testo generato dall'IA, è fondamentale conoscere le peculiarità linguistiche comuni che i modelli di IA spesso presentano, come l'uso eccessivo di parole o frasi specifiche.
Nel mondo della tecnologia, c'è un crescente bisogno di imparare a distinguere tra il contenuto generato dall'IA e quello creato dall'uomo, soprattutto mentre i chatbot e altri strumenti di IA continuano a evolversi e migliorare.