“I nostri contenuti sono gratuiti, la nostra infrastruttura no”, scrive la fondazione che gestisce l’enciclopedia online. Accusando i crawler di generare un ‘traffico senza precedenti’
In un anno è aumentato del 50% il traffico su Wikipedia, soprattutto quello inerente il download di immagini e video.
Il boom, spiega Wikimedia Foundation in un post sul blog ufficiale, è da imputarsi all’ascesa dell’intelligenza artificiale generativa. La crescita negli accessi non riguarda infatti utenti in carne e ossa ma i ‘crawler’, ossia i programmi automatizzati che estraggono contenuti multimediali dai siti web per addestrare i modelli di AI.
Un’operazione lecita quando si tratta di Wikipedia, che ospita file liberi da copyright, ma non esente da conseguenze.
Come funzionano i data center di Wikipedia
Wikipedia fornisce contenuti ai suoi utenti tramite una rete globale di data center. Quando un articolo viene richiesto più volte, il contenuto viene conservato nel data center più vicino all’utente.
A differenza nei navigatori, che tendono a concentrarsi su argomenti specifici, i bot di AI accedono a un’ampia gamma di articoli in blocco, inclusi file, immagini e video poco richiesti. Questo comporta un maggiore dispendio di risorse per Wikimedia, che deve rendere disponibile un archivio maggiore, a costi più elevati per il suo data center centrale.
Rischi e costi crescenti
“La nostra infrastruttura è costruita per sostenere picchi di traffico improvvisi durante eventi di grande interesse”, spiegano ancora dalla Wikimedia Foundation. “Ma la quantità di traffico generata dai bot è senza precedenti e presenta rischi e costi crescenti”.
“I nostri contenuti sono gratuiti, la nostra infrastruttura no” si legge ancora. E tra le possibili soluzioni, la Foundation valuta la creazione di sistemi di attribuzione più rigorosi – per ribadire l’importanza delle fonti e incentivare nuovi contributi – e la definizione di linee guida chiare per l’addestramento dei modelli di intelligenza artificiale.
