Contro la trappola delle metriche

di | 16 Luglio 21

👋

Ciao, stai leggendo Ellissi,
la newsletter settimanale
di Valerio Bassan su media
e digitale.

Arriva ogni due venerdì,
è gratis, e puoi riceverla
anche tu
.

🟡 Per iscriverti clicca qui.

Qual è la tua definizione di “successo”?

No, non è una domanda politica — anche se i risvolti e le implicazioni di quel tipo non mancano.

È una domanda pratica, e riguarda il tuo lavoro quotidiano: che cosa osservi quando devi decidere se un progetto, un prodotto o un contenuto che hai creato “funziona”?

I ricavi generati? L’impatto? Il numero di condivisioni? I feedback ricevuti? La crescita degli iscritti?

Qual è la tua metrica fondamentale per capire se qualcosa, dopo tutta la fatica che ci hai messo, sta andando bene?

È una domanda che vale per qualsiasi professione, questa, e la cui risposta non è per nulla scontata — proprio perché varia a seconda delle definizione di cosa significhi, per ciascuno di noi, “successo”.

Molti business cercano con insistenza la propria metrica “North Star” (Stella Polare), ovvero quel singolo valore fondamentale che, se misurato correttamente, ci dovrebbe dire se stiamo andando nella direzione giusta.

Ma come accade per chiunque navighi di notte, c’è sempre il rischio di inseguire la stella sbagliata, e di perdere improvvisamente la rotta.

Pensa al Fyre Fest, uno dei fallimenti più splendidi dell’ultimo decennio: se guardassimo solo all’engagement e al fermento generati sui social prima dell’evento, tra ricondivisioni di notissime influencer e corsa all’ultimo biglietto, potremmo pensare che il festival sia stato un enorme successo. 

E invece, uhm, non è andata proprio così.

Dipende tutto da cosa scegli di osservare, e da come lo misuri. E anche facendolo bene, non è detto che le metriche che usi siano la mappa di cui hai bisogno per scegliere la tua direzione di marcia.

Nel suo interessante libro The Tiranny of Metrics, lo storico Jerry Muller denuncia i pericoli della metric fixation, la convinzione che le metriche che usiamo nel nostro lavoro – ormai comunemente accettate e date per scontate – ci possano fornire tutte le informazioni necessarie per farci prendere le decisioni giuste.

Non è così, arguisce Muller, secondo cui fissarsi su una o più metriche può essere pericoloso. 

La ‘dittatura delle metriche’, spiega l’autore, ci spinge piuttosto a misurare solo la cosa più facile da misurare, e non quella che veramente conta; a privilegiare i risultati a breve termine, a discapito della visione di lungo periodo; o ancora, ci costringe a standardizzare i processi, riducendo la nostra creatività e la capacità di reagire agli imprevisti. 

Senza contare che ogni metrica, in un modo o nell’altro, può essere truccata. 

Nella famosa serie tv The Wire i poliziotti di Baltimora, sotto la pressione dei superiori e desiderosi di migliorare le proprie performance metrics, mettono in atto una serie di azioni illegali per ottenere risultati migliori: per esempio declassificando alcuni crimini da “gravi” a “lievi”, decidendo che alcuni omicidi sono al di fuori della loro area di competenza, o compiendo tanti arresti anche per reati poco significativi.

Facendo quello che, nel gergo della serie, viene chiamato junking the stats.

Le metriche sono senz’altro utili — ma possono anche diventare delle trappole.

E come avviene con la maggior parte delle trappole, a farsi male sono un po’ tutti: chi le ha tese e chi ci è finito dentro.

Pensa alle metriche fondamentali dell’economia dell’attenzione – le impression e i click, utilizzate per determinare l’efficacia di un banner pubblicitario – e di quanto abbiano entrambe contribuito a creare un modello di business in grado di scontentare tutti: editori e lettori.

Causando, per giunta, un fenomeno di surrogation (“sostituzione”): ciò che avviene quando le metriche che utilizziamo diventano così potenti e totalizzanti da sostituirsi alla nostra strategia, facendoci perdere di vista i nostri reali obiettivi e le motivazioni che ci hanno spinto a fare quello che facciamo.

In ogni caso, non ci sono metriche perfette. 

Prendiamo il download, la metrica che governa il mondo del podcast. Secondo lo IAB, un download viene conteggiato in due casi: quando l’utente ‘scarica’ il file sul proprio device, oppure quando ascolta i primi 60 secondi di riproduzione di un podcast in streaming.

Il problema è che il primo dato non ci dice se il file sia stato ascoltato davvero; il secondo non chiarisce se l’utente abbia superato il secondo minuto di fruizione.

Eppure il CPM (cost per mille) della pubblicità audio erogata in un podcast, sia essa a metà o alla fine di un episodio, viene basato proprio sul numero di download: una metrica quanto mai parziale.

Come spiega bene Juleyka Lantigua William, consulente ed esperta di produzioni audio, “Il download è come il Re negli scacchi: un prestanome, uno status symbol da proteggere a ogni costo, perché può muoversi solo una casella alla volta. Ma è inutile ai fini della battaglia”.

E cosa sta succedendo nel giornalismo?

Se hai mai scritto o pubblicato un articolo, sai quanto il numero di letture possa essere poco indicativo della sua qualità o utilità per i lettori.

Se hai mai pagato per un banner pubblicitario, sai quanto il numero di impression conti pochissimo nel determinare l’efficacia di una campagna pubblicitaria.

Per ovviare a questi problemi di scarsa rilevanza del dato, negli anni si è cercato di introdurre metriche apparentemente qualitative — come la viewability (il fatto che il banner, o almeno una sua parte, venga effettivamente visualizzato dagli utenti) o, nel caso degli articoli, come il dwell time (tempo di permanenza su un contenuto) e lo scroll depth (la profondità di scorrimento nella pagina).

Anche in questo caso, però, si tratta di metriche imperfette. Insufficienti.

Ora, però, il mondo dei media sta entrando in una nuova fase.

Il passaggio dall’economia dell’attenzione all’economia della relazione (parlo di membership e subscription) sta costringendo le testate a scegliere metriche nuove, aggregate, non più one-size-fits-all, ma incentrate sui comportamenti dei singoli lettori e in particolare sul loro livello di engagement.

Il tema della retention – il tasso di rinnovo degli abbonati – è diventato talmente centrale che sta plasmando il modo in cui le redazioni scelgono i comportamenti da misurare.

Un esempio calzante è quello del Financial Times, il celebre quotidiano economico britannico, che da un paio d’anni utilizza l’RFV (recency, frequency, volume), una metrica sviluppata in casa che etichetta gli abbonati secondo i loro comportamenti: ultimo accesso, frequenza di visita e volume di articoli letti.

Se l’RFV scende sotto a una soglia specifica, significa che l’abbonato in questione rischia di disiscriversi, e il giornale utilizza delle strategie (come invio di newsletter e di contenuti speciali personalizzati) finalizzate a incentivare il consumo del prodotto.

Il Times of London ha sviluppato internamente uno strumento, Inca, che assegna un grado di engagement da 1 a 5 a ogni singolo articolo (combinando di tempo di lettura, numero di commenti e visite dagli abbonati) paragonandolo agli altri articoli di simile lunghezza all’interno della stessa sezione, e tracciandone le performance su determinate coorti di pubblico (donne, giovani, lettori internazionali).

Insider, con una mossa che ha causato polemiche, ha annunciato la nascita di una nuova metrica – gli Impact Points – per tracciare l’impatto (o più correttamente, direi io, il rumore) generato da un singolo contenuto pubblicato dalla testata. 

Per valere qualche impact point, un articolo deve essere stato citato da radio e televisioni nazionali, retwittato da un account con almeno un milione di follower, o essere valso un invito in trasmissione. 

La “curiosità”? Sono i giornalisti stessi a dover compilare un file in cui tengono traccia della publicity generata dai loro articoli.

Ci sono diversi esempi di sperimentazioni simili, anche su testate più piccole come la slovacca Dennik N o la statunitense The Oaklandside.

Recentemente sono usciti un paio di libri interessanti sull’argomento, entrambi editi da Princeton Press, che ti segnalo: Metrics at Work: Journalism and the Contested Meaning of Algorithms di Angèle Christin (2020), e il nuovissimo All the News That’s Fit to Click: How Metrics Are Transforming the Work of Journalists, di Caitlin Petre (2021). 

Due letture non proprio estive, ok, ma penso utili per capire dove stia andando questo mondo.

Concludo dicendoti una cosa forse scontata, ma credo fondamentale: di tutti quei dati, poi, bisogna anche sapere che farsene. Ma ci arriveremo.
 

Alla prossima Ellissi
Valerio

Ciao, mi presento. Mi chiamo Valerio Bassan e lavoro come consulente di strategia digitale nel mondo dei media e del giornalismo, per clienti italiani e internazionali. Questo post è tratto da Ellissi, la mia newsletter settimanale. Iscriviti qui.

LEGGI UN’ALTRA ELLISSI

Il rumore dell’albero che cade

Il rumore dell’albero che cade

La news avoidance è un problema non solo per i media, ma anche per le nostre democrazie. Cosa ce ne faremo del rumore se non ci sarà più nessuno ad ascoltarlo?
L’effetto framing

L’effetto framing

Cornici diverse possono cambiare radicalmente la percezione di una notizia, per influenzare il pensiero, o il processo decisionale, delle persone.
News da Instagram

News da Instagram

Nel mondo del giornalismo c’è una tensione crescente tra “piccolo” e “grande”: e questo avviene, soprattutto, su Instagram. Ecco perché.
Taglia le tue frequenze cattive

Taglia le tue frequenze cattive

Il digitale è pieno di clutter, di robaccia inutile. E persino nei migliori progetti capita che ci sia un rumore di fondo che finisce per rovinare le tue strategie digitali.
Scritto sui muri

Scritto sui muri

I giornali online offrono sempre più contenuti a pagamento. In un mondo digitale che ha sempre più barriere d’ingresso, è a rischio l’accesso all’informazione?
Sovrastrutture

Sovrastrutture

Partire dall’osservazione del passato per disegnare uno schema plausibile per il futuro, come fanno i grandi pensatori. Qui ti parlo di uno di loro.
Il potere degli estremi

Il potere degli estremi

Cosa accomuna Winston Churchill ad Alexandria Ocasio-Cortéz? La convinzione che “il formato è il messaggio”. E quando si parla di lunghezza dei contenuti online è meglio partire da alcuni punti fermi.