Contro la trappola delle metriche

di | 16 Luglio 21

ūüĎč

Ciao, stai leggendo Ellissi,
la newsletter settimanale
di Valerio Bassan su media
e digitale.

Arriva ogni due venerdì,
è gratis, e puoi riceverla
anche tu
.

ūüü° Per iscriverti clicca qui.

Qual √® la tua definizione di ‚Äúsuccesso‚ÄĚ?

No, non √® una domanda politica ‚ÄĒ anche se i risvolti e le implicazioni di quel tipo non mancano.

√ą una domanda pratica, e riguarda il tuo lavoro quotidiano: che cosa osservi quando devi decidere se un progetto, un prodotto o un contenuto che hai creato ‚Äúfunziona‚ÄĚ?

I ricavi generati? L’impatto? Il numero di condivisioni? I feedback ricevuti? La crescita degli iscritti?

Qual è la tua metrica fondamentale per capire se qualcosa, dopo tutta la fatica che ci hai messo, sta andando bene?

√ą una domanda che vale per qualsiasi professione, questa, e la cui risposta non √® per nulla scontata ‚ÄĒ proprio perch√© varia a seconda delle definizione di cosa significhi, per ciascuno di noi, ‚Äúsuccesso‚ÄĚ.

Molti business cercano con insistenza la propria¬†metrica ‚ÄúNorth Star‚Ä̬†(Stella Polare), ovvero quel singolo valore fondamentale che, se misurato correttamente, ci dovrebbe dire se stiamo andando nella direzione giusta.

Ma come accade per chiunque navighi di notte, c’√® sempre il rischio di inseguire la stella sbagliata, e di perdere improvvisamente la rotta.

Pensa al Fyre Fest, uno dei fallimenti pi√Ļ splendidi dell’ultimo decennio: se guardassimo solo all’engagement e al fermento generati sui social prima dell’evento, tra ricondivisioni di notissime influencer e corsa¬†all’ultimo biglietto, potremmo pensare che il festival sia stato un enorme successo.¬†

E invece, uhm, non è andata proprio così.

Dipende tutto da cosa scegli di osservare, e da come lo misuri. E anche facendolo bene, non è detto che le metriche che usi siano la mappa di cui hai bisogno per scegliere la tua direzione di marcia.

Nel suo interessante libro The Tiranny of Metrics, lo storico Jerry Muller denuncia i pericoli della metric fixation, la convinzione che le metriche che usiamo nel nostro lavoro Рormai comunemente accettate e date per scontate Рci possano fornire tutte le informazioni necessarie per farci prendere le decisioni giuste.

Non √® cos√¨, arguisce Muller, secondo cui fissarsi su una o pi√Ļ metriche pu√≤ essere pericoloso.¬†

La ‘dittatura delle metriche’, spiega l’autore, ci spinge piuttosto a misurare solo la cosa pi√Ļ facile da misurare, e non quella che veramente conta; a privilegiare i risultati a breve termine, a discapito della visione di lungo periodo; o ancora, ci costringe a standardizzare i processi, riducendo la nostra creativit√† e la capacit√† di reagire agli imprevisti.¬†

Senza contare che ogni metrica, in un modo o nell’altro, pu√≤ essere truccata.¬†

Nella¬†famosa serie tv¬†The Wire¬†i poliziotti di Baltimora, sotto la pressione dei superiori e desiderosi di migliorare le proprie¬†performance metrics, mettono in atto una serie di azioni illegali per ottenere risultati migliori: per esempio declassificando alcuni crimini da ‚Äúgravi‚ÄĚ a ‚Äúlievi‚ÄĚ, decidendo che alcuni omicidi sono al di fuori della loro area di competenza, o compiendo tanti arresti anche per reati poco significativi.

Facendo quello che, nel gergo della serie, viene chiamato junking the stats.

Le metriche sono senz’altro utili ‚ÄĒ ma possono anche diventare delle trappole.

E come avviene con la maggior parte delle trappole, a farsi male sono un po’ tutti: chi le ha tese e chi ci √® finito dentro.

Pensa alle metriche fondamentali dell’economia dell’attenzione – le impression e i click, utilizzate per determinare l’efficacia di un banner pubblicitario – e di quanto abbiano entrambe contribuito a creare un modello di business in grado di scontentare tutti: editori e lettori.

Causando, per giunta, un fenomeno di¬†surrogation¬†(‚Äúsostituzione‚ÄĚ): ci√≤ che avviene quando le metriche che utilizziamo diventano cos√¨ potenti e totalizzanti da¬†sostituirsi¬†alla nostra strategia, facendoci perdere di vista i nostri reali obiettivi e le motivazioni che ci hanno spinto a fare quello che facciamo.

In ogni caso, non ci sono metriche perfette. 

Prendiamo il¬†download, la metrica che governa il mondo del podcast. Secondo lo IAB, un download viene conteggiato in due casi: quando l’utente ‘scarica’ il file sul proprio device, oppure quando ascolta i primi 60 secondi di riproduzione di un podcast in streaming.

Il problema √® che il primo dato non ci dice se il file sia stato ascoltato davvero; il secondo non chiarisce se l’utente abbia superato il secondo minuto di fruizione.

Eppure il CPM (cost per mille) della pubblicità audio erogata in un podcast, sia essa a metà o alla fine di un episodio, viene basato proprio sul numero di download: una metrica quanto mai parziale.

Come¬†spiega bene¬†Juleyka Lantigua William, consulente ed esperta di produzioni audio, ‚ÄúIl¬†download¬†√® come il Re negli scacchi: un prestanome, uno status symbol da proteggere a ogni costo, perch√© pu√≤ muoversi solo una casella alla volta. Ma √® inutile ai fini della battaglia‚ÄĚ.

E cosa sta succedendo nel giornalismo?

Se hai mai scritto o pubblicato un articolo, sai quanto il numero di letture possa essere poco indicativo della sua qualità o utilità per i lettori.

Se hai mai pagato per un banner pubblicitario, sai quanto il numero di impression conti pochissimo nel determinare l’efficacia di una campagna pubblicitaria.

Per ovviare a questi problemi di scarsa rilevanza del dato, negli anni si √® cercato di introdurre metriche apparentemente qualitative ‚ÄĒ come la¬†viewability¬†(il fatto che il banner, o almeno una sua parte, venga effettivamente visualizzato dagli utenti) o, nel caso degli articoli, come il¬†dwell time¬†(tempo di permanenza su un contenuto) e lo¬†scroll depth¬†(la profondit√† di scorrimento nella pagina).

Anche in questo caso, però, si tratta di metriche imperfette. Insufficienti.

Ora, però, il mondo dei media sta entrando in una nuova fase.

Il passaggio dall’economia dell’attenzione all’economia della relazione (parlo di¬†membership e subscription) sta costringendo le testate a scegliere metriche nuove, aggregate, non pi√Ļ¬†one-size-fits-all, ma incentrate sui comportamenti dei singoli lettori e in particolare sul loro livello di engagement.

Il tema della retention Рil tasso di rinnovo degli abbonati Рè diventato talmente centrale che sta plasmando il modo in cui le redazioni scelgono i comportamenti da misurare.

Un esempio calzante √® quello del¬†Financial Times, il celebre quotidiano economico britannico, che da un paio d’anni utilizza l’RFV (recency, frequency, volume), una metrica sviluppata in casa che etichetta gli abbonati secondo i loro comportamenti: ultimo accesso, frequenza di visita e volume di articoli letti.

Se l’RFV scende sotto a una soglia specifica, significa che l’abbonato in questione rischia di disiscriversi, e il giornale utilizza delle strategie (come invio di newsletter e di contenuti speciali personalizzati) finalizzate a incentivare il consumo del prodotto.

Il¬†Times of London¬†ha sviluppato internamente uno strumento, Inca, che¬†assegna un grado di engagement da 1 a 5¬†a ogni singolo articolo (combinando di tempo di lettura, numero di commenti e visite dagli abbonati) paragonandolo agli altri articoli di simile lunghezza all’interno della stessa sezione, e tracciandone le performance su determinate coorti di pubblico (donne, giovani, lettori internazionali).

Insider, con una mossa che ha causato¬†polemiche, ha annunciato la nascita di una nuova metrica – gli Impact Points – per tracciare l’impatto (o pi√Ļ correttamente, direi io, il rumore) generato da un singolo contenuto pubblicato dalla testata.¬†

Per valere qualche impact point, un articolo deve essere stato citato da radio e televisioni nazionali, retwittato da un account con almeno un milione di follower, o essere valso un invito in trasmissione. 

La ‚Äúcuriosit√†‚ÄĚ? Sono i giornalisti stessi a dover compilare un file in cui tengono traccia della¬†publicity¬†generata dai loro articoli.

Ci sono diversi esempi di sperimentazioni simili, anche su testate pi√Ļ piccole come la slovacca¬†Dennik N¬†o la statunitense¬†The Oaklandside.

Recentemente sono usciti un paio di libri interessanti sull’argomento, entrambi editi da Princeton Press, che ti segnalo:¬†Metrics at Work: Journalism and the Contested Meaning of Algorithms¬†di Ang√®le Christin (2020), e il nuovissimo¬†All the News That‚Äôs Fit to Click: How Metrics Are Transforming the Work of Journalists, di Caitlin Petre (2021).¬†

Due letture non proprio estive, ok, ma penso utili per capire dove stia andando questo mondo.

Concludo dicendoti una cosa forse scontata, ma credo fondamentale: di tutti quei dati, poi, bisogna anche sapere che farsene. Ma ci arriveremo.
 

Alla prossima Ellissi
Valerio

Ciao, mi presento. Mi chiamo Valerio Bassan e lavoro come consulente di strategia digitale nel mondo dei media e del giornalismo, per clienti italiani e internazionali. Questo post è tratto da Ellissi, la mia newsletter settimanale. Iscriviti qui.

LEGGI UN’ALTRA ELLISSI

Le migliori menti

Le migliori menti

Viewability, intrusività, effetto di selezione: la pubblicità online è una trappola. Come possiamo fare per migliorarla?
La moda, il venerdì mattina

La moda, il venerdì mattina

La newsletter di Federica Salto è uno dei casi editoriali del 2020. Lanciata in piena pandemia, è diventata un punto di riferimento per migliaia di appassionati della fashion industry. Ne parlo con lei, in questa nuova Ellissi Meets.
Parliamo di Domani, con Stefano Feltri

Parliamo di Domani, con Stefano Feltri

‚ÄúNon erano forse i solenni principi che ogni testata s‚Äôimpegna a perseguire nell‚Äôeditoriale del primo giorno? Poi arriva il momento di mettere nero su bianco.‚ÄĚ
Qual è il tuo canale di backup?

Qual è il tuo canale di backup?

Dobbiamo chiederci se nelle nostre strategie digitali abbiamo un'alternativa pronta per rispondere alla crescente incertezza infrastrutturale. Se la risposta è no, è il momento di crearla.
La famigerata parola che inizia per ‘in’

La famigerata parola che inizia per ‘in’

Seguo il lavoro di Daria da tempo. Per questo ero curioso di sentire la sua opinione su alcuni dei temi di cui parlo su Ellissi: il rapporto tra editori e piattaforme, la creator economy, la progressiva 'paywallizzazione' del web.
News da Instagram

News da Instagram

Nel mondo del giornalismo c‚Äô√® una tensione crescente tra ‚Äúpiccolo‚ÄĚ e ‚Äúgrande‚ÄĚ: e questo avviene, soprattutto, su Instagram. Ecco perch√©.
Metodi infallibili per fallire

Metodi infallibili per fallire

Una lista di trucchetti che ho imparato nel corso di questi anni su come gestire (e non) i progetti, dai pi√Ļ semplici ai pi√Ļ complessi.