Seth Weidman - Deep learning. Dalle basi alle architetture avanzate con Python

Se avete provato a informarvi sulle reti neurali e il deep learning, probabilmente avete trovato un sacco di risorse, dai post sui blog ai MOOC (Massive Open Online Course, come quelli disponibili su Coursera e Udacity) di varia qualit e persino alcuni libri (a me successo quando iniziai a esplorare largomento qualche anno fa). Tuttavia, se state leggendo questa introduzione, probabile che le spiegazioni sulle reti neurali trovate finora siano state in qualche modo carenti. A me successa la stessa cosa quando iniziai a studiare questo argomento: le varie spiegazioni mi davano lidea di persone cieche che cercavano di descrivere le diverse parti di un elefante, ma nessuna riusciva a descrivere lintera faccenda. questo che mi ha spinto a scrivere un libro.

Le risorse esistenti sulle reti neurali si possono suddividere per lo pi in due categorie. Alcune sono concettuali e matematiche e contengono gli schemi che generalmente si trovano nelle spiegazioni delle reti neurali, con cerchi collegati da linee e frecce, e ampie spiegazioni matematiche di ci che sta succedendo per far capire la teoria. Un esempio perfetto di questo genere lottimo libro Deep Learning di Ian Goodfellow et al. (MIT Press).

Altre risorse contengono densi blocchi di codice che, se eseguito, sembrano mostrare un valore di scarto che decresce nel corso del tempo, a indicare che la rete neurale sta apprendendo. Per esempio, lesempio seguente tratto dalla documentazione di PyTorch definisce e addestra effettivamente una semplice rete neurale su dati generati in modo casuale:

Spiegazioni come questa, naturalmente, non danno molte informazioni su ci che sta realmente accadendo: i principi matematici impliciti, le singole componenti della rete neurale qui contenute, il modo in cui cooperano e cos via.

Che cosa dovrebbe contenere una buona spiegazione delle reti neurali? Per trovare una risposta utile osservare come vengono spiegati altri concetti informatici: se volete studiare gli algoritmi di ordinamento, per esempio, ci sono libri che contengono:

una spiegazione dellalgoritmo;

una spiegazione visiva di come funziona lalgoritmo, simile a quella che si potrebbe disegnare su una lavagna durante uninterrogazione di programmazione;

qualche spiegazione matematica del perch lalgoritmo funziona;

pseudocodice che implementa lalgoritmo.

Raramente (o mai) si trovano tutti questi elementi nella spiegazione delle reti neurali, anche se mi sembra ovvio che una corretta spiegazione delle reti neurali dovrebbe essere fatta proprio cos; il libro tenta di colmare questa lacuna.

Non sono un ricercatore e non ho un dottorato di ricerca, tuttavia ho spiegato scienza dei dati per lavoro: ho insegnato in un paio di campi scuola di scienza dei dati per unazienda che si chiama Metis, e poi ho viaggiato per un anno in giro per il mondo per conto di Metis svolgendo seminari che duravano da uno a cinque giorni in aziende di svariati settori, spiegando ai loro dipendenti i concetti base del machine learning e dellingegneria del software. Ho sempre amato linsegnamento e sono sempre stato affascinato dalla questione di come spiegare al meglio i concetti tecnici; pi recentemente mi sono concentrato su concetti di machine learning e statistica. Nel caso delle reti neurali ho scoperto che la parte pi difficile trasmettere il modello mentale corretto che aiuti a capire che cos una rete neurale, soprattutto perch la comprensione delle reti neurali richiede non uno ma diversi modelli mentali, ognuno dei quali chiarisce un aspetto diverso (ma essenziale) del funzionamento delle reti neurali. Per illustrare il concetto, le frasi seguenti sono tutte risposte corrette alla domanda Che cos una rete neurale?:

una rete neurale una funzione matematica che riceve un input e produce un output;

una rete neurale un grafo computazionale attraverso il quale scorrono matrici multidimensionali;