ENTROPIA

ENTROPIA

(v. termodinamica, XXXIII, p. 580; App. IV, III, p. 621)

Entropia e informazione. - Il concetto di entropia: considerazioni introduttive. - Dare una definizione sintetica e univoca del termine e. è compito difficile; l'e. si presenta infatti sotto vari aspetti e, in particolare, non è una grandezza direttamente misurabile. Non si può quindi dare una definizione operativa diretta di e., come accade per i concetti di velocità, forza, pressione, campo elettrico e altri, ma bisogna ricorrere a definizioni indirette. Così, in termodinamica, ciò che è rilevante è la variazione di e. ma non il suo valore assoluto che viceversa ha significato nella trattazione statistico-quantistica.

Nel primo caso l'e. è definita a livello macroscopico e le sue proprietà e la sua stessa esistenza sono riportate tra i postulati di base per la costruzione della termodinamica classica, che è una teoria essenzialmente assiomatica. Nel contesto della meccanica statistica, invece, l'e. è strettamente collegata alla ''condizione microscopica'' in cui si trovano i costituenti elementari di un sistema.

Per queste ragioni il concetto di e. risulta poco intuitivo. Esso si può acquisire completamente solo esaminando i vari risvolti macroscopici e microscopici; a questo fine, nel seguito di questa voce, partendo dalla nascita del concetto di e., ne verranno illustrati i vari punti di vista termodinamico, statistico, cinetico, e ne verrà analizzato il rapporto con il concetto d'informazione.

Solo la comprensione globale di questi vari aspetti può consentire una comprensione sufficientemente approfondita dell'e. come grandezza generale correlata al contenuto d'informazione di un qualsiasi sistema o di un qualsiasi fenomeno.

Evoluzione del concetto di entropia. - Il concetto di e. fu introdotto da R. J. Clausius nel 1865, nel tentativo di razionalizzare il problema del modo più efficace di trasformare il calore in lavoro utilizzabile.

La discussione sul 2° principio della termodinamica mise infatti in luce che se un sistema, attraverso una successione di trasformazioni elementari reversibili, passa da uno stato A a uno stato B, e se alla generica trasformazione elementare è connessa una quantità di calore δQ ceduta o assorbita alla temperatura assoluta T, allora è possibile stabilire la seguente relazione:

Si può cioè definire una nuova funzione S la cui variazione tra gli stati A e B dipende soltanto da essi e non dal cammino seguito per passare da A a B, cioè dalla successione degli stati intermedi.

Ciò implica che δQ/T viene a essere il differenziale totale di S, cioè dS=δQ/T. Alla funzione S Clausius diede il nome di e., che deriva dalla parola greca τϱοπή (trasformazione), essendo il prefisso en introdotto intenzionalmente per stabilire una somiglianza con la parola energia.

La definizione di e. può essere estesa a trasformazioni reali (e pertanto irreversibili) qualsiasi. In questo caso si può fra l'altro stabilire: a) se fra le varie parti di un sistema avvengono trasmissioni di calore dovute a differenze finite di temperatura, il valore finale dell'e. è sempre maggiore di quello che le competerebbe ove tali trasmissioni non vi fossero; b) per un sistema isolato, in ogni trasformazione reale (inevitabilmente accompagnata da trasformazioni di energia in calore), si ha un aumento dell'entropia. Questo significa che se consideriamo un qualsiasi sistema e contemporaneamente l'ambiente con cui esso interagisce, le trasformazioni che avvengono tendono a prodursi nel verso che si accompagna a un aumento dell'e. complessiva (sistema + ambiente circostante). Il significato di questa tendenza si può precisare meglio nell'ambito della meccanica statistica, ove, come indica il nome stesso, si cerca di dedurre il comportamento di determinati sistemi applicando considerazioni statistiche all'enorme quantità di componenti che li costituiscono. Infatti, ogni volta che si ha a che fare con grandi masse di entità, siano esse persone, messaggi o molecole, esistono due modi di affrontarle. O si definisce per ciascun ente del sistema l'attributo o gli attributi che c'interessano, oppure si determina la media o le medie statistiche globali dei loro singoli attributi. Si dice che il primo modo definisce la struttura interna o microstato del sistema, mentre il secondo approccio definisce il suo aspetto esterno o macrostato. Un esempio può essere l'attributo età di una classe di studenti. Il suo microstato è definito dall'età effettiva di ognuno degli individui che la compongono, mentre il macrostato può essere definito dall'età media dell'intera classe. Ovviamente, a un dato macrostato della classe, definito dalla sua età media complessiva, corrisponderanno diversi possibili microstati determinati dai diversi modelli di età che producono la stessa media. Con lo stabilire l'età media di una classe non si definisce in alcun modo la distribuzione delle età effettive dei suoi componenti, proprio come la profondità media di un fiume non fornisce alcun dato per decidere se attraversarlo a guado o a nuoto. Tuttavia, quando il numero di individui della classe diventa molto grande, la definizione del suo macrostato è l'unica possibilità per avere qualche informazione sull'attributo età. Questa difficoltà, dovuta semplicemente alla grande quantità di elementi da considerare, assume un eccezionale rilievo quando si voglia descrivere lo stato interno di un corpo attraverso l'osservazione dei moti delle singole molecole che lo compongono.

La meccanica statistica taglia il nodo gordiano tentando di comprendere il moto delle molecole nel suo insieme mediante il suo studio statistico, calcolando per es. l'energia cinetica media delle molecole e identificandola con la misura della temperatura del sistema. Questo significa che in un corpo costituito da miliardi e miliardi di molecole (in una goccia d'acqua si trovano ∼10²¹ molecole) vi è un gran numero di differenti microstati di moto, ognuno dei quali può corrispondere a un macrostato con la stessa velocità media per molecola. A noi la temperatura del corpo apparirà sempre la stessa, qualunque sia il microstato. Il numero di microstati corrispondenti a un unico macrostato definito da un determinato valore della temperatura T si chiama probabilità statistica o probabilità termodinamica. La ragione fondamentale per chiamarla probabilità sta nell'ovvia considerazione che quanto maggiore è il numero di microstati corrispondenti al macrostato definito dalla temperatura T, tanto maggiori sono le probabilità che un qualunque microstato, scelto a caso, riveli la caratteristica esteriore di quel microstato, cioè presenti la temperatura T. Ciò significa che quanto maggiore è il numero di microstati associati a un determinato macrostato, tanto maggiore è la probabilità di trovare il sistema in quello stato particolare.

Per vedere il collegamento di queste considerazioni con l'e., così come definita nella termodinamica classica, consideriamo due gas diversi, in uguali condizioni di temperatura e pressione, separati da una parete. Eliminando la parete, si verifica una miscelazione dei gas fino al raggiungimento di una distribuzione uniforme. Questa trasformazione si può descrivere in termini probabilistici come una transizione da uno stato a un altro di probabilità superiore. Secondo la termodinamica classica, questo processo comporta l'aumento di e. e J. W. Gibbs ha, in particolare, dimostrato che l'e. della miscela è pari alla somma delle e. che ogni gas avrebbe se occupasse da solo tutto il volume disponibile. Si può allora affermare che un processo di trasformazione, descritto in senso classico come determinante un aumento di e., può essere rappresentato statisticamente come transizione a uno stato più probabile. Conseguentemente è allora possibile stabilire una relazione generale tra e. e probabilità di uno stato termodinamico. A questo scopo occorre considerare che l'e. è una funzione additiva: se s'immagina che due sistemi separati A e B diventano un sistema unico AB, allora l'e. S_AB = S_A + S_B.

D'altra parte il numero dei possibili stati del sistema combinato è il prodotto del numero degli stati possibili di A per il numero degli stati possibili di B. Ne consegue che l'e. e il numero delle configurazioni possibili devono essere legati da una funzione logaritmica che gode proprio della proprietà di additività rispetto al prodotto. Infatti, sulla base di considerazioni simili, L. Boltzmann, nel 1877, propose la famosa equazione che costituisce la definizione statistica di e. in un dato stato termodinamico:

S = k log m + S₀

ove m è il numero dei microstati corrispondenti al macrostato dato, k è una costante, nota come ''costante di Boltzmann'' ed S₀ è il valore che compete all'e. quando m=1. Il legame suddetto esprime che l'e. può essere assunta come misura della probabilità che il sistema si trovi in un determinato stato, e che lo stato più probabile, a cui il sistema tende quando si trasforma, viene a essere quello cui corrisponde il massimo valore dell'entropia. La probabilità 1 corrisponde al caso in cui il sistema non ha altra scelta che restare in un certo stato, circostanza questa che può verificarsi ragionevolmente soltanto a una temperatura assoluta nulla, seguendo peraltro l'indicazione di W. H. Nernst e M. Planck, secondo cui l'e. di un qualsiasi sistema in corrispondenza allo zero assoluto è nulla (terzo principio della termodinamica). La definizione di Boltzmann fu generalizzata da Gibbs nel modo seguente: anziché considerare un sistema e calcolare il numero dei possibili microstati, immaginiamo di avere un ipotetico insieme di copie dello stesso sistema. In questo insieme ogni sistema si troverà in uno dei possibili microstati per cui l'insieme, globalmente, è definito quando è nota la frazione dei suoi sistemi che si trova in ciascun microstato. Se nel microstato i-mo si ha una frazione p_i dei sistemi, l'e. è definibile come

ove k è la costante di Boltzmann. Se l'insieme è distribuito su m microstati equiprobabili, allora p_i=1/m e si riottiene la formula di Boltzmann.

Questa definizione statistica dell'e., che si può dimostrare essere identica all'e. definita termodinamicamente, esprime in realtà, in modo quantitativo, la relazione fra e. e ordine. In altre parole, l'e. di Boltzmann rappresenta una misura del disordine del sistema a livello molecolare. Infatti un aumento di e. comporta un aumento del numero di microstati accessibili dal sistema, ossia delle configurazioni possibili associate a un dato macrostato, e quindi un aumento del disordine. Così un aumento del volume a disposizione di un gas o l'aumento di temperatura di un corpo corrisponde a un aumento del disordine, misurato appunto dalla variazione di S. Viceversa, una diminuzione di e. è associata a stati termodinamici molecolarmente più ordinati. Diminuendo la temperatura, un sistema evolve verso situazioni sempre più ordinate finché, allo zero assoluto, vi è un unico microstato possibile, l'ordine è completo e l'e. diventa zero, come già anticipato.

È abbastanza naturale pensare a questo punto che l'e., così definita, possa essere un concetto fondamentale anche in questioni più generali che coinvolgono considerazioni sull'ordine o sul disordine, sull'organizzazione o sulla disorganizzazione, sulla differenziazione o sull'indifferenziazione di sistemi qualsiasi (fisici, fisico-chimici, biologici, di telecomunicazioni, ecc.).

Il concetto di e. diventa pertanto separabile da qualunque contesto fisico, poiché può essere associata una funzione entropica a ogni distribuzione di probabilità. Nell'ambito di questa valenza generale dell'e., nel seguito, viene preso in considerazione in particolare il rapporto tra e. e informazione.

Entropia e informazione. − Una qualsiasi sorgente d'informazione genera messaggi per scelte successive di simboli discreti in un gruppo determinato come le lettere di un alfabeto, le parole di un dizionario, le note di una scala musicale, i colori dello spettro, o anche la semplice coppia punto-linea della telegrafia. In altre parole, il messaggio effettivamente trasmesso è costituito da una scelta effettuata in un insieme di possibili messaggi formati da sequenze di simboli appartenenti a un dato repertorio. Senza dubbio molte di tali sequenze formeranno un discorso senza senso e privo di contenuto. La teoria dell'informazione però non riguarda il contenuto semantico dell'insieme di messaggi tra cui ne viene scelto uno per la trasmissione, ma si occupa soltanto della loro struttura statistica. Informazione, quindi, in questo contesto, significa semplicemente una misura della libertà di scelta di cui si dispone nello scegliere un messaggio fra quelli disponibili, molti dei quali potranno anche non avere alcun significato.

In realtà noi sappiamo che non tutti i messaggi sono equiprobabili, ma alcuni ricorrono più spesso nell'uso corrente. Ciò implica che quanto più un messaggio è probabile, tanto più è facile la previsione della sua scelta e tanto minore è la libertà di scelta; di riflesso, tanto minore è l'informazione trasmessa dal messaggio stesso. Pertanto il contenuto d'informazione di un messaggio è legato alla probabilità di ricorrenza di quel messaggio che ovviamente non è altro che la frequenza relativa con cui esso si presenta in un gran numero di prove. In realtà si può dimostrare che la misura più congrua del contenuto informativo di un messaggio è data dal logaritmo della sua probabilità di ricorrenza, così come nella meccanica statistica l'e. di un sistema in un determinato macrostato è misurata dal logaritmo della sua probabilità statistica. La ragione di ciò risiede ancora nella possibilità di avvalersi della proprietà additiva della funzione logaritmo.

I fondamenti della teoria matematica dell'informazione furono gettati da C. E. Shannon nel 1948. La sua analisi si basò sulla considerazione che quanto più elevato è il numero di messaggi possibili, tanto maggiore è la quantità d'informazione prodotta al momento della scelta effettiva di un messaggio. Infatti un risultato scelto fra dieci possibili toglie più incertezza e quindi fornisce più informazione di un risultato scelto fra due sole possibilità. In sostanza, per Shannon più informazione significa eliminazione di più incertezza. Su questa base, se supponiamo di avere m eventi possibili e di conoscerne le corrispondenti p₁,p₂...p_m probabilità che ognuno di essi si verifichi, una misura matematica dell'incertezza insita in questo problema, e cioè dell'informazione ricavata dalla sua eliminazione, è data dalla seguente funzione di Shannon:

ove k è una costante che determina l'unità d'informazione.

Varie sono le considerazioni che rendono plausibile questa definizione. Per es., se tutti gli eventi hanno probabilità 0, salvo uno che ha probabilità 1 (p_j=1, p_i=0 per i≠j), si è tentati di affermare che non c'è alcuna incertezza. La funzione I soddisfa a questo requisito e dà come risultato zero. Così è altrettanto chiaro che lo schema col massimo grado d'incertezza è quello in cui tutti gli eventi sono equiprobabili, cioè quando p_i=1/m; la misura di Shannon fornisce appunto questo risultato. A questo punto, poiché la funzione di Shannon è completamente analoga alla definizione statistica di e., essa è detta e. del sistema di eventi esaminato. Più alta è l'e. del sistema, maggiore è l'informazione associata alla scelta di uno specifico evento. Shannon quindi si è servito della stessa funzione per misurare sia l'e. che l'informazione.

Che e. e informazione siano due facce della stessa medaglia può essere visto anche in un altro modo, suggerito da alcuni autori e basato sulla considerazione che l'informazione è associata all'incertezza soppressa. Una maggiore conoscenza o informazione sulla disposizione interna di un sistema è correlata con una bassa probabilità statistica, o meglio con il suo logaritmo che ne è l'entropia. Dal fatto che poi quanto più numerosi sono i microstati di un sistema associati a un dato stato, tanto maggiore è la sua e. consegue che l'e. è una misura della nostra ''ignoranza'' sulla struttura del sistema o in altre parole una misura dell'incertezza che permane sulle caratteristiche del suo microstato corrispondente in un certo istante a un dato macrostato. L'e. è quindi una sorta di informazione ''alla rovescia'', ed è per questo motivo che L. Brillouin ha coniato nel 1950 per l'informazione il termine di neg-entropia (e. negativa). La differenza tra i due punti di vista sta soltanto nel segno, non nel valore delle funzioni. L'e. qui definita può naturalmente essere associata a qualunque funzione di distribuzione, e non è misurata in unità termodinamiche.

Discussa la significatività del concetto di e. nell'analisi statistica dell'informazione, e stabilita l'analogia formale tra e. definita secondo la termodinamica statistica e secondo la teoria dell'informazione, è ora possibile cercare legami più sostanziali tra i due concetti di entropia. A questo scopo può essere utilizzato il seguente esempio.

Consideriamo un sistema fisico in date condizioni di temperatura, pressione e volume, e stabiliamone il valore dell'e.; in connessione è possibile stabilire il grado di ordine e quindi l'ammontare delle nostre informazioni (in senso microscopico). Supponiamo ora di abbassare la temperatura lasciando invariati gli altri parametri: osserviamo che la sua e. diminuisce, ma anche che il suo grado di ordine aumenta, e con esso il nostro livello d'informazione. Al limite, alla temperatura zero, tutte le molecole sono ferme, l'e. è zero e l'ordine è il massimo possibile, e con esso è massima l'informazione; infatti non esiste più alcuna alternativa fra cui scegliere.

È interessante osservare che questa stretta correlazione fra concetto astratto e concetto fisico di e. fu suggerita molto prima che Shannon proponesse la sua teoria matematica dell'informazione e prima che il concetto di e. fosse usato al di fuori della fisica. Infatti L. Szilard nel 1928 sottolineò per la prima volta la notevole somiglianza tra e. e informazione nella sua soluzione del paradosso del diavoletto di Maxwell, che J. C. Maxwell enunciò nel 1871 nella sua Teoria del calore, mettendo i fisici in serio imbarazzo per molto tempo. Egli considerò un gas in un contenitore diviso mediante una parete in due scompartimenti A e B. La parete è dotata di un piccolo sportello attraverso cui le molecole possono passare da uno scompartimento all'altro. Il sistema è in equilibrio, ossia la temperatura è identica nelle due parti. Maxwell ipotizzò inoltre l'esistenza di un diavoletto capace di sorvegliare i movimenti di ogni singola molecola e in grado di aprire e chiudere lo sportello, in modo da consentire il passaggio delle molecole più veloci da A a B e di quelle più lente da B ad A. In tal modo una parte del gas diventerebbe più calda dell'altra, senza spendere lavoro, in contrasto con la seconda legge della termodinamica. Il diavoletto pertanto ridurrebbe l'e. del sistema, in quanto ne aumenterebbe il livello di ordine. Szilard osservò che, per fare questo, egli deve avere informazioni particolareggiate sulla velocità delle singole molecole, informazioni non ottenibili utilizzando considerazioni statistiche. Di fatto il diavoletto si serve delle informazioni allo scopo di ridurre l'e. del sistema, cioè trasforma informazioni in neg-entropia. Tuttavia, come osservò Brillouin nel 1962, il diavoletto per ottenere le informazioni dev'essere munito di uno strumento che lo metta in grado di ''vedere'' le molecole, per es. una torcia elettrica di dimensioni microscopiche. Questa torcia è una sorgente di radiazioni non in equilibrio con l'ambiente in cui è introdotta, ed è essa stessa una fonte di energia ordinata, ossia di neg-entropia, in quanto fornisce al diavoletto l'informazione che gli serve per decidere se aprire o no lo sportello. Questa informazione, a sua volta, ricrea e. negativa in quanto viene usata per accrescere il livello di ordine all'interno del contenitore. Si completa così una sorta di ciclo

neg-entropia→informazione→neg-entropia

in base al quale Brillouin dimostrò che la seconda legge della termodinamica è sempre soddisfatta, a patto di considerare come sistema termodinamico l'insieme costituito dal contenitore del gas e dalla torcia molecolare. Il paradosso di Maxwell è così spiegato.

La conclusione di queste considerazioni sul rapporto e.-informazione, in attesa dell'elaborazione di una teoria matematica generale nella quale rientrino come casi particolari l'e. della termodinamica e quella della teoria dell'informazione, è che è possibile dare una definizione di e. in termodinamica che utilizzi esplicitamente la nozione d'informazione.

Se definiamo il contenuto informativo dello stato interno di un sistema come la quantità d'informazione supplementare che è necessario avere (oltre al valore medio delle proprietà dell'insieme dei suoi microstati) per conoscerne le singole specifiche caratteristiche, allora una definizione equivalente del secondo principio della termodinamica è che il contenuto informativo di un sistema isolato può solo crescere. Per spiegare ciò, l'universo può essere visto come una sorgente che, a ogni istante, fornisca, a partire da un alfabeto di simboli prefissato, l'insieme delle frasi che codificano il microstato dell'universo in quell'istante. Osservando la sorgente nel tempo, osserveremo che le proprietà strutturali delle singole frasi tenderanno a svanire conducendo a frasi nelle quali i simboli dell'alfabeto saranno presenti con le medesime probabilità indipendentemente dalla frase cui appartengono. In tal modo si tenderà a una situazione nella quale ogni frase avrà la medesima probabilità di essere prodotta, e quindi ogni microstato avrà la medesima probabilità di verificarsi, eliminando pertanto ogni possibilità di evoluzione del sistema nella direzione di stati più probabili. Al limite si arriverà a una distribuzione completamente uniforme delle frasi e, per analogia, alla cosiddetta morte entropica dell'universo.

Bibl.: J. C. Maxwell, Theory of heat, Londra 1871; J. W. Gibbs, Elementary principles in statistical mechanics, New York 1902; L. Szilard, Über die Enthropieverminderung in einem thermodynamischen System beim eingriffen intelligenter Wesen, in Zeitschrift für Physik, 1929; C. E. Shannon, A mathematical theory of communication, in Bell System Technical Journal, 1948; J. E. Mayer, M. G. Mayer, Statistical mechanics, New York 1955; E. T. Jayness, Information theory and statistical mechanics, in Physical Review, 1957; L. Brillouin, Science and information theory, New York 1959; P. Chanbadal, Evolution et applications du concept d'entropie, Parigi 1963; J. R. Pierce, La teoria dell'informazione, trad. it., Milano 1963.