networks as constrained thermodynamic systems

of nodalwiring thee simplewe obtaintworks in

distributionqui soumisn geacuteneacuteralee fonctionet extensivespiques utiles

C R Biologies 326 (2003) 65ndash74

Biological modelling Biomodeacutelisation

Networks as constrained thermodynamic systems

Les reacuteseaux systegravemes thermodynamiques contraints

Derek J Rainea Yohann Grondinab Michel Thellierc Vic Norrisclowast

a Department of Physics and Astronomy University of Leicester Leicester LE1 7RH UKb UFR laquo Science et Techniques raquo universiteacute de Cergy-Pontoise 33 bd du Port 95011 Cergy-Pontoise France

c Laboratoire des processus inteacutegratifs cellulaires UMR CNRS 6037 faculteacute des sciences et techniques de Rouen 76821 Mont-Saint-AignanFrance

Received 10 June 2002 accepted 19 November 2002

Presented by Michel Thellier

Abstract

We show how a network of interconnections between nodes can be constructed to have a specified distributiondegrees This is achieved by treating the network as a thermodynamic system subject to constraints and then resystem to maintain the constraints while increasing the entropy The general construction is given and illustrated by thexample of an exponential network By considering the constraints as a cost function analogous to an internal energya characterisation of the correspondence between the intensive and extensive variables of the network Applied to neliving organisms this approach may lead to macroscopic variables useful in characterising living systemsTo cite this articleDJ Raine et al C R Biologies 326 (2003) 2003 Acadeacutemie des sciencesEacuteditions scientifiques et meacutedicales Elsevier SAS All rights reserved

Reacutesumeacute

Nous montrons comment un reacuteseau de nœuds interconnecteacutes peut ecirctre construit de maniegravere agrave preacutesenter unespeacutecifique de ses degreacutes de connectiviteacute Ceci est reacutealiseacute en traitant le reacuteseau comme un systegraveme thermodynamiqueagrave des contraintes eacutevolue par reconnections en maintenant les contraintes tout en augmentant lrsquoentropie La constructioest donneacutee et illustreacutee en prenant lrsquoexemple simple drsquoun reacuteseau exponentiel En consideacuterant la contrainte comme unde coucirct analogue agrave une eacutenergie interne nous mettons en eacutevidence la correspondance entre les variables intensivesdu reacuteseau Appliqueacutee aux reacuteseaux dans des organismes vivants cette approche peut mener aux variables macroscoagrave leur caracteacuterisationPour citer cet article DJ Raine et al C R Biologies 326 (2003) 2003 Acadeacutemie des sciencesEacuteditions scientifiques et meacutedicales Elsevier SAS Tous droits reacuteserveacutes

Keywords intensive and extensive variables network connectivity thermodynamics life cell

Mots-cleacutes variables intensives et extensives reacuteseau connectiviteacute thermodynamique vie cellule

Correspondence and reprintsE-mail address victornorrisuniv-rouenfr (V Norris)

1631-069103$ ndash see front matter 2003 Acadeacutemie des sciencesEacutedidoi101016S1631-0691(03)00009-X

tions scientifiques et meacutedicales Elsevier SAS Tous droits reacuteserveacutes

66 DJ Raine et al C R Biologies 326 (2003) 65ndash74

a-nsti

rtantser-tionpreacute

s geacuteso-

heacutesdesbreela

stri-ple

ce-

aleacuteades

ma-ionmene deventnecen

ap-ca-n dedesch-teacuteereacute-t dues

peacute-ettrelicaquest unousrieacuteeluern en

na-

tionrsquouneme

om-tree desreacute-auxensnfinblesseaumet-po-

asseeau

orga-ro-

pregraves)

a-

uds

r-

intereacute-fai-

nant

Version franccedilaise abreacutegeacutee

Lrsquoexplosion drsquointeacuterecirct pour les graphes non aleacutetoires comme repreacutesentation des reacuteseaux reacuteels cotueacutes de nœuds interconnecteacutes a geacuteneacutereacute une impoet croissante litteacuterature aussi bien agrave partir de lrsquoobvation de ces reacuteseaux qursquoagrave partir de la construcde modegraveles speacutecifiques Ces reacuteseaux pouvant resenter des reacuteactions meacutetaboliques des reacutegulationneacutetiques des relations linguistiques des graphesciaux des connexions Internet etc sont approcpar une relation geacuteneacuterale entre la connectiviteacutenœuds cette derniegravere eacutetant deacutefinie comme le nomde connexions (non dirigeacutees) lieacutees agrave un nœud Cpermet ainsi de caracteacuteriser les modegraveles par la dibution de leurs degreacutes de connectiviteacute Par exemle nombre de nœudsnr de connectiviteacuter pour les reacute-seauxscale free est donneacute par une loi de puissannr prop rminusβ Bien qursquoil existe plusieurs moyens drsquoobtenir des exemples speacutecifiques de reacuteseaux nontoires baseacutes sur diffeacuterentes meacutethodes drsquoeacutevolutionconnexions il nrsquoexiste pas encore de voie systeacutetique et geacuteneacuterale permettant drsquoobtenir une distributdonneacutee les modegraveles courants eacutetant trouveacutes largepar un processus drsquoessai erreur De plus nombrmodegraveles dynamiques drsquoeacutevolution de reacuteseaux peumener agrave une mecircme distribution des degreacutes de contiviteacute ces derniers ne se rapportant donc pas forceacutemagrave lrsquoeacutevolution preacutesente

Dans cet article nous allons montrer par uneproche thermodynamique qursquoil est possible deracteacuteriser un reacuteseau preacutesentant une configurationœuds ayant une entropie maximale et soumis agravecontraintes Ceci nrsquoa pas un inteacuterecirct seulement tenique la contrainte peut en effet ecirctre interpreacutecomme une fonction de coucirct qui en principe repsente le coucirct en eacutenergie libre pour lrsquoeacutetablissemenreacuteseau et dont la forme contient implicitement dinformations sur lrsquoeacutevolution du systegraveme Nous esrons donc que cette approche permettra de men eacutevidence la structure du reacuteseau avec des apptions possibles aux reacuteseaux meacutetaboliques geacuteneacutetiet proteacuteiques Pour construire un reacuteseau preacutesentandistribution donneacutee des degreacutes de connectiviteacute navons besoin de deacuteterminer la contrainte appropmenant agrave cette distribution Nous ferrons alors eacutevoles connexions du reacuteseau choisi arbitrairement e

-e

--

-

t

-t

-

e

maximisant lrsquoentropie Le tout repose sur une dymique drsquoeacutevolution respectant la contrainte

Nous illustrons cette approche avec une applicaau cas simple des reacuteseaux exponentiels qui sont dcertaine maniegravere analogues agrave un gaz parfait Comnous allons le montrer cette analogie nrsquoest pas cplegravete car la probabiliteacute drsquoavoir une connexion ennœuds de degreacutes donneacutes nrsquoest pas indeacutependantdegreacutes Nous estimons cet effet sur lrsquoentropie duseau en montrant qursquoelle diffegravere de celle des reacutesealeacuteatoires drsquoune petite quantiteacute ndash ce qui dans un sfait que les connexions sont presque aleacuteatoires Enous montrons comment la relation entre les variathermodynamiques intensives et extensives du reacuteapparaicirct naturellement par cette approche Nous eacutetons lrsquoideacutee que la variable intensive des reacuteseaux exnentiels ndash et par extension pour tout reacuteseau de clsimilaire ndash est une mesure de la complexiteacute du reacutesque nous avons appeleacute complexiteacuteβ Nous montronscomment ce type drsquoanalyse des reacuteseaux dans lesnismes vivants promet de fournir les variables macscopiques approprieacutees agrave la vie

Consideacuterons un systegraveme deN nœuds avecnr dedegreacuter et ayant la probabiliteacuteprs qursquoun nœud dedegreacuter soit connecteacute agrave un nœud de degreacutes Lrsquoentropiedes nœuds du reacuteseau (agrave une constante additiveest

Ω = minussum

r

nr lognr

qui sera maximiseacutee selon la contrainte

C(nr) = constante

La meacutethode habituelle des multiplicateurs de Lgrange donne alors

partCpartnr

= minus 1

βlognr

ougrave la constante additive lieacutee au nombre total de nœest neacutegligeacutee drsquoougrave

C = minusβminus1sum

r

intdnr lognr

Ainsi pour toute distributionnr nous pouvons deacuteteminer la contrainte approprieacutee

Pour construire un reacuteseau ayant une contradonneacutee nous partons drsquoun reacuteseau arbitraire unseau aleacuteatoire ou ordonneacute par exemple Noussons alors eacutevoluer les connexions tout en mainte

DJ Raine et al C R Biologies 326 (2003) 65ndash74 67

ug-s le Sivec

orertinuesoit

deonseaubleu deumas

larise

r laneonc

qut ac-

sis-cet-viteacutelti-e2000

egraveleentre

rsquountoutud

tout

uleCeci

teacuteent

les

iegravereles

neacuteeur

et

ie ena laeaursquoun

la contrainte et nous veacuterifions si cette action a amenteacute lrsquoentropie Si crsquoest le cas nous acceptonnouveau reacuteseau et nous continuons le processusnon nous acceptons la nouvelle configuration aune probabiliteacute correspondant agrave exp(minusk13Ω) ougravek estune constante eacutetablie par essai erreur afin drsquoameacutelila convergence de la meacutethode Ce processus conjusqursquoagrave ce que lrsquoentropie soumise agrave la contraintemaximiseacutee

Il est agrave noter que la similariteacute avec lrsquoalgorithmeMetropolis nrsquoest que superficielle Nous ne suggeacuterpas que les proprieacuteteacutes de lrsquoeacutetat stable du reacutessont deacutetermineacutees par une moyenne de lrsquoensemCette approche permet plutocirct drsquoempecirccher le reacutesease fixer dans un eacutetat correspondant agrave un maximlocal drsquoentropie Cependant la solution nrsquoest pattendue pour ecirctre unique dans la mesure ougravedistribution des degreacutes de connectiviteacute ne caracteacutepas complegravetement le reacuteseau

Pour des reacuteseaux exponentiels

nr prop rminusβ

la contrainte requise est

(31)sum

rnr = constante

et la meacutethode se simplifie consideacuterablement cacontrainte exprime le fait que la connectiviteacute moyendrsquoun reacuteseau exponentiel est constante Elle peut decirctre maintenue par des reconnections aleacuteatoiresseront accepteacutees si elles augmentent lrsquoentropie ecepteacutees avec une probabiliteacute exp(minusk13Ω) dans le cascontraire Dans lrsquoexemple numeacuterique nous choisonsk = 106 bien que nous ayons trouveacute dansexemple quek rarr infin est tout autant effectif La valeur constante dans (31) crsquoest-agrave-dire la connectimoyenneν par nœuds est bien sucircr lieacutee au muplicateur de Lagrangeβ Une simulation numeacuteriquest preacutesenteacutee partant drsquoun reacuteseau aleacuteatoire denœuds avecν = 10

Il est inteacuteressant de comparer la valeur du modlaquo entropie raquo

sumnr lognr avec la vraie valeur statistiqu

de lrsquoentropie prenant en compte les correacutelations enœuds Deacutesignonsnrs le nombre de nœuds de degreacuter

connecteacutes aux nœuds de degreacutess Si les connexionseacutetaient aleacuteatoires la probabiliteacute pour des liens dnœud fortement connecteacute drsquoecirctre reconnecteacute agraveautre nœud et la probabiliteacute pour des liens drsquoun nœ

-

i

de faible degreacute de connectiviteacute drsquoecirctre reconnecteacute agraveautre nœud devraient ecirctre les mecircmes nrs

ns

= nrp

np

ce qui correspond agrave la probabiliteacute de trouver une seconnexion indeacutependamment du degreacute des nœudsest eacutequivalent agrave

nrs

nrp

= ns

np

drsquoougrave par deacuteduction pour un reacuteseau non correacuteleacute

(41)nrs = Qnr ns

Q = 2νN eacutetant approximativement la probabilimoyenne pour qursquoune paire de nœuds aleacuteatoiremchoisie soit connecteacutee (en prenantN(N minus 1) asymp N2

pour N grand) Pour un reacuteseau non correacuteleacuteconnexions contribuent agrave une entropie

(42)minus 1

Nsumpairs

[Q logQ + (1minus Q) log(1minus Q)

]

ougraveN est le nombre de paire de nœuds ou de maneacutequivalente le nombre maximum de liens possibLrsquoentropie pour des liens aleacuteatoires est donc

minusQ logQ minus (1minus Q) log(1minus Q)

Pour un reacuteseau geacuteneacuteral lrsquoentropie est encore donpar (42) mais en utilisant maintenant (41) podeacutefinir

Q = Qrs = nrs

nr ns

Drsquoougrave enfin le rapport entre lrsquoentropie laquo des liens raquolrsquoentropie laquo des nœuds raquo sum

r nr lognr

12NQ

sumrs nrs lognrs minus N

2 logQ

correspondant agrave lrsquouniteacute pour un reacuteseau aleacuteatoireLa fonction de coucirct joue le rocircle drsquoune eacutenerg

interne pouvant ecirctre changeacutee de deux maniegraveresreconnectant (ajout de chaleur) ce qui changerdistribution des nœuds ou par croissance du reacutessans changer la distribution des nœuds (lors dtravail)

δC = minusβminus1sum

lognrδnr

(51)minusβminus1sumint

δ lognr dnr


ent

ainedes

vanu le

e

nequescrsquoesntlesgaz

eacutefi-desres

nc-r ledeacutefi-

inn enues et

nteutret orant

eacute endeacute-ousue

om-tre laeuxnneacutes

reex-se larsquoim-cette

parnous

sa--

pa-la

que-ni-deacute-deune

ler de

laes sera

ardhaut

un

ondde

ourexiteacute

rte-

odedesreacutes

plest devonsdantreux

loi

Le premier terme de droite correspond au changemde lrsquoentropie des nœuds (multiplieacute parβminus1) Lesecond terme de droite repreacutesente drsquoune certmaniegravere le coucirct par nœuds associeacute agrave la variationparamegravetres exteacuterieurs Le paramegravetre exteacuterieur pouecirctre par exemple le nombre total de nœuds onombre total de connexions pour chacun des choixXil y aura une variable intensivex qui lui sera associeacuteet deacutefinie par (51)

x =(

partCpartX

)S

Lrsquoapproche thermodynamique fournit donc ucaracteacuterisation naturelle des variables macroscopiassocieacutees agrave tout reacuteseau Drsquoune certaine maniegraverela fin de lrsquohistoire mais nous aimerions clairemeacqueacuterir une intuition quant agrave la nature des variabmacroscopiques tout comme pour la pression drsquounou la magneacutetisation drsquoun milieu

Un nombre drsquoapproches a eacuteteacute proposeacute pour dnir la complexiteacute des reacuteseaux Dans la theacuteoriegraphes elle est deacuteriveacutee de la proprieacuteteacute des arbLa complexiteacute structurale peut ecirctre deacutefinie en fotion du nombre de paramegravetres requis pour deacutefinireacuteseau La complexiteacute des liens a eacuteteacute quant agrave ellenie comme la variabiliteacute du second plus court chementre nœuds Toutes ces deacutefinitions ont en commucontraste avec la notion de complexiteacute algorithmiqen informatique le fait que les systegravemes ordonneacutealeacuteatoires ont une complexiteacute nulle

Nous avons proposeacute une approche plutocirct diffeacutereissue de la consideacuteration suivante En effet une acaracteacuteristique commune aux reacuteseaux aleacuteatoires edonneacutes est que lrsquoentropie par nœuds est indeacutependdu nombre de ceux-ci Ceci peut ecirctre paraphrasdisant que lrsquoinformation locale est suffisante pourterminer la large structure drsquoeacutechelle des graphes Nvoulons que la notion de complexiteacute capture lrsquoeacutetendougrave ce nrsquoest pas le cas Ainsi cet aspect de la cplexiteacute des graphes est encodeacute dans la relation endistribution des nœuds lieacutes par une connexion dconnexions etc Les graphes aleacuteatoires et ordorestent aleacuteatoires et ordonneacutes par cette sorte denormalisation De maniegravere similaire les graphesponentiels etscale free restent approximativement lemecircmes par cette transformation Cela confirme qucomplexiteacute de tels graphes peut ecirctre capteacutee par nporte quelle paire de nœuds En drsquoautres termes

t

t

-e

-

forme de complexiteacute de reacuteseaux peut ecirctre exprimeacuteeun simple paramegravetre Par exemple nous pouvonsconcentrer sur les premiers et les derniers liens agravevoir le paramegravetre de voisinageC et la longueur caracteacuteristiqueL Par exemple pour le reacuteseau desmallworld de Watts et Strogatz nous montrons que leramegravetreCL a en effet le caractegravere drsquoune mesure decomplexiteacute que nous appelons la complexiteacuteβ

Pour les reacuteseaux exponentiels nous montronsla complexiteacuteβ varie selonβminus3 Si nous interpreacutetonsβ comme lrsquoinverse drsquoune tempeacuterature cela sigfie que la complexiteacute deacutecroicirct quand la tempeacuteraturecroicirct Ceci est attendu car pour de faibles valeursβ la distribution des degreacutes des nœuds approcheconstante infeacuterieure agrave 1β De maniegravere eacutequivalentelaquo coucirct raquo par nœud tel qursquoil est mesureacute par la valeula contrainte deacutecroicirct commeβminus1

Nous voulons maintenant comparer ceci avecdeacutefinition thermodynamique de la complexiteacute dreacuteseaux qui drsquoapregraves nos hypothegraveses preacuteceacutedentesde la forme

complexiteacuteprop(

partCpartX

)S

ougrave X est un paramegravetre exteacuterieur approprieacute Au regdes eacutetapes de renormalisation discuteacutees pluset du fait que la longueur caracteacuteristiqueL est delrsquoordre du nombre de pas requis pour parcourirreacuteseau complet un choix naturel pourx serax = Lcrsquoest-agrave-dire que la complexiteacute du reacuteseau correspau changement en coucirct par changement drsquouniteacutelaquo volume raquo ndash ougrave le volume est unidimensionnel Pdes reacuteseaux exponentiels cela donne une complproportionnelle agraveβminus1 Nous devrions ainsi avoir

complexiteacute= βminus2(

partCpartX

)S

Il reste agrave voir si cela est compatible avec le compoment drsquoautres reacuteseaux

En reacutesumeacute nous avons montreacute que la meacuteththermodynamique nous permettait de construirereacuteseaux ayant nrsquoimporte quelle distribution des degde connectiviteacute Nous donnerons drsquoautres exempar ailleurs Pour eacutetablir si cette approche permecomprendre les proprieacuteteacutes des reacuteseaux nous abesoin de regarder des applications correspondes systegravemes explicites Par exemple de nombprocessus biologiques peuvent ecirctre deacutecrits par la


uesucirctsttancoucircreacute-

ceansettrellevurecteacute-oncecirctreap-ion

asonsg lit-net-od- in[2]alab-ec-

reeonsrac-ex-ks

et-ri-

tem-orkd-re

f a8]tual

ics ato

calcosteehen

ectrksnd

u-thatc-e

opyn-

onichwetheenmateat

nte toenfor

Wetial

seshe

gith

e

canonique simplifieacutee (SCL) de Mandelbrot

nr prop 1

(r + ρ)β

Dans le langage des reacuteseaux thermodynamiqcette distribution correspond agrave une fonction de coqui deacutecrit le systegraveme dans lequel lrsquoinformation etransmise sous forme de mots avec un coucirct conspar bit Cela suggegravere une correspondance avec lede synthegravese drsquoune enzyme Par ailleurs le coucirct duseau exponentiel croicirct lineacuteairement avec le degreacutequi exprime la conservation du nombre de liens dun reacuteseau Cette approche pourrait nous permdrsquoexpliquer par exemple la connectiviteacute diffeacuterentiedans la reacutegulation des reacuteseaux geacuteneacutetiques de la leLrsquoapproche thermodynamique nous permet de carariser les variables macroscopiques drsquoun reacuteseau et dpar extension de nrsquoimporte quel systegraveme pouvantdeacutecrit en terme de reacuteseau En particulier donc lrsquoproche nous offre la possibiliteacute drsquoune caracteacuterisatmacroscopique de la vie

1 Introduction

The explosion of interest in non-random graphsrepresentations of real-world networks of connectibetween nodes has generated a large and growinerature both in the characterisation of observedworks and on methods of construction of specific mels [1] In all of these cases the specific contextswhich networks may represent metabolic reactionsgenetic regulation [3] linguistic relations [4] socigraphs [5] internet connections [6] and so on arestracted into a general relation between the conntivity of the nodes To this end we define the degof a node as the number of (undirected) connectito or from that node The models can then be chaterised by the distribution of nodal degrees Forample in the now well-known scale-free networthe number of nodesnr with r connections is givenby a power lawnr prop rminusβ Although many ways areknown to obtain specific examples of non-random nworks by evolving the connections according to vaous schemes [1] there is as yet in general no sysatic way of constructing the connections in a netwto obtain a given nodal distribution the current moels being found largely by trial and error Furthermo

tt

since many dynamical models for the evolution onetwork can lead to the same nodal distribution [7the dynamical models may be unrelated to the acevolution

In this paper we shall show that a thermodynamapproach allows us to characterise a network amaximum entropy configuration of nodes subjectan external constraint This is not only of techniinterest the constraint can be interpreted as afunction which in principle represents the cost in frenergy of establishing the network The form of tcost function therefore implicitly contains informatioon the evolution of the network We therefore expthis approach to illuminate the structure of netwowith possible applications in metabolic genetic aprotein networks

To construct a network with given nodal distribtion we need to derive the relevant constraintswill lead to the given distribution This is done in setion 2 Starting from a given arbitrary network wthen evolve the connections to maximise the entrof the network The trick here is to find an evolutioary dynamics that respects the constraints

We illustrate the approach with an applicatito the simple case of exponential networks whare somewhat analogous to a perfect gas Asshall show the analogy is not complete becauseprobability of a connection between nodes of givdegrees is not independent of the degrees We estithe effect of this on the network entropy showing thit differs from random by a relatively small amou(ie that in this sense the connections are closrandom) Finally we show how a relation betweintensive and extensive thermodynamic variablesthe network arises naturally from this approachspeculate that the intensive variable for exponennetworks (and by extension for any similar clasof networks) is a measure of the complexity of tnetwork that we have calledβ-complexity We showhow this type of analysis of the networks in livinorganisms this approach promises to provide us wthe macroscopic variables appropriate to life

2 The thermodynamic method

Let us consider a system ofN nodes withnr ofdegreer and with probabilityprs that a node of degre


he

the

t

triedle

s

en-metsionis

ba-l

esspy

l-st-aretherset-i-x-

ribu-rise

rkswn

sesthe

rkom

pand

thehel00sm2ichionof

is

essr a

ofThistheout

r is connected to a node of degrees The entropy of thenodes of the network (up to an additive constant) is

Ω = minussum

r

nr lognr

which we are going to maximise subject to tconstraint

C(nr ) = constant

The usual method of Lagrange multipliers gives

partCpartnr

= minus 1

βlognr

where we neglect an additive constant related tototal number of nodes or


r

intdnr lognr

Thus for any distributionnr we can construcappropriate constraints

To avoid confusion note that thenr values are noall independent so the integration cannot be carout unless they are known explicitly For exampif we want an exponential network we havenr

= n0 eminusβr henceC = sumr nr (up to a constant) a

expectedTo construct a network with given constraint w

begin from an arbitrary network for example a radom network or an ordered one We then make sorewiring subject to maintenance of the constrainand test to see if the entropy is increased by this actIf it is we accept the new network and continue If itnot then we accept the new configuration with probility exp(minusk113Ω) wherek is a constant set by triaand error to improve the convergence of the procThe rewiring is continued until the constrained entrois maximised

Note that the similarity here to the Metropolis agorithm [9] is superficial only We are not suggeing that the steady-state properties of the networkdetermined by an average over this ensemble Rathe approach is intended to prevent the networktling into configuration with a shallow local maxmum of entropy Even so the solution is not epected to be unique in those cases where the disttion of nodal degrees does not completely charactethe network (For example various different netwowith the same scale free node distribution are kno[10])

3 Application to exponential networks

For exponential networks

nr prop rminusβ

the required constraint is

(31)sum

r nr = constant

and the method simplifies considerably This aribecause the constraint expresses the fact thatmean number of links in an exponential netwois constant and this can be maintained by randrewiring with probability unity at each rewiring steThe rewiring is accepted if it increases the entropyaccepted with probability exp(minusk13Ω) otherwise Inthe numerical examples we choosek = 106 althoughwe have found in this example thatk rarr infin is equallyeffective The value of the constant in (31) iemean degreeν per node is of course related to tLagrange multiplierβ The results of this numericacomputation starting from a random network of 20nodes andν = 10 is shown in the figures Fig 1 showthe evolution of the entropy starting from a randonetwork as it evolves towards exponential Figshows the degree distribution of the nodes whis indeed exponential Fig 3 shows the distributof the connection probabilities between nodesdegreer and s Some comment on the form of th

Fig 1 Evolution of the entropy of the network during the procof maximising the entropy The number of rewiring trials aftepair of linked nodes has been randomly chosen is about 1the total of the possible new linkages for one of those nodescondition is set to improve the convergence without affectingrandom process Then the total number of rewiring trials is ab1 600 000


theandfor

pty

lly

tlybewayply

tionseetiallyea

elri-ofen

free

ae-n-eewe

ly

e

iv-he

by

n-onet-

ity

Fig 2 The degree distribution of the nodes before and afterprocess of maximisation The network contains 2000 nodesis constructed as explained in the text The empty circles arethe random network (prior to entropy maximisation) and the emtriangles are for the exponential network

Fig 3 Distribution of the connection probability in an exponentiaconnected network between nodes of degreer ands

figure will be helpful Note that there is apparena large probability for nodes of high degree toconnected together but this arises because of thethe figure has been constructed and results simbecause the high-degree nodes have more connecMost of the connections obviously involve low-degrnodes because those of high degree are exponensmall in number As we verify indirectly below thdistribution in Fig 3 is in fact very close to that forrandom network

4 Entropy of an exponential network

It is of interest to compare the value of the modentropy

sumnr lognr associated with the degree dist

bution of the nodes with the true statistical entropythe network taking into account correlations betwethe connections of the nodes Letnrs be the number onodes of degreer that are connected to nodes of degs The probability of finding a connection betweennode of degreer and a randomly selected node of dgrees is nrsns If the connections were made radomly this probability is independent of the degrof the node to which the connection is made soshould have

nrs

ns

= nrp

np

for anys andp This is equivalently

nrs

nrp

= ns

np

from which we deduce thatnrs prop ns hence bysymmetrynrs prop nrns and finally

(41)nrs = Qnr ns

for an uncorrelated network HereQ = 2νN isapproximately the average probability that a randomchosen pair of nodes is connected (takingN(N minus 1)

asymp N2 for largeN ) For an uncorrelated network thedges contribute to an entropy

(42)minus 1

Nsumpairs


]

whereN is the number of pairs of nodes or equalently the maximum possible number of links Tentropy from the random links is therefore


For a general network the entropy is still given(42) but with (41) now used to define

Q equiv Qrs = nrs

nr ns

Fig 4 shows how the ratio of the entropy cotributed by the nodes to that of the links dependsthe size and mean connectivity of the exponential nwork The ratio is defined in such a way that it is un


t offor

po-

albydet

ge

nsernalfortal

s alesthe

irepicrives oron

to

ityoryofaners3]hehesethee

have

togor-

opyhis

tionofp-

husin

edan-d or-nsre-ec-thatanyern we

Fig 4 Ratio of the entropy contributed by the nodes to thathe links plotted against the mean connectivity This ratio is 1random networks

for a random network namely assumr nr lognr

12NQ


2 logQ

The figure shows therefore that the links of an exnential network are connected close to random

5 Intensive and extensive variables

The cost function plays the role of an internenergy which can be changed in two waysrewiring (adding heat) which will change the nodistribution or by growth of the network withouchanging the node distribution (doing work)


lognrδnr


δ lognr dnr

The first term on the right is just the chanin entropy of the nodes (multiplied byβminus1) Thesecond term on the right represents in some sethe cost per node associated with varying the exteparameters The external parameter might beexample the total number of nodes or the tonumber of connections for each choiceX there willbe an associated intensive variablex defined by (51)

x =(

partCpartX

)

S

The thermodynamic approach therefore providenatural characterisation of the macroscopic variabassociated with any network In a sense this isend of the story but we would clearly like to acquan intuitive feeling for the nature of the macroscovariables associated with a network just as we dean intuitive understanding of the pressure of a gathe magnetisation of a medium In the next sectiwe argue the case for regarding the quantityx as ameasure of the complexity of a network relatedwhat we have calledβ-complexity [11]

6 Network complexity

A number of approaches to defining the complexof networks have been proposed In graph thethe complexity is derived from the propertiesthe spanning trees Structural complexity [12] cbe defined in terms of the number of parametrequired to define the network Edge complexity [1has been defined in terms of the variability of tsecond shortest path between nodes What all of tdefinitions have in common and in contrast tonotion of algorithmic complexity in computer sciencis that both ordered systems and random oneszero complexity

We have proposed a rather different approachnetwork complexity which arises from the followinconsideration Another feature that random anddered networks have in common is that the entrper node is independent of the number of nodes Tcan be paraphrased by saying that local informais sufficient to determine the large-scale structurethe graphs We want the notion of complexity to cature the extent to which this fails to be the case Tthis aspect of the complexity of a graph is encodedthe relation between the distributions of nodes linkby one connection two connections and so on Rdom graphs and ordered graphs remain random andered under these lsquorenormalisationrsquo transformatioSimilarly exponential graphs and scale-free graphsmain approximately exponential or scale-free resptively under these transformations This suggeststhe complexity of such graphs can be captured bypair of links in this chain of connections In othwords the complexity of networks of this form cabe expressed by a single parameter For example


gthatz

caled

ain-llwc-ve

getyter

hissingllhes

aint

y-c-

oneheto

ewd of

lete

ere-es

er

al-tri-erethisrkicitcancal

hisde-

Fig 5 The ratio of clustering coefficient to characteristic lenscale (or diameter) of the small world network of Watts and Strog[13] behaves as a complexity parameter The coefficients are sto 1 forp = 0

can concentrate on the first and last links in the chnamely the cliqueiness parameterC and the characteristic path lengthL [13] For example for the smaworld network of Watts and Strogatz [14] we shothat the parameterCL does indeed have the charater of a measure of complexity (Fig 5) which we hacalledβ-complexity

For the exponential network we show the averavalue ofCL as a function of the mean connectiviν of the nodes in Fig 6 In terms of the parameβ the curve is fitted fairly closely byCL prop βminus3If we interpretβ as an inverse temperature then tsays that the complexity decreases with decreatemperature This is to be expected since for smaβ

the distribution of the degrees of the nodes approaca constant for degreeslt 1β Equivalently the lsquocostrsquoper node as measured by the value of the constrdecreases withβminus1

We now want to compare this with the thermodnamic definition of network complexity which acording to our hypothesis above will be of the form

complexity prop(

partCpartX

)

S

Fig 6 ValueCL against the slope of the exponential distributi(in the log-linear plot of Fig 2) The graph is plotted for thfollowing mean connectivities respectively 6 8 10 16 20 Tcurve is fitted closely by a power function with exponent closeminus225

whereX is an appropriate external parameter In viof the renormalisation steps discussed above anthe fact that the characteristic lengthL is of the orderof the number of steps required to make a compnetwork a natural choice forx is x = L ie thecomplexity of a network is the change in cost punit change in lsquovolumersquo (where lsquovolumersquo is here ondimensional) For the exponential network this giva complexityprop βminus1 Thus we should have

β-complexity= βminus2(

partCpartX

)S

in order to get aβ-complexity ofβminus3 It remains to beseen if this is compatible with the behaviour of othnetworks

7 Conclusions

We have shown that the thermodynamic methodlows us to construct networks of any given node disbution We shall give some other examples elsewhTo establish whether the thermodynamic ideas inpaper can provide any further insight into netwoproperties we need to look at applications to explsystems For example many biological processesbe described by the Mandelbrot simplified canonidistribution (SCL) [15]

nr prop 1

(r + ρ)β

In the language of thermodynamic networks tdistribution corresponds to a cost function that


tedts a

escostva-chentrk

ac-ndde-

thepic

ille

lex

ia-

ndork

an1ndash

07ndash

in(2)

ng

h

ring

om

rla-on-

ion

een

ll-

tic

scribes a system in which information is transmitin words with a constant cost per bit This suggescorrespondence with the cost of synthesising enzymOn the other hand the exponential network has athat grows linearly with rank expressing the consertion of the number of links in a network This approamay enable us to explain for example the differconnectivity in the regulation of the genetic netwoin yeast [3]

The thermodynamic approach allows us to charterise the macroscopic variables of a network ahence by extension of any system that can bescribed in network terms In particular thereforeapproach holds out the possibility of a macroscocharacterisation of living systems

Acknowledgements

We have benefited from conversations with CamRipoll Jeremy Ramsden and Steve Gurman

References

[1] R Albert A-L Barabaacutesi Statistical mechanics of compnetworks Rev Mod Phys 74 (2002) 47ndash97

[2] H Jeong B Tombor R Albert ZN Oltvai A-L BarabaacutesThe large-scale organization of metabolic networks Nture 407 (2000) 651ndash654

[3] N Guelzim S Bottani P Bourgine F Kepes Topological acausal structure of the yeast transcriptional regulatory netwNat Genet 31 (2002) 60ndash63

[4] I Ferrer RF Cancho RV Sole The small world of humlanguage Proc R Soc Lond B Biol Sci 268 (2001) 2262265

[5] F Liljeros CR Edling LA Amaral HE Stanley Y AbergThe web of human sexual contacts Nature 411 (2001) 9908

[6] A Medina I Matta J Byers On the origin of power lawsinternet topology SIGCOMM Comput Commun Rev 30(2000)

[7] PL Krapivsky S Redner F Leyvraz Connectivity of growirandom networks Phys Rev Lett 85 (2000) 4629ndash4632

[8] K Klemm VM Eguiluz Growing scale-free networks witsmall-world behaviour Phys Rev E 65 (2002) 057102

[9] N Metropolis A Rosenbluth M Rosenbluth A TelleE Teller Equation of state calculations by fast computmachines J Chem Phys 21 (1953) 1087ndash1092

[10] PL Krapivsky S Redner Organization of growing randnetworks Phys Rev E 63 (2001) 066123

[11] DJ Raine V Norris Network complexity in P AmaF Kepes V Norris P Tracqui (Eds) Modeling and simution of biological processes in the context of the genome Cference Proceedings Autrans France 2002 pp 67ndash75

[12] JP Crutchfield The calculi of emergence ndash computatdynamics and induction Physica D 75 (1994) 11ndash54

[13] DJ Watts Small worlds the dynamics of networks betworder and randomness Princeton UP NJ USA 1999

[14] DJ Watts SH Strogatz Collective dynamics of lsquosmaworldrsquo networks Nature 393 (1998) 440ndash442

[15] JJ Ramsden J Vohradsky Zipf-like behaviour in prokaryoprotein expression Phys Rev E 58 (1998) 7777ndash7780


a-nsti

rtantser-tionpreacute

s geacuteso-

heacutesdesbreela

stri-ple

ce-

aleacuteades

ma-ionmene deventnecen

ap-ca-n dedesch-teacuteereacute-t dues

peacute-ettrelicaquest unousrieacuteeluern en

na-

tionrsquouneme

om-tree desreacute-auxensnfinblesseaumet-po-

asseeau

orga-ro-

pregraves)

a-

uds

r-

intereacute-fai-

nant

Version franccedilaise abreacutegeacutee

Lrsquoexplosion drsquointeacuterecirct pour les graphes non aleacutetoires comme repreacutesentation des reacuteseaux reacuteels cotueacutes de nœuds interconnecteacutes a geacuteneacutereacute une impoet croissante litteacuterature aussi bien agrave partir de lrsquoobvation de ces reacuteseaux qursquoagrave partir de la construcde modegraveles speacutecifiques Ces reacuteseaux pouvant resenter des reacuteactions meacutetaboliques des reacutegulationneacutetiques des relations linguistiques des graphesciaux des connexions Internet etc sont approcpar une relation geacuteneacuterale entre la connectiviteacutenœuds cette derniegravere eacutetant deacutefinie comme le nomde connexions (non dirigeacutees) lieacutees agrave un nœud Cpermet ainsi de caracteacuteriser les modegraveles par la dibution de leurs degreacutes de connectiviteacute Par exemle nombre de nœudsnr de connectiviteacuter pour les reacute-seauxscale free est donneacute par une loi de puissannr prop rminusβ Bien qursquoil existe plusieurs moyens drsquoobtenir des exemples speacutecifiques de reacuteseaux nontoires baseacutes sur diffeacuterentes meacutethodes drsquoeacutevolutionconnexions il nrsquoexiste pas encore de voie systeacutetique et geacuteneacuterale permettant drsquoobtenir une distributdonneacutee les modegraveles courants eacutetant trouveacutes largepar un processus drsquoessai erreur De plus nombrmodegraveles dynamiques drsquoeacutevolution de reacuteseaux peumener agrave une mecircme distribution des degreacutes de contiviteacute ces derniers ne se rapportant donc pas forceacutemagrave lrsquoeacutevolution preacutesente

Dans cet article nous allons montrer par uneproche thermodynamique qursquoil est possible deracteacuteriser un reacuteseau preacutesentant une configurationœuds ayant une entropie maximale et soumis agravecontraintes Ceci nrsquoa pas un inteacuterecirct seulement tenique la contrainte peut en effet ecirctre interpreacutecomme une fonction de coucirct qui en principe repsente le coucirct en eacutenergie libre pour lrsquoeacutetablissemenreacuteseau et dont la forme contient implicitement dinformations sur lrsquoeacutevolution du systegraveme Nous esrons donc que cette approche permettra de men eacutevidence la structure du reacuteseau avec des apptions possibles aux reacuteseaux meacutetaboliques geacuteneacutetiet proteacuteiques Pour construire un reacuteseau preacutesentandistribution donneacutee des degreacutes de connectiviteacute navons besoin de deacuteterminer la contrainte appropmenant agrave cette distribution Nous ferrons alors eacutevoles connexions du reacuteseau choisi arbitrairement e

-e

--

-

t

-t

-

e

maximisant lrsquoentropie Le tout repose sur une dymique drsquoeacutevolution respectant la contrainte

Nous illustrons cette approche avec une applicaau cas simple des reacuteseaux exponentiels qui sont dcertaine maniegravere analogues agrave un gaz parfait Comnous allons le montrer cette analogie nrsquoest pas cplegravete car la probabiliteacute drsquoavoir une connexion ennœuds de degreacutes donneacutes nrsquoest pas indeacutependantdegreacutes Nous estimons cet effet sur lrsquoentropie duseau en montrant qursquoelle diffegravere de celle des reacutesealeacuteatoires drsquoune petite quantiteacute ndash ce qui dans un sfait que les connexions sont presque aleacuteatoires Enous montrons comment la relation entre les variathermodynamiques intensives et extensives du reacuteapparaicirct naturellement par cette approche Nous eacutetons lrsquoideacutee que la variable intensive des reacuteseaux exnentiels ndash et par extension pour tout reacuteseau de clsimilaire ndash est une mesure de la complexiteacute du reacutesque nous avons appeleacute complexiteacuteβ Nous montronscomment ce type drsquoanalyse des reacuteseaux dans lesnismes vivants promet de fournir les variables macscopiques approprieacutees agrave la vie

Consideacuterons un systegraveme deN nœuds avecnr dedegreacuter et ayant la probabiliteacuteprs qursquoun nœud dedegreacuter soit connecteacute agrave un nœud de degreacutes Lrsquoentropiedes nœuds du reacuteseau (agrave une constante additiveest

Ω = minussum

r

nr lognr

qui sera maximiseacutee selon la contrainte

C(nr) = constante

La meacutethode habituelle des multiplicateurs de Lgrange donne alors

partCpartnr

= minus 1

βlognr

ougrave la constante additive lieacutee au nombre total de nœest neacutegligeacutee drsquoougrave


r

intdnr lognr

Ainsi pour toute distributionnr nous pouvons deacuteteminer la contrainte approprieacutee

Pour construire un reacuteseau ayant une contradonneacutee nous partons drsquoun reacuteseau arbitraire unseau aleacuteatoire ou ordonneacute par exemple Noussons alors eacutevoluer les connexions tout en mainte


ug-s le Sivec

orertinuesoit

deonseaubleu deumas

larise

r laneonc

qut ac-


egraveleentre

rsquountoutud

tout

uleCeci

teacuteent

les

iegravereles

neacuteeur

et

ie ena laeaursquoun




nr prop rminusβ


(31)sum

rnr = constante






-

i


ns

= nrp

np


nrs

nrp

= ns

np


(41)nrs = Qnr ns



(42)minus 1

Nsumpairs


]




Q = Qrs = nrs

nr ns


r nr lognr

12NQ


2 logQ




lognrδnr


δ lognr dnr


ent

ainedes

vanu le

e


eacutefi-desres

nc-r ledeacutefi-

inn enues et

nteutret orant




parnous

sa--

pa-la


ler de

laes sera

ardhaut

un

ondde

ourexiteacute

rte-

odedesreacutes


loi


x =(

partCpartX

)S




t

t

-e

-





partCpartX

)S



partCpartX

)S







reeonsrac-ex-ks

et-ri-

tem-orkd-re

f a8]tual

ics ato

calcosteehen

ectrksnd

u-thatc-e

opyn-

onichwetheenmateat

nte toenfor

Wetial

seshe

gith

e


nr prop 1

(r + ρ)β


1 Introduction


tt








he

the

t

triedle

s

en-metsionis

ba-l

esspy


ribu-rise

rkswn

sesthe

rkom

pand

thehel00sm2ichionof

is

essr a

ofThistheout


Ω = minussum

r

nr lognr


C(nr ) = constant


partCpartnr

= minus 1

βlognr



r

intdnr lognr









nr prop rminusβ


(31)sum

r nr = constant




theandfor

pty

lly

tlybewayply

tionseetiallyea

elri-ofen

free

ae-n-eewe

ly

e

iv-he

by

n-onet-

ity








nrs

ns

= nrp

np


nrs

nrp

= ns

np


(41)nrs = Qnr ns



(42)minus 1

Nsumpairs


]




Q equiv Qrs = nrs

nr ns



t offor

po-

albydet

ge

nsernalfortal

s alesthe

irepicrives oron

to


have

togor-

opyhis

tionofp-

husin




12NQ


2 logQ





lognrδnr


δ lognr dnr


x =(

partCpartX

)

S






gthatz

caled

ain-llwc-ve

getyter

hissingllhes

aint

y-c-

oneheto

ewd of

lete

ere-es

er


hisde-






complexity prop(

partCpartX

)

S




partCpartX

)S


7 Conclusions


nr prop 1

(r + ρ)β



tedts a

escostva-chentrk

ac-ndde-

thepic

ille

lex

ia-

ndork

an1ndash

07ndash

in(2)

ng

h

ring

om

rla-on-

ion

een

ll-

tic



Acknowledgements


References

















ug-s le Sivec

orertinuesoit

deonseaubleu deumas

larise

r laneonc

qut ac-


egraveleentre

rsquountoutud

tout

uleCeci

teacuteent

les

iegravereles

neacuteeur

et

ie ena laeaursquoun




nr prop rminusβ


(31)sum

rnr = constante






-

i


ns

= nrp

np


nrs

nrp

= ns

np


(41)nrs = Qnr ns



(42)minus 1

Nsumpairs


]




Q = Qrs = nrs

nr ns


r nr lognr

12NQ


2 logQ




lognrδnr


δ lognr dnr


ent

ainedes

vanu le

e


eacutefi-desres

nc-r ledeacutefi-

inn enues et

nteutret orant




parnous

sa--

pa-la


ler de

laes sera

ardhaut

un

ondde

ourexiteacute

rte-

odedesreacutes


loi


x =(

partCpartX

)S




t

t

-e

-





partCpartX

)S



partCpartX

)S







reeonsrac-ex-ks

et-ri-

tem-orkd-re

f a8]tual

ics ato

calcosteehen

ectrksnd

u-thatc-e

opyn-

onichwetheenmateat

nte toenfor

Wetial

seshe

gith

e


nr prop 1

(r + ρ)β


1 Introduction


tt








he

the

t

triedle

s

en-metsionis

ba-l

esspy


ribu-rise

rkswn

sesthe

rkom

pand

thehel00sm2ichionof

is

essr a

ofThistheout


Ω = minussum

r

nr lognr


C(nr ) = constant


partCpartnr

= minus 1

βlognr



r

intdnr lognr









nr prop rminusβ


(31)sum

r nr = constant




theandfor

pty

lly

tlybewayply

tionseetiallyea

elri-ofen

free

ae-n-eewe

ly

e

iv-he

by

n-onet-

ity








nrs

ns

= nrp

np


nrs

nrp

= ns

np


(41)nrs = Qnr ns



(42)minus 1

Nsumpairs


]




Q equiv Qrs = nrs

nr ns



t offor

po-

albydet

ge

nsernalfortal

s alesthe

irepicrives oron

to


have

togor-

opyhis

tionofp-

husin




12NQ


2 logQ





lognrδnr


δ lognr dnr


x =(

partCpartX

)

S






gthatz

caled

ain-llwc-ve

getyter

hissingllhes

aint

y-c-

oneheto

ewd of

lete

ere-es

er


hisde-






complexity prop(

partCpartX

)

S




partCpartX

)S


7 Conclusions


nr prop 1

(r + ρ)β



tedts a

escostva-chentrk

ac-ndde-

thepic

ille

lex

ia-

ndork

an1ndash

07ndash

in(2)

ng

h

ring

om

rla-on-

ion

een

ll-

tic



Acknowledgements


References

















ent

ainedes

vanu le

e


eacutefi-desres

nc-r ledeacutefi-

inn enues et

nteutret orant




parnous

sa--

pa-la


ler de

laes sera

ardhaut

un

ondde

ourexiteacute

rte-

odedesreacutes


loi


x =(

partCpartX

)S




t

t

-e

-





partCpartX

)S



partCpartX

)S







reeonsrac-ex-ks

et-ri-

tem-orkd-re

f a8]tual

ics ato

calcosteehen

ectrksnd

u-thatc-e

opyn-

onichwetheenmateat

nte toenfor

Wetial

seshe

gith

e


nr prop 1

(r + ρ)β


1 Introduction


tt








he

the

t

triedle

s

en-metsionis

ba-l

esspy


ribu-rise

rkswn

sesthe

rkom

pand

thehel00sm2ichionof

is

essr a

ofThistheout


Ω = minussum

r

nr lognr


C(nr ) = constant


partCpartnr

= minus 1

βlognr



r

intdnr lognr









nr prop rminusβ


(31)sum

r nr = constant




theandfor

pty

lly

tlybewayply

tionseetiallyea

elri-ofen

free

ae-n-eewe

ly

e

iv-he

by

n-onet-

ity








nrs

ns

= nrp

np


nrs

nrp

= ns

np


(41)nrs = Qnr ns



(42)minus 1

Nsumpairs


]




Q equiv Qrs = nrs

nr ns



t offor

po-

albydet

ge

nsernalfortal

s alesthe

irepicrives oron

to


have

togor-

opyhis

tionofp-

husin




12NQ


2 logQ





lognrδnr


δ lognr dnr


x =(

partCpartX

)

S






gthatz

caled

ain-llwc-ve

getyter

hissingllhes

aint

y-c-

oneheto

ewd of

lete

ere-es

er


hisde-






complexity prop(

partCpartX

)

S




partCpartX

)S


7 Conclusions


nr prop 1

(r + ρ)β



tedts a

escostva-chentrk

ac-ndde-

thepic

ille

lex

ia-

ndork

an1ndash

07ndash

in(2)

ng

h

ring

om

rla-on-

ion

een

ll-

tic



Acknowledgements


References




















reeonsrac-ex-ks

et-ri-

tem-orkd-re

f a8]tual

ics ato

calcosteehen

ectrksnd

u-thatc-e

opyn-

onichwetheenmateat

nte toenfor

Wetial

seshe

gith

e


nr prop 1

(r + ρ)β


1 Introduction


tt








he

the

t

triedle

s

en-metsionis

ba-l

esspy


ribu-rise

rkswn

sesthe

rkom

pand

thehel00sm2ichionof

is

essr a

ofThistheout


Ω = minussum

r

nr lognr


C(nr ) = constant


partCpartnr

= minus 1

βlognr



r

intdnr lognr









nr prop rminusβ


(31)sum

r nr = constant




theandfor

pty

lly

tlybewayply

tionseetiallyea

elri-ofen

free

ae-n-eewe

ly

e

iv-he

by

n-onet-

ity








nrs

ns

= nrp

np


nrs

nrp

= ns

np


(41)nrs = Qnr ns



(42)minus 1

Nsumpairs


]




Q equiv Qrs = nrs

nr ns



t offor

po-

albydet

ge

nsernalfortal

s alesthe

irepicrives oron

to


have

togor-

opyhis

tionofp-

husin




12NQ


2 logQ





lognrδnr


δ lognr dnr


x =(

partCpartX

)

S






gthatz

caled

ain-llwc-ve

getyter

hissingllhes

aint

y-c-

oneheto

ewd of

lete

ere-es

er


hisde-






complexity prop(

partCpartX

)

S




partCpartX

)S


7 Conclusions


nr prop 1

(r + ρ)β



tedts a

escostva-chentrk

ac-ndde-

thepic

ille

lex

ia-

ndork

an1ndash

07ndash

in(2)

ng

h

ring

om

rla-on-

ion

een

ll-

tic



Acknowledgements


References

















he

the

t

triedle

s

en-metsionis

ba-l

esspy


ribu-rise

rkswn

sesthe

rkom

pand

thehel00sm2ichionof

is

essr a

ofThistheout


Ω = minussum

r

nr lognr


C(nr ) = constant


partCpartnr

= minus 1

βlognr



r

intdnr lognr









nr prop rminusβ


(31)sum

r nr = constant




theandfor

pty

lly

tlybewayply

tionseetiallyea

elri-ofen

free

ae-n-eewe

ly

e

iv-he

by

n-onet-

ity








nrs

ns

= nrp

np


nrs

nrp

= ns

np


(41)nrs = Qnr ns



(42)minus 1

Nsumpairs


]




Q equiv Qrs = nrs

nr ns



t offor

po-

albydet

ge

nsernalfortal

s alesthe

irepicrives oron

to


have

togor-

opyhis

tionofp-

husin




12NQ


2 logQ





lognrδnr


δ lognr dnr


x =(

partCpartX

)

S






gthatz

caled

ain-llwc-ve

getyter

hissingllhes

aint

y-c-

oneheto

ewd of

lete

ere-es

er


hisde-






complexity prop(

partCpartX

)

S




partCpartX

)S


7 Conclusions


nr prop 1

(r + ρ)β



tedts a

escostva-chentrk

ac-ndde-

thepic

ille

lex

ia-

ndork

an1ndash

07ndash

in(2)

ng

h

ring

om

rla-on-

ion

een

ll-

tic



Acknowledgements


References

















theandfor

pty

lly

tlybewayply

tionseetiallyea

elri-ofen

free

ae-n-eewe

ly

e

iv-he

by

n-onet-

ity








nrs

ns

= nrp

np


nrs

nrp

= ns

np


(41)nrs = Qnr ns



(42)minus 1

Nsumpairs


]




Q equiv Qrs = nrs

nr ns



t offor

po-

albydet

ge

nsernalfortal

s alesthe

irepicrives oron

to


have

togor-

opyhis

tionofp-

husin




12NQ


2 logQ





lognrδnr


δ lognr dnr


x =(

partCpartX

)

S






gthatz

caled

ain-llwc-ve

getyter

hissingllhes

aint

y-c-

oneheto

ewd of

lete

ere-es

er


hisde-






complexity prop(

partCpartX

)

S




partCpartX

)S


7 Conclusions


nr prop 1

(r + ρ)β



tedts a

escostva-chentrk

ac-ndde-

thepic

ille

lex

ia-

ndork

an1ndash

07ndash

in(2)

ng

h

ring

om

rla-on-

ion

een

ll-

tic



Acknowledgements


References

















t offor

po-

albydet

ge

nsernalfortal

s alesthe

irepicrives oron

to


have

togor-

opyhis

tionofp-

husin




12NQ


2 logQ





lognrδnr


δ lognr dnr


x =(

partCpartX

)

S






gthatz

caled

ain-llwc-ve

getyter

hissingllhes

aint

y-c-

oneheto

ewd of

lete

ere-es

er


hisde-






complexity prop(

partCpartX

)

S




partCpartX

)S


7 Conclusions


nr prop 1

(r + ρ)β



tedts a

escostva-chentrk

ac-ndde-

thepic

ille

lex

ia-

ndork

an1ndash

07ndash

in(2)

ng

h

ring

om

rla-on-

ion

een

ll-

tic



Acknowledgements


References

















gthatz

caled

ain-llwc-ve

getyter

hissingllhes

aint

y-c-

oneheto

ewd of

lete

ere-es

er


hisde-






complexity prop(

partCpartX

)

S




partCpartX

)S


7 Conclusions


nr prop 1

(r + ρ)β



tedts a

escostva-chentrk

ac-ndde-

thepic

ille

lex

ia-

ndork

an1ndash

07ndash

in(2)

ng

h

ring

om

rla-on-

ion

een

ll-

tic



Acknowledgements


References

















tedts a

escostva-chentrk

ac-ndde-

thepic

ille

lex

ia-

ndork

an1ndash

07ndash

in(2)

ng

h

ring

om

rla-on-

ion

een

ll-

tic



Acknowledgements


References
















networks as constrained thermodynamic systems

Documents