neurale netwerken
DESCRIPTION
Neurale Netwerken. Kunstmatige Intelligentie Rijksuniversiteit Groningen. Mei 2005. hc 10. Spiking neurons stof: artikel. overzicht. inleiding l l. drie generaties. threshold transfer function continuous transfer function (bv sigmoid) spike trains (integrate-and-fire) - PowerPoint PPT PresentationTRANSCRIPT
NeuraleNeurale NetwerkenNetwerkenKunstmatige IntelligentieKunstmatige Intelligentie
Rijksuniversiteit GroningenRijksuniversiteit Groningen
Mei 2005
hc 10hc 10
• Spiking neuronsSpiking neurons
• stof: artikelstof: artikel
overzichtoverzicht
• inleidinginleiding
• ll
• ll
drie generaties
1. threshold transfer function2. continuous transfer function (bv sigmoid)3. spike trains (integrate-and-fire)
beschouwing biologische plausibiliteit:elke generatie meer natuurgetrouw dan de vorige
beschouwing computationele kracht:• 1 is universeel voor digitale functies• 2 en 3 ook voor analoge functies• 3 heeft een hogere uitdrukkingskracht dan 2
(met minder neuronen kun je hetzelfde)
biologische neuronen
• menselijk zenuwstelsel: ±100 miljard neuronen• 1 mm3 cortex: ±10.000 neuronen
met elk ±10.000 verbindingen naar andere neuronen (kilometers axonen/dendrieten per mm3)
• neural staining:
biologische neuronen
axon
synaps dendriet
dendriet axon
synaps
synaps
cellichaam(soma)
synaptic efficacy is BIOLOGISCHE TEGENHANGER van gewicht
biologische neuronenuitleg termen op p. 12, 13 boek
dendrieten:• activatie uit dendrieten depolariseert
of hyperpolariseert het mebraan (PostSynaptic Potential)
• depolarisatie werkt exciterend (EPSP)
• hyperpolarisatie werkt inhiberend (IPSP)
• graded potentialsaxon:• rust potentiaal axon: -70 mV met
binnenkant neuron negatief(firing threshold -50 mV)
• als de PSPs genoeg activatie veroorzaken, dan ontstaat een aktiepotentiaal
• all-or-nothing potentials• Hodgkin & Huxley (1952)
4 s spikes in 30 visual cortex cells
benodigde tijdvoor visueleverwerking!
informatieoverdracht tussen biologische en kunstmatige neuronen
• spiking neurons gebruiken spike patronen
• standaard kunstmatige neuronen gebruiken activatie tussen 0 en 1
• axon activatie:spiking nonspiking
0 0
fmax 1 /)(1
1
ae
y
PSPs vs actiepotentialen
• graded vs all-or-nothing
• EPSPs, IPSPs vs spike trains
• integrate-and-fire (spike 1-2 ms)• informatie in aantal spikes en de timing van
losse spikes• (relative/absolute) refractory period (10 ms)
beperkt vuurfrequentie
NV neural viewer
www.btinternet.com/~cfinnie
• recovery periods, flames
• edge detector
• interaural
neurale dynamica
• intracellular clamp: potentiaal verschil meten tussen binnen en buiten de cel
• clamp voorbeelden
• ui(t) – urest = εij
• EPSP in neuron i veroorzaakt door spike van neuron j: εij(t – tj
(f)) clamp
j frest
fjijii
resti
utttttu
uu
)()ˆ()(
)0()(
parameters η0, τ, Δt > 0
wiskundig model SRM0
)(0
)(
)(
)(
__
0__/1)(
0,)(:
)(
fi
tt
fif
i
fi
ii
tttfore
tttforttt
ttdt
dutuspike
fi
zie artikel voor uitleg functionaliteit en symbolen
verschillende PSPs
actie potentiaal (blauw) niet in goede proportie
• verschil in teken (IPSP, EPSP), verschil in hoogte
• verschil in lengte• vertraging
• in modellen hebben alle PSPs vaak dezelfde vorm, rechthoekig of driehoekig meestal
netwerk types
MLP, Hopfield, Kohonen, Elman, ...
leren: algoritmes moeten aangepast worden, maar het idee is hetzelfde
beperkingen van SRM0
• alle PSPs hebben dezelfde vorm– PSPs niet afhankelijk van de toestand van het neuron
• dynamica alleen afhakelijk van laatste spike– geen adaptatie– geen bursting neurons– geen inhibitory rebound spike
• bij veel input spikes tellen de PSPs niet lineair op (in biologische neuronen)
uitgebreidere modellen...
spiking neurons in hardware [3], [4]geen tentamenstof
VLSI systems can use data representations of eitherbinary (digital VLSI) or continuous (analog VLSI) voltages.Progress in digital technology has been tremendous,providing us with ever faster, more precise and smallerequipment. In digital systems an energy-hungrysynchronisation clock makes it certain that parts are readyfor action. Analog systems consume much less power andspace on silicon than digital systems (in many orders ofmagnitude) and are easily interfaced with the analog realworld. However, their design is hard, due to noise computationis fundamentally (slightly) inaccurate and sufficientlyreliable non-volatile analog memory does not (yet) exist[20,4].
Hybrid (noise resistant digital communication and memory, cheap analog computation)
referenties[1] W. Gernster, W.M. Kistler (2002) Spiking neuron models: single neurons, populations, plasticity. Cambridge university press
[2] W. Maass (1997) Networks of spiking neurons: the third generation of neural network models. Journal unknown (Elsevier press)
[3] J. Vreeken (in press) Spiking neural networks, an introduction.
[4] G. Indeviri et al. (2002) A competitive network of spiking VLSI neurons. Journal unknown
[5] J. W. Kalat (2001) Biological Psychology. Wadsworth Thomson learning
laatste college aanstaande laatste college aanstaande woensdagwoensdag
• voorbeeld-tentamen-vragenvoorbeeld-tentamen-vragen
• practicum: feedback en ruimte voor practicum: feedback en ruimte voor vragenvragen