Echo state network

Uforståelig: Denne artikkelen kan være vanskelig å forstå og artikkelen bør derfor få en grundig opprydning.

Echo state nett (ESN) er en type rekursivt nevralt nett med et tynt sammenkoblet (sparse) skjult lag. Forbindelsene mellom nodene i det skjulte laget blir satt tilfeldig og er uforandra under trening av nettverket.

Det spesielle med systemet er at det eneste som trenes er vektene i det siste laget. Disse er ikke rekursive (har ingen løkker) så å trene seg fram til vektene i utputtlaget er et enkelt lineært problem. Samtidig får man den ønskede ikkelineære oppførselen i det skjulte laget.

ESN brukes i dag spesielt til å jobbe med tidsserier og sanntids robotkontroll. Liquid-state machine er en lignende type nettverk og disse går gjerne under samlebetegnelsen reservoir networks. En måte å forstå nettverkets virkemåte er ved å se at det skjulte laget gjør en ikke-lineær mapping av inputdataene til et høydimensjonalt rom, representert ved verdien av nodene i det skjulte laget. Denne mappingen forenkler problemet med å finne enkle grenseflater, som så løses av trening av outputtlaget. På denne måten framstår ESNs virkemåte som overraskende lik den man finner hos support vector machines (SVM), en annen populær algoritme innen kunstig intelligens

Kilder

• Herbert Jaeger and Harald Haas. Harnessing Nonlinearity: Predicting Chaotic Systems and Saving Energy in Wireless Communication. Science 2 April 2004: Vol. 304. no. 5667, pp. 78 – 80 DOI: 10.1126/science.1091277 PDF (preprint)^{[død lenke]}
• Herbert Jaeger (2007) Echo State Network. Scholarpedia.