Zelazny Roger Amber 05 Dworce Chaosu
czesc 05 rozdzial 03 (2)
czesc 05 rozdzial 01 (3)
rozdzial 05 (206)
rozdzial 05 (14)
rozdzial 05 (277)
rozdzial 05 (99)
136(b1) 05
rozdzial 05 (235)
rozdzial 05 (87)
[ Pobierz całość w formacie PDF ]
.Taki zbiór danych pocz¹tkowych (bodŸce zewnêtrzne) nazywamy obszarem lub basenem przyci¹gania atraktora.Z tego powodu sieci neuronowe ze sprzê¿eniem zwrotnym, takie jak sieæ Hopfielda, okreœla siê czasem jako atraktorowe sieci neuronowe.44Podobnie dzia³a ludzka pamiêæ: wszystkie bodŸce nale¿¹ce do danego obszaru przyci¹gania powoduj¹, ¿e sieæ neuronów w mózgu znajduje siê w okreœlonym stanie pobudzenia.Ów stan zawiera zakodowan¹ informacjê, kojarzon¹ z tymi bodŸcami.BodŸcem mog¹ byæ na przyk³ad ró¿ne obrazy tej samej twarzy: w ró¿nym oœwietleniu, z krótkimi i d³ugimi w³osami, z brod¹ lub bez, a atraktorem – "Jaœ Kowalski".Wobec tego sieæ potrafi zapamiêtaæ tyle ró¿nych informacji, ile zawiera atraktorów.Atraktory te wolno uwa¿aæ za lokalne minima powierzchni b³êdu, zdefiniowanej w podobny sposób, jak w przypadku wielowarstwowego perceptronu.45Dla twórców MLP, Rumelharta i McLellanda, najwa¿niejszym problemem by³a zdolnoœæ sieci do uczenia siê, ale nie odegra³o to szczególnej roli w rozwoju koncepcji Hopfielda.Jego sieæ przypomina informacjê zapisan¹ w danych pocz¹tkowych.Hopfield zdawa³ sobie jednak sprawê, ¿e podstaw¹ uczenia siê w neurobiologii jest zasada sformu³owana przez kanadyjskiego psychologa Donalda Hebba w ksi¹¿ce Organisation of Behavior, opublikowanej w 1949 roku.Hebb wysun¹³ hipotezê, ¿e podczas procesu uczenia siê waga po³¹czenia miêdzy neuronami wzrasta, jeœli oba neurony s¹ pobudzane jednoczeœnie, a maleje, gdy pobudzany jest tylko jeden.46 Hopfield wykaza³, ¿e jeœli wagi po³¹czeñ miêdzy neuronami w sieci s¹ zmieniane zgodnie z regu³¹ Hebba, powoduje to zmiany w ukszta³towaniu pejza¿u b³êdu tej sieci.Niektóre doliny pog³êbiaj¹ siê, inne staj¹ siê p³ytsze.Wobec tego wielokrotne dzia³anie zewnêtrznego bodŸca – czyli nauka lub trening -zmienia sposób pobudzania neuronów w sieci Hopfielda, dzia³aj¹cej zgodnie z zasad¹ Hebba.Wspó³pracuj¹c z Davidem Tankiem, Hopfield wykaza³ nastêpnie, ¿e jego sieæ mo¿e poradziæ sobie z "trudnymi" problemami klasy NP, w tym równie¿ z problemem komiwoja¿era.47 Stwierdzili oni, ¿e choæ poszukiwania rozwi¹zania czasami powoduj¹ ugrzêŸn³êcie w lokalnym minimum, w praktyce sieæ czêsto znajduje rozwi¹zanie bliskie optymalnemu.GroŸba utkniêcia w lokalnym minimum powoduje jednak, ¿e mo¿na mieæ w¹tpliwoœci co do mo¿liwoœci tej metody.W 1984 roku Geoffrey Hinton z Uniwersytetu Carnegie Mellon w Pittsburghu i Terry Sejnowski, pracuj¹cy wówczas na Uniwersytecie Johna Hopkinsa w Baltimore, zaproponowali wykorzystanie metody symulowanego wy¿arzania w tak zwanej maszynie Boltzmanna – ulepszonej sieci Hopfielda, nazwanej tak dla uczczenia Ludwiga Boltzmanna, wielkiego austriackiego fizyka, jednego z twórców mechaniki statystycznej.Podobnie jak przypadkowe ruchy cieplne atomów, wystêpuj¹ce podczas wy¿arzania, pomagaj¹ atomom utworzyæ najbardziej uporz¹dkowan¹ sieæ krystaliczn¹, tak samo symulowany szum w komputerze mo¿e wstrz¹sn¹æ sieci¹ neuronow¹, tak aby opuœci³a lokalne minimum i skierowa³a siê do najg³êbszej doliny w pejza¿u b³êdu.48 Jak poprzednio, poziom szumu jest stopniowo redukowany, dziêki czemu sieæ z biegiem czasu zmierza do coraz bardziej stabilnego minimum, zawieraj¹cego najwiêcej informacji.49 Maszyna Boltzmanna steruje sieci¹ neuronow¹, tak aby d¹¿y³a ona do okreœlonych stanów z prawdopodobieñstwem okreœlonym przez b³êdy ka¿dego z tych stanów ("energie"), czyli od g³êbokoœci pejza¿u w danym punkcie.50 Sieci Boltzmanna nie tylko potrafi¹ lepiej rozwi¹zywaæ problemy NP, ale równie¿ mog¹ magazynowaæ ogromn¹ iloœæ informacji i szybko odnajdywaæ potrzebne dane.Dla okreœlonych danych sieæ mo¿e odszukaæ ogromn¹ iloœæ informacji skojarzonej z danymi bez koniecznoœci stosowania formalnej procedury poszukiwañ.Niestety, sieci Boltzmanna nale¿¹ do najwolniej dzia³aj¹cych sieci neuronowych.51Szok nowoœciMózg ludzki jest dostosowany do radzenia sobie z nowymi i nieoczekiwanymi sytuacjami – wie na przyk³ad, jak masz siê zachowywaæ, gdy w pobli¿u wywróci siê stragan z jab³kami.Natomiast dla prostych sztucznych sieci neuronowych, takich jak wielowarstwowy perceptron, nowoœæ potrafi byæ powa¿nym problemem.Jedna zupe³nie nowa informacja mo¿e naruszyæ uk³ad wag sieci.Powoduje to zmiany pejza¿u, czyli wewnêtrznej reprezentacji sieci – pojawiaj¹ siê nowe szczyty i doliny [ Pobierz caÅ‚ość w formacie PDF ]
