Bună ziua, numele meu este Natalia Efremova și sunt cercetător la NtechLab. Astăzi voi vorbi despre tipurile de rețele neuronale și despre aplicațiile acestora.

În primul rând, voi spune câteva cuvinte despre compania noastră. Compania este nouă, poate că mulți dintre voi încă nu știți ce facem. Anul trecut am câștigat concursul MegaFace. Acesta este un concurs internațional de recunoaștere facială. În același an s-a deschis firma noastră, adică suntem pe piață de aproximativ un an, chiar și puțin mai mult. Prin urmare, suntem una dintre companiile lider în recunoașterea facială și procesarea biometrică a imaginilor.

Prima parte a raportului meu va fi îndreptată către cei care nu sunt familiarizați cu rețelele neuronale. Sunt direct implicat în deep learning. Lucrez în acest domeniu de mai bine de 10 ani. Deși a apărut cu puțin mai puțin de un deceniu în urmă, au existat câteva rudimente de rețele neuronale care erau similare cu sistemul de învățare profundă.

În ultimii 10 ani, învățarea profundă și viziunea computerizată s-au dezvoltat într-un ritm incredibil. Tot ceea ce s-a făcut și este semnificativ în acest domeniu s-a întâmplat în ultimii ani 6.

voi vorbi despre aspecte practice: unde, când, ce să folosesc în ceea ce privește învățarea profundă pentru procesarea imaginilor și video, pentru recunoașterea imaginii și a feței, deoarece lucrez într-o companie care face asta. Vă voi spune puțin despre recunoașterea emoțiilor și ce abordări sunt folosite în jocuri și robotică. Voi vorbi, de asemenea, despre aplicarea non-standard a învățării profunde, ceva care tocmai iese din instituțiile științifice și este încă puțin folosit în practică, cum poate fi aplicat și de ce este dificil de aplicat.

Raportul va consta din două părți. Deoarece majoritatea sunt familiarizați cu rețelele neuronale, mai întâi voi aborda rapid cum funcționează rețelele neuronale, ce sunt rețelele neuronale biologice, de ce este important pentru noi să știm cum funcționează, ce sunt rețelele neuronale artificiale și ce arhitecturi sunt utilizate în ce domenii .

Îmi cer scuze imediat, voi trece puțin la terminologia engleză, pentru că nici măcar nu știu ce se numește în rusă. Poate si tu.

Deci, prima parte a raportului va fi dedicată rețelelor neuronale convoluționale. Vă voi spune cum funcționează rețeaua neuronală convoluțională (CNN) și recunoașterea imaginilor folosind un exemplu de recunoaștere facială. Vă voi spune puțin despre rețelele neuronale recurente (RNN) și învățarea prin consolidare folosind exemplul sistemelor de învățare profundă.

Ca o aplicație non-standard a rețelelor neuronale, voi vorbi despre modul în care CNN funcționează în medicină pentru a recunoaște imaginile voxel, despre cum sunt folosite rețelele neuronale pentru a recunoaște sărăcia în Africa.

Ce sunt rețelele neuronale

Prototipul pentru crearea rețelelor neuronale a fost, în mod ciudat, rețelele neuronale biologice. Mulți dintre voi știți cum să programați o rețea neuronală, dar de unde provine, cred că unii nu știu. Două treimi din toate informațiile senzoriale care vin la noi provin din organele vizuale ale percepției. Mai mult de o treime din suprafața creierului nostru este ocupată de cele mai importante două zone vizuale - calea vizuală dorsală și calea vizuală ventrală.

Calea vizuală dorsală începe în zona vizuală primară, la coroana noastră, și continuă în sus, în timp ce calea ventrală începe în partea din spate a capului și se termină aproximativ în spatele urechilor. Toată recunoașterea de tipare importantă care are loc în noi, tot ceea ce poartă sens, de care suntem conștienți, are loc chiar acolo, în spatele urechilor.

De ce este acest lucru important? Pentru că deseori este necesar să înțelegem rețelele neuronale. În primul rând, toată lumea vorbește despre asta, iar eu m-am obișnuit deja să se întâmple acest lucru, iar în al doilea rând, adevărul este că toate zonele care sunt utilizate în rețelele neuronale pentru recunoașterea imaginilor au venit la noi tocmai din calea vizuală ventrală, unde fiecare un mic zona este responsabilă pentru funcția sa strict definită.

Imaginea vine la noi din retină, trece printr-o serie de zone vizuale și se termină în zona temporală.

În îndepărtații ani 60 ai secolului trecut, când studiul zonelor vizuale ale creierului abia începea, primele experimente au fost efectuate pe animale, deoarece nu exista fMRI. Creierul a fost studiat folosind electrozi implantați în diferite zone vizuale.

Prima zonă vizuală a fost studiată de David Hubel și Torsten Wiesel în 1962. Au efectuat experimente pe pisici. Pisicilor li s-au arătat diverse obiecte în mișcare. La ce au răspuns celulele creierului a fost stimulul pe care l-a recunoscut animalul. Chiar și acum multe experimente sunt efectuate în aceste moduri draconice. Dar, cu toate acestea, acesta este cel mai mult mod eficient află ce face fiecare celulă minusculă din creierul nostru.

În același mod, au fost descoperite multe mai multe proprietăți importante ale zonelor vizuale, pe care le folosim acum în deep learning. Una dintre cele mai importante proprietăți este creșterea câmpurilor receptive ale celulelor noastre pe măsură ce trecem de la zonele vizuale primare la lobii temporali, adică zonele vizuale ulterioare. Câmpul receptiv este acea parte a imaginii pe care o prelucrează fiecare celulă a creierului nostru. Fiecare celulă are propriul său câmp receptiv. Aceeași proprietate este păstrată în rețelele neuronale, așa cum probabil știți cu toții.

De asemenea, pe măsură ce câmpurile receptive cresc, la fel cresc și stimulii complexi pe care rețelele neuronale îi recunosc de obicei.

Aici vedeți exemple de complexitate a stimulilor, diferitele forme bidimensionale care sunt recunoscute în zonele V2, V4 și diferite părți ale câmpurilor temporale la maimuțele macac. De asemenea, sunt efectuate o serie de experimente RMN.

Aici puteți vedea cum se desfășoară astfel de experimente. Aceasta este o parte de 1 nanometru din zonele cortexului IT ale maimuței atunci când recunoașteți diferite obiecte este evidențiat.

Să rezumam. O proprietate importantă pe care dorim să o adoptăm din zonele vizuale este aceea că mărimea câmpurilor receptive crește, iar complexitatea obiectelor pe care le recunoaștem crește.

Viziune computerizată

Înainte să învățăm să aplicăm acest lucru în viziunea computerizată, în general, nu exista ca atare. În orice caz, nu a funcționat la fel de bine cum funcționează acum.

Transferăm toate aceste proprietăți în rețeaua neuronală și acum funcționează, dacă nu o porniți mica retragere la seturile de date, despre care voi vorbi mai târziu.

Dar mai întâi, puțin despre cel mai simplu perceptron. De asemenea, se formează după imaginea și asemănarea creierului nostru. Cel mai simplu element care seamănă cu o celulă a creierului este un neuron. Are elemente de intrare care sunt aranjate implicit de la stânga la dreapta, ocazional de jos în sus. În stânga sunt părțile de intrare ale neuronului, în dreapta sunt părțile de ieșire ale neuronului.

Cel mai simplu perceptron este capabil să efectueze doar cele mai simple operații. Pentru a efectua calcule mai complexe, avem nevoie de o structură cu un număr mare straturi ascunse.

În cazul vederii computerizate, avem nevoie de și mai multe straturi ascunse. Și numai atunci sistemul va recunoaște în mod semnificativ ceea ce vede.

Așadar, vă voi spune ce se întâmplă în timpul recunoașterii imaginii folosind exemplul fețelor.

Pentru noi să ne uităm la această poză și să spunem că arată exact fața statuii este destul de simplu. Cu toate acestea, înainte de 2010, aceasta a fost o sarcină incredibil de dificilă pentru viziunea computerizată. Cei care s-au ocupat de această problemă înainte de această dată probabil știu cât de greu a fost să descriem fără cuvinte obiectul pe care vrem să-l găsim în imagine.

Trebuia să facem asta într-un fel geometric, să descriem obiectul, să descriem relațiile obiectului, cum aceste părți se pot relaționa între ele, apoi să găsim această imagine pe obiect, să le comparăm și să obținem ceea ce am recunoscut prost. De obicei era puțin mai bine decât să arunci o monedă. Puțin mai bun decât nivelul de șansă.

Nu așa funcționează acum. Împărțim imaginea noastră fie în pixeli, fie în anumite patch-uri: 2x2, 3x3, 5x5, 11x11 pixeli - așa cum este convenabil pentru creatorii sistemului în care servesc ca strat de intrare în rețeaua neuronală.

Semnalele de la aceste straturi de intrare sunt transmise de la strat la strat folosind sinapse, fiecare strat având coeficienții săi specifici. Așa că trecem din strat în strat, din strat în strat, până când obținem că am recunoscut fața.

În mod convențional, toate aceste părți pot fi împărțite în trei clase, le vom desemna X, W și Y, unde X este imaginea noastră de intrare, Y este un set de etichete și trebuie să ne obținem ponderile. Cum calculăm W?

Având în vedere X și Y, acest lucru pare simplu. Totuși, ceea ce este indicat printr-un asterisc este o operație neliniară foarte complexă, care, din păcate, nu are invers. Chiar și cu 2 componente date ale ecuației, este foarte dificil să o calculezi. Prin urmare, trebuie să ne asigurăm treptat, prin încercare și eroare, prin selectarea ponderii W, să ne asigurăm că eroarea scade cât mai mult posibil, de preferință astfel încât să devină egală cu zero.

Acest proces are loc iterativ, reducem constant până găsim valoarea greutății W care ni se potrivește suficient.

Apropo, nici o singură rețea neuronală cu care am lucrat nu a ajuns la o eroare de zero, dar a funcționat destul de bine.

Aceasta este prima rețea care a câștigat competiția internațională ImageNet în 2012. Acesta este așa-numitul AlexNet. Aceasta este rețeaua care s-a declarat pentru prima dată că există rețele neuronale convoluționale, iar de atunci rețelele neuronale convoluționale nu au renunțat niciodată la pozițiile lor în toate competițiile internaționale.

În ciuda faptului că această rețea este destul de mică (are doar 7 straturi ascunse), conține 650 de mii de neuroni cu 60 de milioane de parametri. Pentru a învăța în mod iterativ să găsim ponderile necesare, avem nevoie de o mulțime de exemple.

Rețeaua neuronală învață din exemplul unei imagini și al unei etichete. Așa cum ni se învață în copilărie „aceasta este o pisică și acesta este un câine”, rețelele neuronale sunt de asemenea antrenate pe cantitati mari poze. Dar adevărul este că până în 2010 nu a existat un set de date suficient de mare care să învețe un astfel de număr de parametri să recunoască imaginile.

Cele mai mari baze de date care existau înainte de această perioadă au fost PASCAL VOC, care avea doar 20 de categorii de obiecte, și Caltech 101, care a fost dezvoltat la Institutul de Tehnologie din California. Ultima avea 101 categorii, și asta a fost mult. Cei care nu au reușit să-și găsească obiectele în niciuna dintre aceste baze de date au trebuit să-și coste bazele de date, ceea ce, voi spune, este teribil de dureros.

Cu toate acestea, în 2010, a apărut baza de date ImageNet, care conținea 15 milioane de imagini, împărțite în 22 de mii de categorii. Acest lucru a rezolvat problema noastră de a antrena rețelele neuronale. Acum, oricine are o adresă academică poate accesa cu ușurință site-ul web al bazei, poate solicita acces și poate primi această bază pentru a-și antrena rețelele neuronale. Ei răspund destul de repede, după părerea mea, a doua zi.

În comparație cu seturile de date anterioare, aceasta este o bază de date foarte mare.

Exemplul arată cât de nesemnificativ a fost tot ce a venit înainte. Concomitent cu baza ImageNet a apărut și competiția ImageNet, o provocare internațională la care pot participa toate echipele care doresc să concureze.

Anul acesta, rețeaua câștigătoare a fost creată în China, a avut 269 de straturi. Nu știu câți parametri sunt, bănuiesc că sunt și mulți.

Arhitectura rețelei neuronale profunde

În mod convențional, poate fi împărțit în 2 părți: cei care învață și cei care nu învață.

Negrul indică acele părți care nu învață toate celelalte straturi sunt capabile să învețe. Există multe definiții a ceea ce este în interiorul fiecărui strat convoluțional. Una dintre notațiile acceptate este aceea că un strat cu trei componente este împărțit în stadiul de convoluție, stadiul de detector și stadiul de pooling.

Nu voi intra în detalii; vor exista multe alte rapoarte care vor discuta în detaliu cum funcționează. Vă spun cu un exemplu.

Deoarece organizatorii mi-au cerut să nu mai pomenesc de multe formule, le-am dat afară complet.

Deci, imaginea de intrare se încadrează într-o rețea de straturi, care pot fi numite filtre de diferite dimensiuni și complexitate variabilă a elementelor pe care le recunosc. Aceste filtre formează propriul index sau set de caracteristici, care apoi intră în clasificator. De obicei, acesta este fie SVM, fie MLP - perceptron multistrat, oricare este convenabil pentru dvs.

La fel ca o rețea neuronală biologică, sunt recunoscute obiecte de complexitate diferită. Pe măsură ce numărul de straturi a crescut, totul a pierdut legătura cu cortexul, deoarece există un număr limitat de zone în rețeaua neuronală. 269 sau multe, multe zone de abstractizare, deci se menține doar o creștere a complexității, a numărului de elemente și a câmpurilor receptive.

Dacă ne uităm la exemplul de recunoaștere a feței, atunci câmpul nostru receptiv al primului strat va fi mic, apoi puțin mai mare, mai mare și așa mai departe până când în sfârșit putem recunoaște întreaga față.

Din punct de vedere a ceea ce este în interiorul filtrelor noastre, mai întâi vor fi bastoane înclinate plus puțină culoare, apoi părți de fețe, iar apoi fețe întregi vor fi recunoscute de fiecare celulă a stratului.

Există oameni care susțin că o persoană recunoaște întotdeauna mai bine decât o rețea. Este adevărat?

În 2014, oamenii de știință au decis să testeze cât de bine recunoaștem în comparație cu rețelele neuronale. Au luat cele mai bune 2 rețele în acest moment - AlexNet și rețeaua lui Matthew Ziller și Fergus și le-au comparat cu răspunsul diferitelor zone ale creierului unui macac, care a fost, de asemenea, învățat să recunoască unele obiecte. Obiectele proveneau din lumea animală, astfel încât maimuța să nu se încurce și s-au efectuat experimente pentru a vedea cine putea recunoaște mai bine.

Deoarece este imposibil să obțineți un răspuns clar de la maimuță, electrozi au fost implantați în ea și răspunsul fiecărui neuron a fost măsurat direct.

S-a dovedit că, în condiții normale, celulele creierului au răspuns la fel ca modelul de ultimă generație din acel moment, adică rețeaua lui Matthew Ziller.

Cu toate acestea, odată cu creșterea vitezei de afișare a obiectelor, o creștere a cantității de zgomot și obiecte din imagine, viteza de recunoaștere și calitatea creierului nostru și a creierului primatelor scade semnificativ. Chiar și cea mai simplă rețea neuronală convoluțională poate recunoaște mai bine obiectele. Adică, oficial rețelele neuronale funcționează mai bine decât creierul nostru.

Probleme clasice ale rețelelor neuronale convoluționale

De fapt, nu sunt mulți dintre ei, ei aparțin la trei clase. Printre acestea se numără sarcini precum identificarea obiectelor, segmentarea semantică, recunoașterea feței, recunoașterea părților corpului uman, detectarea marginilor semantice, evidențierea obiectelor de atenție într-o imagine și evidențierea normalelor de suprafață. Acestea pot fi împărțite aproximativ în 3 niveluri: de la sarcinile de cel mai jos nivel până la sarcinile de cel mai înalt nivel.

Folosind această imagine ca exemplu, să ne uităm la ce face fiecare sarcină.

Definirea limitelor- Aceasta este sarcina de cel mai jos nivel pentru care rețelele neuronale convoluționale sunt deja utilizate în mod clasic.
Determinarea vectorului la normal ne permite să reconstruim o imagine tridimensională dintr-una bidimensională.
Proeminență, identificarea obiectelor de atenție- la asta ar fi atentă o persoană când se uită la această imagine.
Segmentarea semantică vă permite să împărțiți obiectele în clase în funcție de structura lor, fără a ști nimic despre aceste obiecte, adică chiar înainte de a fi recunoscute.
Evidențierea limitelor semantice- aceasta este selecția granițelor împărțite în clase.
Evidențierea părților corpului uman.
Și sarcina de cel mai înalt nivel este recunoașterea obiectelor în sine, pe care acum îl vom lua în considerare folosind exemplul recunoașterii faciale.

Recunoașterea feței

Primul lucru pe care îl facem este să rulăm detectorul de fețe peste imagine pentru a găsi o față. Apoi, normalizăm, centram fața și o rulăm pentru procesare într-o rețea neuronală, după care obținem un set sau un vector de caracteristici descrie trăsăturile acestui chip.

Apoi putem compara acest vector de caracteristici cu toți vectorii de caracteristici care sunt stocați în baza noastră de date și să obținem o referință la o anumită persoană, la numele său, la profilul său - tot ceea ce putem stoca în baza de date.

Exact așa funcționează produsul nostru FindFace - este un serviciu gratuit care vă ajută să căutați profilurile oamenilor în baza de date VKontakte.

În plus, avem un API pentru companiile care doresc să încerce produsele noastre. Oferim servicii de detectare a feței, verificare și identificare a utilizatorilor.

Acum am dezvoltat 2 scenarii. Prima este identificarea, căutarea unei persoane într-o bază de date. A doua este verificarea, aceasta este o comparație a două imagini cu o anumită probabilitate ca aceasta să fie aceeași persoană. În plus, în prezent dezvoltăm recunoașterea emoțiilor, recunoașterea imaginii pe video și detectarea vieții - aceasta este o înțelegere a dacă persoana din fața camerei sau o fotografie este în viață.

Câteva statistici. La identificare, la căutarea prin 10 mii de fotografii, avem o acuratețe de aproximativ 95%, în funcție de calitatea bazei de date, și o acuratețe a verificării de 99%. Și pe lângă asta, acest algoritm este foarte rezistent la schimbări - nu trebuie să ne uităm în cameră, este posibil să avem niște obiecte obstructive: ochelari, ochelari de soare, barbă, mască medicală. În unele cazuri, putem depăși chiar provocările incredibile pentru vederea computerizată, cum ar fi ochelarii și o mască.

Căutare foarte rapidă, procesarea a 1 miliard de fotografii durează 0,5 secunde. Am dezvoltat un index unic de căutare rapidă. Putem lucra și cu imagini de calitate scăzută obținute de la camere CCTV. Putem procesa toate acestea în timp real. Puteți încărca fotografii prin interfața web, prin Android, iOS și puteți căuta prin 100 de milioane de utilizatori și prin cele 250 de milioane de fotografii ale acestora.

După cum am spus deja, am ocupat primul loc în competiția MegaFace - un analog pentru ImageNet, dar pentru recunoașterea feței. Funcționează de câțiva ani, anul trecut am fost cei mai buni dintre 100 de echipe din întreaga lume, inclusiv Google.

Rețele neuronale recurente

Folosim rețele neuronale recurente atunci când nu este suficient să recunoaștem doar o imagine. În cazurile în care este important pentru noi să menținem consistența, avem nevoie de ordinea a ceea ce se întâmplă, folosim rețele neuronale recurente obișnuite.

Acesta este folosit pentru recunoașterea limbajului natural, procesarea video, chiar și pentru recunoașterea imaginilor.

Nu voi vorbi despre recunoașterea limbajului natural - după raportul meu vor mai fi două care vor avea ca scop recunoașterea limbajului natural. Prin urmare, voi vorbi despre munca rețelelor recurente folosind exemplul recunoașterii emoțiilor.

Ce sunt rețelele neuronale recurente? Acesta este aproximativ același cu rețelele neuronale obișnuite, dar cu feedback. Avem nevoie de feedback pentru a transmite starea anterioară a sistemului la intrarea rețelei neuronale sau la unele dintre straturile acesteia.

Să presupunem că procesăm emoțiile. Chiar și într-un zâmbet – una dintre cele mai simple emoții – sunt mai multe momente: de la o expresie neutră a feței până la momentul în care avem un zâmbet plin. Ele se succed succesiv. Pentru a înțelege bine acest lucru, trebuie să fim capabili să observăm cum se întâmplă acest lucru și să transferăm ceea ce era în cadrul precedent la pasul următor al sistemului.

În 2005, la competiția Emotion Recognition in the Wild, o echipă din Montreal a prezentat un sistem recurent special pentru recunoașterea emoțiilor, care părea foarte simplu. Avea doar câteva straturi convoluționale și funcționa exclusiv cu videoclipuri. Anul acesta au adăugat, de asemenea, recunoaștere audio și date agregate cadru cu cadru obținute din rețelele neuronale convoluționale, date de semnal audio cu funcționarea unei rețele neuronale recurente (cu revenire a stării) și au primit primul loc în competiție.

Învățare prin întărire

Următorul tip de rețele neuronale, care a fost folosit foarte des în ultima vreme, dar nu a primit atâta publicitate ca cele 2 tipuri anterioare, este învățarea prin consolidare profundă.

Cert este că în cele două cazuri anterioare folosim baze de date. Avem fie date de la chipuri, fie date din imagini, fie date cu emoții din videoclipuri. Dacă nu avem asta, dacă nu îl putem filma, cum putem învăța un robot să ridice obiecte? Facem acest lucru automat - nu știm cum funcționează. Un alt exemplu: compilarea bazelor de date mari în jocurile pe calculator este dificilă și nu este necesară;

Probabil că toată lumea a auzit despre succesul învățării prin consolidare profundă în Atari și Go.

Cine a auzit de Atari? Ei bine, cineva a auzit, bine. Cred că toată lumea a auzit despre AlphaGo, așa că nici nu vă voi spune ce se întâmplă exact acolo.

Ce se întâmplă la Atari? Arhitectura acestei rețele neuronale este prezentată în stânga. Ea învață jucându-se cu ea însăși pentru a obține recompensa maximă. Recompensa maximă este cel mai rapid rezultat posibil al jocului cu cel mai mare scor posibil.

În dreapta sus este ultimul strat al rețelei neuronale, care descrie întregul număr de stări ale sistemului, care s-a jucat împotriva lui însuși timp de doar două ore. Rezultatele dezirabile ale jocului cu recompensă maximă sunt prezentate în roșu, iar cele nedorite sunt reprezentate în albastru. Rețeaua construiește un anumit câmp și se deplasează prin straturile sale antrenate până la starea pe care dorește să o obțină.

În robotică situația este puțin diferită. De ce? Aici avem mai multe dificultăți. În primul rând, nu avem multe baze de date. În al doilea rând, trebuie să coordonăm trei sisteme simultan: percepția robotului, acțiunile acestuia cu ajutorul manipulatorilor și memoria sa - ce s-a făcut în pasul anterior și cum a fost făcut. În general, toate acestea sunt foarte dificile.

Faptul este că nici o singură rețea neuronală, chiar și învățarea profundă în acest moment, nu poate face față acestei sarcini suficient de eficient, așa că învățarea profundă este doar o parte din ceea ce trebuie să facă roboții. De exemplu, Serghei Levin a oferit recent un sistem care învață un robot să apuce obiecte.

Iată experimentele pe care le-a efectuat pe cele 14 brațe robotizate ale sale.

Ce se întâmplă aici? În aceste lighene pe care le vezi în fața ta sunt diverse obiecte: pixuri, radiere, căni din ce în ce mai mari, cârpe, texturi diferite, durități diferite. Nu este clar cum să înveți un robot să-i captureze. Timp de multe ore și chiar săptămâni, roboții s-au antrenat să poată prinde aceste obiecte și au fost compilate baze de date despre asta.

Bazele de date sunt un fel de răspuns de mediu pe care trebuie să-l acumulăm pentru a putea antrena robotul să facă ceva în viitor. În viitor, roboții vor învăța din acest set de stări ale sistemului.

Aplicații non-standard ale rețelelor neuronale

Din păcate, acesta este sfârșitul, nu am mult timp. Vă voi povesti despre acele soluții non-standard care există în prezent și care, conform multor previziuni, vor avea ceva aplicații în viitor.

Ei bine, oamenii de știință de la Stanford au venit recent cu o aplicație foarte neobișnuită a unei rețele neuronale CNN pentru a prezice sărăcia. Ce au făcut?

Conceptul este de fapt foarte simplu. Cert este că în Africa nivelul sărăciei depășește toate limitele imaginabile și de neconceput. Ei nici măcar nu au capacitatea de a colecta date demografice sociale. Prin urmare, din 2005, nu avem deloc date despre ceea ce se întâmplă acolo.

Oamenii de știință au colectat hărți de zi și de noapte de la sateliți și le-au alimentat într-o rețea neuronală într-o perioadă de timp.

Rețeaua neuronală a fost preconfigurată pe ImageNet, adică primele straturi de filtre au fost configurate astfel încât să poată recunoaște unele lucruri foarte simple, de exemplu, acoperișurile caselor, pentru a căuta așezări pe hărțile de zi în comparație cu hărțile nocturne iluminarea aceleiași zone a suprafeței pentru a spune câți bani are populația pentru a-și lumina casele cel puțin pe timpul nopții.

Aici vedeți rezultatele prognozei construite de rețeaua neuronală. Prognoza a fost făcută la diferite rezoluții. Și vedeți - chiar ultimul cadru - date reale culese de guvernul ugandez în 2005.

Puteți observa că rețeaua neuronală a făcut o prognoză destul de precisă, chiar și cu o ușoară schimbare din 2005.

Bineînțeles că au fost efecte secundare. Oamenii de știință care se angajează în învățarea profundă sunt întotdeauna surprinși să descopere diferite efecte secundare. De exemplu, ca și faptul că rețeaua a învățat să recunoască apa, pădurile, șantierele mari, drumurile - toate acestea fără profesori, fără baze de date prefabricate. În general, complet independent. Au existat anumite straturi care au reacționat, de exemplu, la drumuri.

Iar ultima aplicație despre care aș vrea să vorbesc este segmentarea semantică a imaginilor 3D în medicină. În general, imagistica medicală este un domeniu complex cu care este foarte greu de lucrat.

Există mai multe motive pentru aceasta.

Avem foarte puține baze de date. Nu este atât de ușor să găsești o imagine a unui creier, mai mult decât atât, a uneia deteriorate și, de asemenea, este imposibil să o ia de oriunde.
Chiar dacă avem o astfel de poză, trebuie să luăm un medic și să-l forțăm să plaseze manual toate imaginile cu mai multe straturi, ceea ce consumă foarte mult timp și extrem de ineficient. Nu toți medicii au resursele necesare pentru a face acest lucru.
Este necesară o precizie foarte mare. Sistemul medical nu poate face greșeli. La recunoaștere, de exemplu, pisicile nu au fost recunoscute - nu e mare lucru. Și dacă nu am recunoscut tumora, atunci aceasta nu mai este foarte bună. Cerințele pentru fiabilitatea sistemului sunt deosebit de stricte aici.
Imaginile sunt în elemente tridimensionale - voxeli, nu pixeli, ceea ce aduce o complexitate suplimentară dezvoltatorilor de sisteme.

Dar cum s-a rezolvat această problemă în acest caz? CNN a fost dual-stream. O parte a procesat o rezoluție mai normală, cealaltă o rezoluție puțin mai proastă pentru a reduce numărul de straturi pe care trebuie să le antrenăm. Din acest motiv, timpul necesar antrenării rețelei a fost ușor redus.

Unde este folosit: identificarea leziunilor după un impact, pentru a căuta o tumoră în creier, în cardiologie pentru a determina cum funcționează inima.

Iată un exemplu pentru determinarea volumului placentei.

Funcționează automat bine, dar nu suficient de bine pentru a fi lansat în producție, așa că abia începe. Există mai multe startup-uri pentru a crea astfel de sisteme vederii medicale. În general, vor exista o mulțime de startup-uri în deep learning în viitorul apropiat. Ei spun că capitaliștii de risc au alocat mai mult buget startup-urilor de deep learning în ultimele șase luni decât în ultimii 5 ani.

Această zonă se dezvoltă activ, există multe direcții interesante. Trăim vremuri interesante. Dacă sunteți implicat în deep learning, atunci probabil că este timpul să vă deschideți propriul startup.

Ei bine, probabil o voi încheia aici. Mulțumesc foarte mult.

Studenții de la Universitatea de Medicină de Stat Bashkir au decis să folosească rețelele neuronale pentru a prezice anumite boli. Medicii tineri speră că cercetările lor vor aduce beneficii semnificative medicinei republicane. Autorii împărtășesc detaliile cu Elektrogazeta.

O rețea neuronală este un software special, un cod de program care are anumite capacități și „abilități”. O rețea neuronală, ca sistem inteligent, este capabilă să identifice dependențe complexe între datele de intrare și de ieșire, precum și să facă generalizări. De fapt, un astfel de program (dacă este instruit eficient) poate prezice boli”, spune Grigory Gololobov, student în anul trei la BSMU. - Am decis să începem cercetările în acest domeniu cu ulcer peptic stomac și duoden.

De ce această boală anume? Faptul este că un ulcer este foarte periculos datorită complicațiilor sale - perforație gastrică sau sângerare. O complicație neașteptată poate slăbi foarte mult pacientul și poate întârzia recuperarea și poate duce, de asemenea, la rezultat fatal. Este necesară o rețea neuronală pentru a afla care este probabilitatea de sângerare la un anumit pacient. Dacă se știe că această probabilitate este de 50-60 la sută sau mai mare, chirurgul va putea monitoriza pacientul în mod deosebit îndeaproape și se va pregăti din timp pentru orice forță majoră. Acest lucru este valabil mai ales pentru chirurgii tineri, fără experiență.

În munca noastră am folosit software gratuit.

Deci, este o rețea neuronală capabilă să prezică un ulcer și complicațiile acestuia și cât de fiabil va fi diagnosticul? Prima etapă a fost antrenarea rețelei neuronale. În scopuri de instruire, au fost încărcate în program date de la 200 de pacienți reali din spitalele Ufa. În acest caz, informațiile de intrare au fost plângerile pacienților, adică așa-numita anamneză (prezența durerii, localizarea și intensitatea acesteia, nivelul tensiunea arterială, indiferent dacă o persoană fumează etc.) este un întreg set de parametri. Și la ieșire, rețeaua neuronală trebuia să producă un diagnostic - dacă o persoană are un ulcer și care este probabilitatea complicațiilor. Este de remarcat faptul că eșantionul de pacienți a fost împărțit în două părți. Am folosit 70 la sută din eșantion pentru a antrena (instrui) programul și 30 la sută pentru testare.

Care au fost rezultatele intermediare? Până în prezent, precizia predicțiilor a fost în medie de 87 la sută. Rețeaua noastră neuronală prezice ulcerele și consecințele acestora la oameni cu un grad foarte ridicat de încredere. În viitor, intenționăm să îmbunătățim calitatea prognozei și să obținem un instrument cu adevărat de lucru pentru medicii practicieni. Acest lucru necesită mai mulți pacienți și mai multă istorie. În stadiul actual, rețeaua neuronală prezice în sine boala ulcerului peptic. Dar trebuie să învățăm programul să prezică mai eficient complicațiile. Vom face acest lucru în a doua etapă.

După cum a explicat interlocutorul Elektrogazetei, proiectul este implementat sub conducerea doctorului în științe medicale, profesor al BSMU Marat Nurtdinov. Lucrarea se desfășoară în colaborare cu Departamentul de Informatică al USPTU.

Colegii noștri de la Moscova și Novosibirsk folosesc deja în mod activ rețelele neuronale pentru a prezice boli și a pune diagnostice. Dar în Bashkiria suntem „pionieri”, adaugă Grigory Gololobov. - Singurul exemplu de până acum sunt dispozitivele ECG cu „umplutura” software adecvată, care, pe baza cardiogramei efectuate, dau un diagnostic preliminar. Cred că în următorii câțiva ani rețelele neuronale vor deveni ferm stabilite în medicină. O rețea neuronală este o tehnologie foarte eficientă care poate oferi un sprijin semnificativ unui medic. La urma urmei, un astfel de software este, în esență, un sistem inteligent. Din nou, în viitor va fi posibilă introducerea sistemelor software neuronale nu numai în domeniul diagnosticării bolii ulcerului peptic, ci și a altor boli.

Facultate: informatica si stiinta informatiei
Departament: sisteme de monitorizare pe computer
Specialitate: monitorizarea economică și a mediului pe calculator
Tema tezei de master:
„Transmiterea ascunsă a unor cantități mari de informații prin stegcoding fișiere WAV”
Supraveghetor stiintific: Gubenko Natalya Evghenievna, conf. univ. dr.

Rezumate pentru raportul la conferința „Monitorizarea computerelor și tehnologiile informației 2008” cu tema „Aplicarea rețelelor neuronale în medicină”

Utilizarea rețelelor neuronale în medicină este de obicei asociată cu sisteme de diagnosticare și diagnostic diferenţial boli. Cu toate acestea, o rețea neuronală instruită nu numai că știe să recunoască exemplele, dar stochează și informații destul de importante. Prin urmare, unul dintre domeniile serioase de aplicare a rețelelor neuronale este interpretarea datelor medicale. Căutați modele profunde între datele primite și procese patologiceîncepe să rămână în urmă cu dezvoltarea a tot mai multe metode noi, astfel încât utilizarea rețelelor neuronale în acest scop poate fi extrem de benefică.

Rețelele neuronale sunt sisteme neliniare care pot clasifica datele mult mai bine decât cele utilizate în mod obișnuit metode liniare. Când sunt aplicate diagnosticului medical, ele fac posibilă creșterea semnificativă a specificității metodei fără a reduce sensibilitatea acesteia.

O proprietate distinctivă a rețelelor neuronale este că nu sunt programate - nu folosesc nicio regulă de inferență pentru a face un diagnostic, dar sunt antrenate să facă acest lucru prin exemple. În acest sens, rețelele neuronale nu seamănă deloc cu sistemele expert, a căror dezvoltare a avut loc în anii 70 după „victoria” temporară a Inteligenței Artificiale asupra abordării modelării memoriei, recunoașterii modelelor și generalizării, care s-a bazat pe studiu. a organizării neuronale a creierului.

Un exemplu de program de diagnostic este pachetul de diagnostic cardiac dezvoltat de RES Informatica în colaborare cu Centrul de Cercetare Cardiacă din Milano. Programul vă permite să efectuați diagnostice cardiace neinvazive bazate pe recunoașterea spectrelor tahogramelor. O tahograma este o histogramă a intervalelor dintre bătăile succesive ale inimii, iar spectrul acesteia reflectă echilibrul activității simpatice și parasimpatice. sistemul nervos uman, în special în schimbare în diferite boli.

Într-un fel sau altul, se poate afirma deja că rețelele neuronale se transformă într-un instrument de diagnostic cardiac - în Anglia, de exemplu, sunt folosite în patru spitale pentru a preveni infarctul miocardic.

Unul dintre principalele domenii în care se lucrează în prezent cu ajutorul rețelelor neuronale este diagnosticul cancerului de sân. Această boală este cauza decesului fiecărei a nouă femei. Detectarea unei tumori se efectuează în timpul unei analize inițiale cu raze X a sânului (mamografie) și a unei analize ulterioare a unei bucăți de țesut tumoral (biopsie). În ciuda existenței reguli generale diferenţierea între benigne şi neoplasme maligne Conform mamografiei, doar 10 până la 20% din rezultatele biopsiei chirurgicale ulterioare confirmă de fapt prezența cancerului de sân. Din nou avem de-a face cu un caz de specificitate extrem de scăzută a metodei.

Diagnosticul și tratamentul cancerului, precum și dezvoltarea de noi medicamente, reprezintă, fără îndoială, cel mai important domeniu de aplicare a tehnologiilor rețelelor neuronale. Cu toate acestea, recent a existat o conștientizare tot mai mare în rândul cercetătorilor și clinicienilor că progresele viitoare trebuie să fie strâns legate de studiul molecular și motive genetice dezvoltarea bolilor.

Nu întâmplător, în aprilie 1997, experții de la National Institutes of Health (SUA) au făcut recomandări pentru a consolida cercetările legate de identificarea cauzelor. provocând cancer, și dezvoltări care vizează prevenirea bolilor. Rețelele neuronale au fost folosite în mod activ de ceva timp în analiza secvențelor de ADN genomic, în special pentru recunoașterea promotorilor - regiuni care preced genele și sunt asociate cu proteina ARN polimerază, care inițiază transcripția. Ele sunt utilizate pentru a diferenția regiunile codificatoare și necodificatoare ale ADN-ului (exoni și introni) și pentru a prezice structura proteinelor.

Modelele de rețea neuronală predictivă pot fi utilizate în demografie și asistență medicală. A fost creat un sistem expert care prezice dacă o persoană (cu vârsta de 55 de ani sau mai mult) va muri în următorii 10 ani. Prognoza se face pe baza rezultatelor răspunsurilor la 18 întrebări din chestionar. Chestionarul a inclus întrebări precum rasa, sexul, vârsta, obiceiuri proaste, starea civilă, venitul familiei. 4 din 18 întrebări dezvăluie indicele de masă corporală în diferite perioade ale vieții respondentului. Indicele este calculat ca raportul dintre greutate și pătratul înălțimii (un indice mai mare de 27 kg/m este considerat obezitate). O atenție sporită acordată acestui indicator indică importanța acestuia pentru prognoza vieții.

Literatură

Neuroinformatică / A.N Gorban, V.L Dunin-Barkovsky, A.N Kirdin, etc. - Novosibirsk. Întreprinderea Siberiană RAS, 1998. - 296 p.
S.Korotky Rețele neuronale: principii de bază
E. Monakhova, „Neurochirurgi” din Ordynka, PC Week/RE, nr. 9, 1995

7 iulie 2017 la 22:30

Rețelele neuronale diagnostichează problemele cardiace mai precis decât medicii

Medgadgets,
Sănătate tocilar,

Factorul uman provoacă adesea probleme. Acest lucru se aplică producției, situațiilor de zi cu zi, conducerii și, bineînțeles, medicinei. Greșeala unui medic poate însemna pierderea sănătății sau chiar a vieții pacientului, iar medicii greșesc nu atât de rar. Chiar și un profesionist de cel mai înalt standard poate face greșeli - la urma urmei, un specialist poate fi obosit, iritat, concentrându-se asupra problemei mai rău decât de obicei.

În acest caz, mașinile pot veni în ajutor. Același sistem cognitiv IBM Watson, de exemplu, face față destul de bine muncii în domeniul medical (oncologie, citirea cu raze X etc.). Dar există și alte soluții propuse de cercetători independenți. Una dintre aceste soluții a fost creată de oamenii de știință din Stanford conduși de Andrew Angie, un specialist în inteligență artificială destul de cunoscut în domeniul său.

El și colegii săi au dezvoltat un sistem care poate diagnostica aritmia cardiacă folosind o cardiogramă, iar computerul o face mai bine decât un expert. Vorbim despre o rețea neuronală care, după antrenament, este capabilă să diagnosticheze aritmia cu un grad ridicat de acuratețe. În același timp, computerul nu numai că funcționează mai fiabil, dar și rețeaua neuronală este mai rapidă, astfel încât sarcina de analiză a imaginilor medicale și a rezultatelor ECG poate fi transferată pe computer după „ajustarea” finală a sistemului. Medicul poate verifica doar funcționarea platformei software și hardware în cauză și acționează în conformitate cu diagnosticul final.

Acest proiect arată cât de mult poate schimba computerul medicina prin îmbunătățirea diferitelor aspecte ale domeniului. Rețelele neuronale îi ajută deja pe medici să diagnosticheze cancerul de piele, cancerul de sân și bolile oculare. Acum este rândul cardiologiei.

„Îmi place foarte mult cât de repede îmbrățișează oamenii ideea că învățarea profundă poate ajuta la îmbunătățirea acurateței diagnosticului de către medic”, spune Angie. El crede, de asemenea, că capabilitățile sistemelor informatice nu se termină aici, ele pot fi utilizate în multe alte domenii.

Echipa de la Stanford a petrecut mult timp antrenând rețeaua neuronală, astfel încât sistemul să poată identifica anomalii în datele ECG. În același timp, aritmia este o boală foarte periculoasă care poate duce la moarte subită din cauza stopului cardiac. Problema este că aritmia nu este atât de ușor de detectat, așa că pacienții suspectați că o au trebuie uneori să poarte un senzor ECG timp de câteva săptămâni. Și chiar și după aceasta, datele pentru diagnosticarea abaterilor pot să nu fie suficiente.

După cum sa menționat mai sus, rețeaua neuronală a trebuit să fie antrenată folosind exemplul indicatorilor reali ai pacienților din spital. Experții de la Stanford nu au reușit să colecteze singuri câteva zeci de mii de măsurători ECG, așa că au invitat iRhythm, o companie care produce dispozitive portabile ECG, să facă partener. Compania a furnizat 30.000 de înregistrări de 30 de secunde ale rezultatelor măsurătorilor mușchiului inimii la pacienții care suferă de diferite forme aritmii. Pentru a crește acuratețea algoritmului, precum și pentru a compara rezultatele computerului cu rezultatele de diagnosticare ale medicilor, au fost utilizate alte 300 de înregistrări. Au fost analizate simultan atât de aparat, cât și de medici. Apoi rezultatele au fost evaluate de un juriu special, care a inclus 3 cardiologi de top.

Învățarea profundă a unei rețele neuronale a început prin a „hrăni” o cantitate imensă de date. Apoi a fost folosit reglajul fin pentru a crește acuratețea diagnosticului.

Pe lângă specialiștii menționați mai sus, alte grupuri folosesc și învățarea automată pentru a crea sisteme capabile să diagnosticheze aritmia. De exemplu, Eric Horowitz, managing director al Microsoft Research (el însuși este medic) și colegii săi lucrează aproximativ în aceeași direcție ca și specialiștii de la Stanford. În opinia lor, rețelele neuronale pot îmbunătăți cu adevărat calitatea îngrijire medicală pacienți, ajutând medicii să petreacă mai puțin timp în rutină și mai mult timp căutând metode eficiente tratarea clienților lor.

Adevărat, încă nu se vorbește despre implementarea pe scară largă a rețelelor neuronale în spitalele din întreaga lume. Această direcție este la început, dar se dezvoltă din ce în ce mai repede. Spitalele din SUA, Europa și alte țări adoptă noi tehnologii și lucrează cu noi metode de diagnosticare a bolilor. Principala problemă în ceea ce privește răspândirea tehnologiilor menționate este că rețelele neuronale reprezintă un fel de „cutie neagră”. Specialiștii introduc date și obțin un anumit rezultat. Dar cum a fost obținut acest rezultat, ce algoritmi și în ce secvență sunt implicați ar putea să nu fie pe deplin înțelese de creatorii unor astfel de sisteme. Dacă rețelele neuronale ar putea fi făcute mai transparente, iar principiul funcționării lor ar putea fi explicat cu ușurință medicilor, atunci rata de răspândire a acestei tehnologii ar fi mult mai mare.

Etichete:

rețele neuronale
medicii
medicament

Adăugați etichete

Rețele neuronale în medicină

Rețele neuronale pentru sarcini de diagnosticare

Durere acută în piept. Ambulanţă livrează pacientul la camera de urgență, unde medicul de gardă trebuie să pună un diagnostic și să stabilească dacă este într-adevăr un infarct miocardic. Experiența arată că proporția pacienților care au avut un infarct dintre cei internați cu simptome similare este mică. Cu toate acestea, încă nu există metode de diagnosticare precise. Electrocardiograma uneori nu conține semne evidente ale bolii. Câți parametri ai stării pacientului pot ajuta într-un fel sau altul la stabilirea unui diagnostic corect în acest caz? Mai mult de patruzeci. Poate un medic de la camera de urgență să analizeze rapid toți acești indicatori împreună cu relațiile pentru a lua o decizie privind trimiterea pacientului la sectia de cardiologie? Într-o oarecare măsură, tehnologiile rețelelor neuronale ajută la rezolvarea acestei probleme.

Statisticile sunt următoarele: medicul diagnostichează corect infarctul miocardic la 88% dintre pacienți și pune acest diagnostic incorect în 29% din cazuri. Sunt prea multe alarme false (supradiagnosticare). Istoricul aplicării diverse metode Procesarea datelor pentru a îmbunătăți calitatea diagnosticului există de zeci de ani, dar cea mai bună a redus supradiagnosticarea doar cu 3%.

În 1990, William Bakst de la Universitatea din California, San Diego, a folosit o rețea neuronală - un perceptron multistrat - pentru a detecta infarctul miocardic la pacienții care se prezentau la camera de urgență cu durere toracică acută. Scopul său a fost să creeze un instrument care ar putea ajuta medicii care nu sunt capabili să facă față fluxului de date care caracterizează starea unui pacient internat. Un alt obiectiv ar putea fi îmbunătățirea diagnosticului. Cercetătorul și-a complicat sarcina pentru că a analizat datele doar de la acei pacienți care fuseseră deja îndrumați la secția de cardiologie. Bakst a folosit doar 20 de parametri, printre care vârsta, sexul, localizarea durerii, reacția la nitroglicerină, greața și vărsăturile, transpirația, leșinul, frecvența respiratorie, ritmul cardiac, infarcturile anterioare, diabetul, hipertensiunea arterială, distensia venei jugulare, a numărul de caracteristici ECG și prezența unor modificări ischemice semnificative.

Rețeaua a demonstrat o acuratețe de 92% în detectarea infarctului miocardic și a produs doar 4% alarme false, trimițând în mod eronat pacienții care nu sufereau de atac de cord la secția de cardiologie. Deci, există dovezi ale utilizării cu succes a rețelelor neuronale artificiale în diagnosticarea bolilor. Acum este necesar să explicăm în ce parametri se evaluează calitatea diagnosticului în cazul general. Să presupunem că din zece oameni care au de fapt un atac de cord, metoda de diagnostic permite depistarea bolii în opt. Atunci sensibilitatea metodei va fi de 80%. Dacă luăm zece persoane care nu au infarct, iar metoda de diagnosticare îl suspectează la trei persoane, atunci proporția alarmelor false va fi de 30%, în timp ce o caracteristică suplimentară a acesteia - specificul metodei - va fi egală. la 70%.

O metodă de diagnosticare ideală ar trebui să aibă 100% sensibilitate și specificitate - în primul rând, să nu fie dor de o persoană cu adevărat bolnavă și, în al doilea rând, să nu sperii oameni sanatosi. Pentru a vă asigura, puteți și trebuie să încercați, în primul rând, să asigurați 100% sensibilitate a metodei - nu puteți rata boala. Dar acest lucru duce de obicei la o specificitate scăzută a metodei - la mulți oameni, medicii suspectează boli de care pacienții nu suferă de fapt.

Rețele neuronale pentru sarcini de diagnosticare

Rețelele neuronale sunt sisteme neliniare care pot clasifica datele mult mai bine decât metodele liniare utilizate în mod obișnuit. Când sunt aplicate diagnosticului medical, ele fac posibilă creșterea semnificativă a specificității metodei fără a reduce sensibilitatea acesteia.

Să ne amintim că rețeaua neuronală care diagnostica un atac de cord a funcționat cu un set mare de parametri, a căror influență asupra diagnosticului unei persoane nu poate fi evaluată. Cu toate acestea, rețelele neuronale s-au dovedit capabile să ia decizii pe baza tiparelor ascunse pe care le identifică în datele multidimensionale. O proprietate distinctivă a rețelelor neuronale este că nu sunt programate - nu folosesc nicio regulă de inferență pentru a face un diagnostic, dar sunt antrenate să facă acest lucru prin exemple. În acest sens, rețelele neuronale nu seamănă deloc cu sistemele expert, a căror dezvoltare a avut loc în anii 70 după „victoria” temporară a Inteligenței Artificiale asupra abordării modelării memoriei, recunoașterii modelelor și generalizării, care s-a bazat pe studiu. a organizării neuronale a creierului.

Unul dintre cele mai cunoscute sisteme expert dezvoltate, care se baza pe cunoștințele extrase de la experți și pe implementarea procedurilor de inferență, a fost sistemul MYCIN. Acest sistem a fost dezvoltat la Stanford la începutul anilor 70 pentru a diagnostica șoc septic. Jumătate dintre pacienți au murit din cauza ei în 24 de ore, iar medicii au putut detecta sepsisul doar în 50% din cazuri. MYCIN părea a fi un adevărat triumf al tehnologiei de sistem expert - ar putea detecta sepsisul în 100% din cazuri. Cu toate acestea, după o cunoaștere mai atentă a acestui sistem expert, medicii s-au îmbunătățit semnificativ metode tradiționale diagnostice, iar MYCIN și-a pierdut semnificația, devenind un sistem de antrenament. Sistemele experte sunt utilizate numai în cardiologie - pentru analiza electrocardiogramelor. Reguli complexe care formează conținutul principal al cărților pe analiza clinica ECG-urile au fost utilizate de sistemele adecvate pentru a emite o concluzie de diagnostic.

Diagnosticarea este un caz special de clasificare a evenimentelor, iar cea mai mare valoare este clasificarea acelor evenimente care sunt absente în setul de antrenament al rețelei neuronale. Aici se manifestă avantajul tehnologiilor rețelelor neuronale - ele sunt capabile să efectueze o astfel de clasificare, generalizând experiența anterioară și aplicând-o cazurilor noi.

Sisteme specifice

Un exemplu de program de diagnostic este pachetul de diagnostic cardiac dezvoltat de RES Informatica în colaborare cu Centrul de Cercetare Cardiacă din Milano. Programul vă permite să efectuați diagnostice cardiace neinvazive bazate pe recunoașterea spectrelor tahogramelor. O tahogramă este o histogramă a intervalelor dintre bătăile succesive ale inimii, iar spectrul său reflectă echilibrul activităților sistemului nervos simpatic și parasimpatic uman, care se modifică în mod specific în diferite boli.

O altă caracteristică a rețelelor neuronale este, de asemenea, utilizată în medicină - capacitatea lor de a prezice secvențe de timp. S-a remarcat deja că sistemele expert au excelat în analiza ECG. Rețelele neuronale sunt de asemenea utile aici. Qi Zhenhu, Yu Hengwoo și Willis Tompkins de la Universitatea din Wisconsin au dezvoltat un sistem de filtrare a rețelei neuronale pentru electrocardiograme care poate suprima zgomotul neliniar și non-staționar mult mai bine decât metodele utilizate anterior. Faptul este că rețeaua neuronală a prezis bine zgomotul pe baza valorilor sale din momentele anterioare. Iar faptul că rețelele neuronale sunt foarte eficiente pentru prezicerea secvențelor de timp (cum ar fi cursurile de schimb sau cotațiile bursiere) a fost demonstrat în mod convingător de rezultatele unei competiții de programe predictive desfășurate de Universitatea din Santa Fe - rețelele neuronale au ocupat primul loc și au dominat printre cele mai bune metode.

Posibilitate de utilizare a rețelelor neuronale

ECG este o aplicație specifică, deși extrem de importantă. Cu toate acestea, astăzi există multe alte exemple de utilizare a rețelelor neuronale pentru predicții medicale. Se știe că cozile lungi în secțiile de chirurgie cardiacă (de la săptămâni la luni) sunt cauzate de lipsa unităților de terapie intensivă. Nu este posibil să crească numărul acestora din cauza costului ridicat al terapiei intensive (americanii cheltuiesc 70% din fonduri în ultimele 2 săptămâni de viață în acest departament).

Ieșiți numai în mai multe utilizare eficientă fondurile disponibile. Să presupunem că starea pacienților operați într-o anumită zi este atât de gravă încât necesită o ședere îndelungată în secția de terapie intensivă (mai mult de două zile). În tot acest timp, chirurgii vor rămâne inactiv, deoarece nu există unde să pună pacienții nou operați. Este mai înțelept să operați pacienții grav bolnavi înainte de weekend sau sărbători - sălile de operație sunt încă închise în aceste zile, chirurgii se vor odihni, iar pacienții se vor recupera la terapie intensivă. Dar la începutul săptămânii de lucru, este mai bine să operați acei pacienți care vor trebui să rămână în secția de terapie intensivă doar una sau două zile. Apoi paturile de terapie intensivă vor fi eliberate mai repede și vor fi acceptați noi pacienți operați marți și miercuri.

Întrebarea este cum să ghicesc cine va trebui să stea mult timp în bloc terapie intensivă după operație și cine nu. Jack Tu și Michael Guerier de la Spitalul Universitar St. Michael din Toronto au folosit rețelele neuronale pentru a face astfel de predicții. Ca date inițiale au luat doar acele informații despre pacient care erau cunoscute în perioada preoperatorie. Rețineți că în lucrările anterioare care nu folosesc rețele neuronale, informații postoperatorii importante – diverse complicații apărute în timpul intervenției chirurgicale – au fost, de asemenea, folosite ca factori pentru un risc crescut de a rămâne la terapie intensivă.

Tu și Guerir au antrenat un perceptron cu două straturi pentru a împărți pacienții în trei grupuri de risc, luând în considerare vârsta, sexul, starea funcțională a ventriculului stâng, gradul de complexitate al operației viitoare și prezența bolilor concomitente. Dintre acei pacienți clasificați de rețea ca fiind cu risc scăzut de întârziere la terapie intensivă, doar 16,3% au petrecut de fapt mai mult de două zile în ea. În același timp, peste 60% dintre cei pe care rețeaua i-a clasificat drept grup cu risc ridicat au fost la înălțimea prognosticului nefavorabil.

Luptă împotriva cancerului

Am acordat o atenție deosebită boli cardiovasculare, din moment ce ei dețin liderul trist în lista cauzelor de mortalitate. Bolile oncologice sunt pe locul doi. Unul dintre principalele domenii în care se lucrează în prezent cu ajutorul rețelelor neuronale este diagnosticul cancerului de sân. Această boală este cauza decesului fiecărei a nouă femei.

Detectarea unei tumori se efectuează în timpul unei analize inițiale cu raze X a sânului (mamografie) și a unei analize ulterioare a unei bucăți de țesut tumoral (biopsie). În ciuda existenței unor reguli generale de diferențiere a neoplasmelor benigne și maligne, conform mamografiei, doar 10 până la 20% din rezultatele biopsiei chirurgicale ulterioare confirmă de fapt prezența cancerului de sân. Din nou avem de-a face cu un caz de specificitate extrem de scăzută a metodei.

Cercetătorii de la Universitatea Duke au instruit o rețea neuronală pentru a recunoaște mamografiile țesutului malign pe baza a opt caracteristici cu care se confruntă în mod obișnuit radiologii. S-a dovedit că rețeaua este capabilă să rezolve sarcina cu o sensibilitate de aproximativ 100% și o specificitate de 59% (comparativ cu 10-20% pentru radiologi). Câte femei cu tumori benigne pot evita stresul de a face o biopsie dacă folosești această rețea neuronală! La Clinica Mayo (Minnesota), o rețea neuronală a analizat rezultatele examenul cu ultrasunete sân și a oferit o specificitate de 40%, în timp ce pentru aceleași femei specificitatea concluziei radiologilor a fost zero. Nu este adevărat că succesul utilizării tehnologiilor rețelelor neuronale nu pare deloc întâmplător?

După tratamentul pentru cancerul de sân, sunt posibile recidive tumorale. Rețelele neuronale ajută deja să le prezică în mod eficient. Cercetări similare sunt efectuate la Universitatea din Texas Medical School. Rețelele instruite și-au demonstrat capacitatea de a identifica și ține cont de relații extrem de complexe ale variabilelor predictive, în special de conexiunile lor triple, pentru a îmbunătăți capacitatea de predicție.

Posibilitățile de utilizare a rețelelor neuronale în medicină sunt variate, iar arhitectura lor este variată. Pe baza prognozei rezultatelor pe termen lung ale tratării bolii cu o metodă sau alta, una dintre ele poate fi preferată. Un rezultat semnificativ în prezicerea tratamentului cancerului ovarian (o boală la fiecare șaptezeci de femei) a fost obținut de celebrul specialist olandez Herbert Cappen de la Universitatea din Nimegen (el folosește în munca sa nu perceptroni multistrat, ci așa-numitele Mașini Boltzmann - reţele neuronale pentru estimarea probabilităţilor).

Iată un exemplu de altul cancer. Cercetătorii de la o școală de medicină din Kagawa (Japonia) au antrenat o rețea neuronală care a prezis aproape cu exactitate rezultatele rezecției hepatice la pacienții cu carcinom hepatocelular pe baza datelor preoperatorii.

La Institutul de Cercetare Inovatoare și Termonucleare Trinity (TRINITI), ca parte a proiectului implementat de Ministerul Științei de a crea sisteme de consultanță pentru rețele neuronale, a fost dezvoltat un program de rețele neuronale care selectează o metodă de tratament pentru cancerul de piele cu celule bazale (bazocelulare). carcinom) bazat pe un prognostic pe termen lung pentru dezvoltarea recăderii. Numărul cazurilor de carcinom bazocelular, o boală oncologică a persoanelor cu piele albă cu piele subțire, reprezintă o treime din toate tipurile de cancer.

Diagnosticul uneia dintre formele de melanom, o tumoare care este uneori dificil de distins de forma pigmentată a carcinomului bazocelular, a fost implementat folosind simulatorul de rețea neuronală Multineuron, dezvoltat la Centrul de Informatică SOAN din Krasnoyarsk, sub conducerea lui A.N .

Rețelele neuronale pot fi, de asemenea, utilizate pentru a prezice efectele diferitelor tratamente dezvoltate. Ele sunt deja folosite cu succes în chimie pentru a prezice proprietățile compușilor pe baza structurii lor moleculare. Cercetătorii de la Institutul Național al Cancerului din Statele Unite au folosit rețelele neuronale pentru a prezice mecanismul de acțiune al medicamentelor utilizate în chimioterapie pentru tumorile maligne. Rețineți că există milioane de molecule diferite care trebuie testate pentru activitatea lor anticanceroasă. Specialiștii Institutului de Cancer au împărțit medicamentele oncologice cunoscute în șase grupe, în funcție de mecanismul de acțiune al acestora asupra celulelor canceroase și au instruit rețele multistrat pentru a clasifica noile substanțe și a le recunoaște efectele. Rezultatele experimentelor privind suprimarea creșterii celulelor din diferite tumori au fost utilizate ca date inițiale. Clasificarea rețelelor neuronale face posibilă determinarea care dintre sutele de molecule testate zilnic merită studiate în continuare în experimente foarte costisitoare in vitro și in vivo. Rețelele Kohonen au fost, de asemenea, folosite pentru a rezolva o problemă similară. Aceste rețele neuronale nesupravegheate și auto-organizate au împărțit substanțele într-un număr necunoscut de grupuri și, prin urmare, au permis cercetătorilor să identifice substanțe cu mecanisme de acțiune citotoxice noi.

Neurosisteme, genetică și molecule

Diagnosticul și tratamentul cancerului, precum și dezvoltarea de noi medicamente, reprezintă, fără îndoială, cel mai important domeniu de aplicare a tehnologiilor rețelelor neuronale. Cu toate acestea, recent a existat o conștientizare tot mai mare în rândul cercetătorilor și medicilor că progresele viitoare trebuie să fie strâns legate de studiul cauzelor moleculare și genetice ale bolii.

Nu întâmplător, în aprilie 1997, experții de la National Institutes of Health (SUA) au făcut recomandări pentru consolidarea cercetărilor legate de identificarea cauzelor cancerului și a dezvoltărilor care vizează prevenirea bolilor. Rețelele neuronale au fost folosite în mod activ de ceva timp în analiza secvențelor de ADN genomic, în special pentru recunoașterea promotorilor - regiuni care preced genele și sunt asociate cu proteina ARN polimerază, care inițiază transcripția. Ele sunt utilizate pentru a diferenția regiunile codificatoare și necodificatoare ale ADN-ului (exoni și introni) și pentru a prezice structura proteinelor.

În 1996, a fost făcută o descoperire senzațională care a conectat cercetare de bazăîn genetica moleculară cu problema patogenezei și tratamentului celei mai frecvente boli oncologice – cancerul de piele bazocelular. Cercetătorii au descoperit o genă pe al nouălea cromozom uman (PTC), mutații în care, spre deosebire de gena p53, sunt cauzate de expunerea la radiații ultraviolete și provoacă dezvoltarea tumorii. Cheia descoperirii a fost studiul așa-numitei gene patch, modificări în care au fost stimulate de defecte în dezvoltarea muștei fructelor și de faptul că copiii care suferă și de defecte ale dezvoltării osoase (sindromul nevului bazal) au adesea celule bazale multiple. carcinoame.

Acum geneticienii și medicii sunt plini de speranțe de a găsi medicament tratamentul carcinomului bazocelular sau folosiți metode de chirurgie genetică și înlocuiți cu acestea metode de tratament necruțătoare precum laserul convențional, cu raze X și criochirurgia. Ar putea fi utile rețelele neuronale pentru această cercetare? În special, este posibil să le folosim pentru a evalua impactul posibil al unei anumite mutații asupra modificărilor proprietăților proteinelor corespunzătoare sau pentru a evalua valoarea sa prognostică, de exemplu, pentru dezvoltarea recidivei cancerului de sân?

Dacă acest lucru s-ar putea face, atunci rețelele neuronale ar reduce semnificativ zona de căutare pentru biologi moleculari, adesea „prin atingere” efectuând experimente foarte costisitoare pentru a evalua rolul mutațiilor în molecula de ADN. Să ne amintim că dezvoltarea tumorilor maligne este cauzată de creșterea și diviziunea necontrolată a celulelor. Genomul uman, care conține informații despre toate proteinele produse în organism, are aproximativ trei miliarde de nucleotide. Dar doar 2-3% dintre ele codifică de fapt proteine - restul sunt necesare ADN-ului însuși pentru a menține structura corectă, replicarea și alte lucruri.

Secvențele de ADN genomic pot fi împărțite aproximativ în trei componente: prima conține numeroase copii ale fragmentelor identice (ADN satelit); al doilea conţine secvenţe moderat repetitive împrăştiate în întregul genom; iar în al treilea există ADN unic. În ADN-ul satelit, diferitele copii sunt reprezentate inegal - numărul lor variază de la sute la milioane. Prin urmare, ei sunt de obicei împărțiți în mini- și microsateliți.

Este remarcabil faptul că distribuția microsateliților în întregul genom este atât de specifică încât poate fi utilizat ca analog al amprentelor pentru oameni. De asemenea, se crede că această distribuție poate fi folosită pentru a diagnostica diferite boli.

Într-o formă ascunsă, repetările secvențelor de nucleotide joacă, de asemenea, un rol important în secvențele unice de ADN. Conform ipotezei lui Francis Crick, evoluția ADN-ului începe de la structuri cvasiperiodice, iar dacă vom putea găsi repetări ascunse, vom afla unde s-au produs mutațiile care au determinat evoluția, ceea ce înseamnă că vom găsi atât cele mai vechi, cât și cele mai importante regiuni, mutațiile. în care sunt cele mai periculoase. Distribuția repetărilor criptice este, de asemenea, strâns legată de structura și funcția proteinelor codificate de secvența corespunzătoare.

TRINITY a dezvoltat un sistem care folosește modificări ale rețelelor neuronale Hopfield pentru a căuta repetări ascunse și pentru a evalua rolul mutațiilor în secvențele ADN. Se speră că această abordare poate fi folosită pentru a generaliza analiza spectrală secvențele de date sunt foarte vedere generală, de exemplu, pentru analiza electrocardiogramelor.

Rețelele neuronale mătură planeta

Geografia grupurilor de cercetare care folosesc rețelele neuronale pentru a dezvolta aplicații medicale este foarte largă. Nu există nimic de spus despre SUA - cercetări similare se desfășoară la universitățile din fiecare stat, iar direcția lor principală este cancerul de sân. Dar universitățile fac asta și academiile militare? În Republica Cehă, Jiri Šima a dezvoltat teoria antrenării rețelelor neuronale capabile să lucreze eficient cu așa-numitele date de interval (când nu sunt cunoscute valorile parametrilor, ci intervalul modificării acestuia) și le folosește în diverse aplicatii medicale. În China, angajații Institutului de Energie Atomică au instruit o rețea neuronală pentru a distinge pacienții cu boli ușoare și severe ale epiteliului esofagian de cei care suferă de cancer esofagian, pe baza analizei elementare a unghiilor.

În Rusia, la Institutul de Fizică Nucleară de la Universitatea de Stat din Moscova, rețelele neuronale sunt folosite pentru a analiza bolile organelor auditive.

În cele din urmă, în Australia, George Christ a folosit teoria rețelelor neuronale pentru a construi prima ipoteză despre cauze sindrom misterios moartea subită a nou-născuților.

În loc de o concluzie

Desigur, articolul conține departe de lista completa exemple de utilizare a tehnologiilor rețelelor neuronale artificiale în medicină. Lăsate deoparte sunt psihiatrie, traumatologie și alte secțiuni în care rețelele neuronale sunt testate pentru rolul de asistent diagnostic și clinician. Nu totul este roz, desigur, în căsătoria dintre noile tehnologii informatice și asistența medicală. Programele de rețea neuronală sunt uneori extrem de costisitoare pentru implementarea pe scară largă în clinică (de la mii la zeci de mii de dolari), iar medicii sunt destul de sceptici cu privire la orice inovație informatică. Concluzia emisă folosind o rețea neuronală trebuie să fie însoțită de explicații sau comentarii acceptabile.

Dar mai sunt motive de optimism. Este mult mai ușor să stăpânești și să aplici tehnologiile rețelelor neuronale decât să studiezi statisticile matematice sau logica fuzzy. Este nevoie de luni, nu de ani, pentru a crea un sistem medical de rețea neuronală. Și parametrii sunt foarte încurajatori - să ne amintim încă o dată specificitatea ridicată a diagnosticului.

Și o altă speranță pentru cooperare este cuvântul „neuron” în sine. La urma urmei, este atât de familiar medicilor...

DEFINIŢIEOPTIMĂDIMENSIUNEREȚELE NEURALEVERSO

DISTRIBUȚIIPRINCOMPARAŢIEMEDIUVALORI

MODULECANTARESINAPSE

Se propune o nouă „curbă de învățare”. graficul modulului de greutate medie

sinapsă pe dimensiunea rețelei neuronale. Experimentele arată că minimele locale și

ieșirile la asimptotele acestui indicator corespund bine proprietăților

curbe tradiționale de învățare. dependențe ale erorilor de învățare și generalizare pe

dimensiunea rețelei neuronale. Indicatorul poate fi folosit pentru a determina optimul

dimensiunea rețelei în absența unui eșantion de testare.

1. Problemădefinițiioptimstructurilorrețele neuronale

Când utilizați rețele neuronale artificiale, o sarcină importantă este

găsirea dimensiunii (structurii) optime a rețelei. acest număr de straturi ascunse

neuronii și neuronii în straturi care vor da abilități maxime de generalizare, i.e.

eroare minimă de generalizare, mai ales în absenţă

proba de testare independentă sau imposibilitatea divizării artificiale a probei

date pentru pregătirea și testarea pieselor din cauza volumului total de date insuficient.

Prin urmare, paradigma „curbelor de învățare” este utilizată pe scară largă.

dependențe ale erorilor de învățare și generalizare de dimensiunea rețelei neuronale și a celei de antrenament

mostre . Optimul corespunde minimelor locale sau momentelor de ieșire

grafice pentru asimptote. Tehnici formale de extrapolare a unor astfel de grafice

de asemenea, ne permit să evaluăm ceea ce este necesar și suficient pentru a atinge maximul

abilități de generalizare, volumele de mostre de antrenament în cazul inițiale

volume insuficiente de date de eșantion.

O altă clasă de curbe de învățare sunt dependențele proprietăților „interne”.

rețeaua neuronală pe dimensiunea sa, care este apoi comparată cu dinamica erorii de generalizare.

Opțiuni. analiza reprezentării interne a sarcinii,

legătura teoretică între eroarea de învățare și suma maximă a modulelor de greutate a sinapselor,

ajungând la neuronul rețelei, criteriul NIC care funcționează cu gradienți țintă

funcțiile și matricea hessiană a rețelei antrenate și vă permite să evaluați diferența dintre

erori de învățare și generalizare. Astfel de criterii fac posibil să se facă fără

eșantion de testare independentă.

Lucrarea propune o nouă versiune a curbei de învățare. dependența mediei

modulul greutății sinapselor pe dimensiunea rețelei neuronale. Mai exact, în experimentele mai departe vor exista

a fost utilizată lungimea vectorului greutăților sinapselor rețelei (calculată în

norma euclidiană), împărțită la numărul total de sinapse, pentru a crește influența

cele mai mari ponderi modulo și reasigurarea rezultată pe baza

rezultate despre indezirabilitatea unor greutăți precis mari ale sinapselor.

Acest criteriu nu este cuprinzător, deoarece există eterogenitate

seturi de sinapse de rețea de la strat la strat (pentru rețelele mici s-a observat adesea

diferenţa statistică în modulele medii şi variaţiile ponderilor ieşirii şi

stratul ascuns al rețelei). Eterogenitatea structurală a rețelelor stratificate este cunoscută și este deja luată în considerare de algoritmii de învățare, dar influența acestui fapt nu este studiată aici.

2. DatePentruexperimentalverificăriŞirezultate

Au fost prelevate 6 baze de date reale cu probe de testare independente

(pentru a nu introduce o eroare în estimarea erorii de generalizare prin împărțire

set de antrenament în părți de instruire și testare). Baze de date preluate

AnnThyroid, Opt digits, Pen digits, Satelit, Statlog Shuttle de la UCI KDD Database

Depozitul http://kdd.ics.uci.edu/ și baza de date Gong, disponibile pe pagină

http://www-ee.uta.edu/eeweb/IP/training_data_files.htm. Toate cele 6 probleme reprezintă

probleme de clasificare cu un profesor într-unul sau altul număr de clase.

Toate aceste sarcini au semnificative, de la câteva mii la câteva

zeci de mii de vectori, dimensiunea eșantionului de antrenament. această condiție necesare pentru

garantarea reprezentativității eșantionului (și, în consecință, prezența unui clar

asimptotice în învățare și erori de generalizare după atingere și depășire

rețea neuronală de dimensiune adecvată sarcinii) și absența unui efect

recalificare odată cu creșterea în continuare a dimensiunii rețelei neuronale (zgomot și distorsiune în

setul de antrenament, dacă există, nu poate fi reținut

rețeaua neuronală datorită numărului semnificativ, cu o dimensiune mare a eșantionului, a acestora

distorsiuni, și nu cazurile izolate ale acestor distorsiuni).

Am folosit rețele cu un singur strat ascuns, numărul de neuroni în care

a variat de la 1 la 25. În fiecare sarcină, pentru fiecare dimensiune a rețelei neuronale, 25

rețele (cu diferite valori aleatorii inițiale ale sinapselor), ale căror proprietăți

au fost apoi mediate pentru a construi curbele de învățare.

Erori medii de învățare și generalizare (exprimate în procente)

exemple rezolvate incorect în cadrul mărimii corespunzătoare a eșantionului);

Greutatea medie pătrată a sinapsei în rețea. indicator propus;

Maximul dintre sumele per-neuron ale modulelor de greutate ale sinapselor. indicator .

Numărul de neuroni din straturile ascunse ale rețelelor este reprezentat de-a lungul axelor ordonatelor. Valori

indicatorii care reflectă proprietățile greutăților sinapselor sunt redimensionați pentru

aducerea erorilor de învățare și generalizare într-o serie de valori, ceea ce a fost

cauzate de limitările programului de graficare (incapacitatea de a introduce două

cântare). În jurul fiecărui punct se află varianța eșantionului corespunzător de 25

valori experimentale.

Se poate observa că noul indicator ajunge la asimptotă (și la stabilizare.

reducerea varianței, astfel încât „muștații” din jurul unui punct să fie acoperite de punctul însuși) puțin

rămâne în urmă cu rezultatul erorilor de învățare și al generalizării la asimptote, de ex. un pic

este reasigurat în ceea ce privește dimensiunea necesară a rețelei, ceea ce este doar posibil

bun venit pe baza rezultatelor teoretice: creșterea numărului de căi

transmisia semnalului prin rețea se poate reduce greutăți maxime sinapsele datorate

reproducerea canalelor unde amplificarea era necesară anterior.

Indicatorul relevă și eroarea de generalizare atingând optimul în toate cele două

cazuri de recalificare (AnnTyroid, Gong tasks), când cu creștere

dimensiunea rețelei, de la un anumit punct eroarea de generalizare începe să crească din nou.

momentul stabilizării și ieșirea indicatorului la asimptotă este ușor întârziată

comparativ cu momentul atingerii erorii minime în sarcina AnnThyroid, și în sarcină

Gong local minim cu o dimensiune a rețelei de 6 neuroni se potrivește exact

eroare minimă de generalizare. Indicatorul din problema Gong nu are un clar

comportamentul extrem pronunțat este semnificativ instabil pe întreaga gamă

am studiat dimensiunile rețelei neuronale. de la 1 la 25 de neuroni.__

Minimele locale ale indicatorului (șase neuroni pentru sarcina Gong, trei pentru

Opt digits tasks, two for Satellite task) poate indica, de asemenea, eroarea optimă

generalizări (problema Gong) sau la niveluri structurale de complexitate a sarcinii (acestea din urmă

coincide cu pauzele din graficele erorilor de invatare si generalizare). Acesta din urmă poate

permit identificarea momentelor de tranziție din zona de adecvare

modele cu parametri mici ale statisticii clasice (regresie liniară,

clasificator Bayes discriminant liniar sau bazat pe scor

matrice de covarianță pentru fiecare clasă) la zonele de adecvare

modele multiparametrice (rețele neuronale, aproximări polinomiale)

sau metode neparametrice (statistici neparametrice bazate pe nucleare

aproximări ale densităţilor de probabilitate, metoda funcţiilor potenţiale).

De asemenea, indicatorul își reduce dispersia pe un set de eșantioane puțin mai repede decât

suma maximă per-neuron a modulelor greutăților sinapselor, care în realitate

vă va permite să vă descurcați cu mai puține încercări de antrenament pentru fiecare dimensiune

rețele neuronale, sau chiar fără a fi nevoie de o medie statistică a proprietăților

mai multe rețele neuronale de aceeași dimensiune pentru a obține o imagine clară asupra graficelor

ca cele date în această lucrare.

După cum se poate observa din graficele experimentale, atunci când alegeți dimensiunea optimă

Nu este suficient ca o rețea să se bazeze doar pe valoarea erorii de antrenament. nu poate fi detectat

apariția reantrenării rețelei neuronale, astfel comparând comportamentul mai multor

indicatorii (așa cum sa făcut în graficele de mai sus) permit fie mai mult

pentru a confirma în mod rezonabil alegerea dimensiunii rețelei neuronale sau pentru a vedea posibilul

existența unor probleme (de exemplu, inadecvarea modelului din cauza apariției

recalificare). Capacitatea de a face fără verificarea unei probe de testare permite

antrenați rețeaua neuronală folosind întregul set disponibil de exemple, fără a o împărți în

fragmente de antrenament și de testare și așteptați ca numărul de instruire

de exemplu, riscul supraantrenării rețelei neuronale va scădea și el.

3. Concluzie

Este propusă o nouă versiune a curbei de învățare. dependența de jајяj__valoarea medie

modulul greutății sinapselor din rețea pe dimensiunea rețelei neuronale. S-a demonstrat experimental că cu

folosindu-l, este posibil să se determine în mod destul de fiabil dimensiunea optimă a rețelei,

asigurând o eroare minimă de generalizare. Indicatorul vă permite să faceți fără

calculul erorii de generalizare pe un eșantion de testare independent, permite variații

prin alegerea unei norme (modul de greutate, valoarea pătrată medie,.) și luarea în considerare

eterogenitatea structurală a rețelei pentru a maximiza abilitățile de predicție.

De asemenea, acest criteriu poate fi aplicat la predarea copiilor în creștere

rețelele neuronale, cum ar fi rețelele neuronale de corelație în cascadă și ambele în etapa de selecție

neuron candidat antrenat pentru inserarea în rețeaua neuronală (împreună cu utilizarea

valorile funcției țintă pentru acest neuron), și după introducerea celui selectat

neuron în rețea și corectarea acestuia din urmă (nu singurul neuron candidat selectat

este inserat în rețeaua neuronală și sunt inserați cei mai buni neuroni posibili

fiecare în propria copie a rețelei neuronale și aceste copii completate sunt comparate între ele

aceeași atât în ceea ce privește valoarea funcției obiectiv cât și indicatorul propus).