İyi günler, adım Natalia Efremova ve NtechLab'da araştırma görevlisi olarak görev yapıyorum. Bugün sinir ağı türlerinden ve uygulamalarından bahsedeceğim.

Öncelikle şirketimiz hakkında birkaç söz söyleyeceğim. Şirket yeni, belki birçoğunuz henüz ne yaptığımızı bilmiyorsunuz. Geçen yıl MegaFace yarışmasını kazandık. Bu uluslararası bir yüz tanıma yarışmasıdır. Aynı yıl firmamız açıldı, yani yaklaşık bir yıldır, hatta biraz daha fazla süredir piyasadayız. Bu doğrultuda yüz tanıma ve biyometrik görüntü işleme konusunda lider firmalardan biriyiz.

Raporumun ilk kısmı sinir ağlarına aşina olmayanlara yönelik olacak. Doğrudan derin öğrenmeyle ilgileniyorum. 10 yılı aşkın süredir bu alanda çalışıyorum. On yıldan biraz daha kısa bir süre önce ortaya çıkmasına rağmen, derin öğrenme sistemine benzeyen sinir ağlarının bazı temelleri vardı.

Son 10 yılda derin öğrenme ve bilgisayarlı görme inanılmaz bir hızla gelişti. Bu alanda yapılan önemli olan her şey, son yıllar 6.

hakkında konuşacağım pratik yönler: Bunu yapan bir şirkette çalıştığım için görüntü ve video işleme, görüntü ve yüz tanıma için derin öğrenme açısından nerede, ne zaman, neyi kullanmalıyım. Size biraz duygu tanıma ve oyunlarda ve robotikte hangi yaklaşımların kullanıldığı hakkında bilgi vereceğim. Ayrıca bilimsel kurumlardan yeni yeni çıkan ve pratikte hala çok az kullanılan derin öğrenmenin standart dışı uygulamasından, nasıl uygulanabileceğinden ve uygulamanın neden zor olduğundan bahsedeceğim.

Rapor iki bölümden oluşacak. Çoğu kişi sinir ağlarına aşina olduğu için öncelikle sinir ağlarının nasıl çalıştığını, biyolojik sinir ağlarının ne olduğunu, nasıl çalıştığını bilmenin bizim için neden önemli olduğunu, yapay sinir ağlarının ne olduğunu ve hangi mimarilerin hangi alanlarda kullanıldığını hızlıca ele alacağım. .

Hemen özür dilerim, biraz İngilizce terminolojiye geçeceğim çünkü Rusçada ne dendiğini bile bilmiyorum. Belki sen de.

Bu nedenle raporun ilk bölümü evrişimsel sinir ağlarına ayrılacak. Yüz tanımadan bir örnek kullanarak evrişimli sinir ağlarının (CNN) ve görüntü tanımanın nasıl çalıştığını size anlatacağım. Derin öğrenme sistemleri örneğini kullanarak tekrarlayan sinir ağları (RNN) ve pekiştirmeli öğrenme hakkında size biraz bilgi vereceğim.

Sinir ağlarının standart dışı bir uygulaması olarak CNN'in tıpta voksel görüntülerini tanıma konusunda nasıl çalıştığından, sinir ağlarının Afrika'daki yoksulluğu tanımak için nasıl kullanıldığından bahsedeceğim.

Sinir ağları nelerdir

Sinir ağları oluşturmanın prototipi, garip bir şekilde, biyolojik sinir ağlarıydı. Birçoğunuz sinir ağının nasıl programlanacağını biliyor olabilirsiniz ama nereden geldiğini sanırım bazılarınız bilmiyor. Bize gelen duyusal bilgilerin üçte ikisi görsel algı organlarından gelir. Beynimizin yüzeyinin üçte birinden fazlası en önemli iki görsel alan tarafından işgal edilmiştir; dorsal görsel yol ve ventral görsel yol.

Dorsal görme yolu birincil görme alanımız olan tepemizde başlar ve yukarıya doğru devam eder; ventral yol ise başımızın arkasından başlayıp yaklaşık olarak kulaklarımızın arkasında biter. İçimizde meydana gelen tüm önemli kalıp tanıma, farkında olduğumuz anlam taşıyan her şey tam burada, kulaklarımızın arkasında gerçekleşir.

Bu neden önemli? Çünkü çoğu zaman sinir ağlarını anlamak gerekiyor. Birincisi, herkes bundan bahsediyor ve ben buna zaten alışkınım ve ikincisi, gerçek şu ki, sinir ağlarında görüntü tanıma için kullanılan tüm alanlar bize tam olarak ventral görsel yoldan geliyor; bölge kesin olarak tanımlanmış işlevinden sorumludur.

Görüntü bize retinadan gelir, bir dizi görsel bölgeden geçer ve zamansal bölgede sonlanır.

Geçen yüzyılın 60'lı yıllarında, beynin görsel alanlarının incelenmesi henüz yeni başladığında, fMRI olmadığı için ilk deneyler hayvanlar üzerinde yapıldı. Beyin, çeşitli görsel alanlara yerleştirilen elektrotlar kullanılarak incelendi.

İlk görsel alan 1962 yılında David Hubel ve Thorsten Wiesel tarafından incelenmiştir. Kediler üzerinde deneyler yaptılar. Kedilere çeşitli hareketli nesneler gösterildi. Beyin hücrelerinin tepki verdiği şey, hayvanın tanıdığı uyarıydı. Şimdi bile bu acımasız yöntemlerle birçok deney yapılıyor. Ama yine de bu en etkili yol beynimizdeki her küçük hücrenin ne yaptığını öğrenin.

Aynı şekilde artık derin öğrenmede kullandığımız görsel alanların daha birçok önemli özelliği keşfedildi. En önemli özelliklerinden biri, birincil görme alanlarından temporal loblara, yani daha sonraki görme alanlarına doğru ilerledikçe hücrelerimizin alıcı alanlarının artmasıdır. Alıcı alan, beynimizin her hücresinin işlediği görüntünün bir parçasıdır. Her hücrenin kendine ait alıcı alanı vardır. Muhtemelen hepinizin bildiği gibi, sinir ağlarında da aynı özellik korunur.

Ayrıca alıcı alanlar arttıkça sinir ağlarının tipik olarak tanıdığı karmaşık uyaranlar da artar.

Burada, uyaranların karmaşıklığının örneklerini, V2, V4 alanlarında tanınan farklı iki boyutlu şekilleri ve makak maymunlarındaki zamansal alanların çeşitli kısımlarını görüyorsunuz. Ayrıca bir dizi MRI deneyi de yürütülmektedir.

Burada bu tür deneylerin nasıl yapıldığını görebilirsiniz. Bu, çeşitli nesneleri tanırken maymunun IT korteks bölgelerinin 1 nanometrelik bir kısmı tanındığı yer vurgulanmıştır.

Özetleyelim. Görsel alanlardan benimsemek istediğimiz önemli bir özellik, alıcı alanların boyutunun artması ve tanıdığımız nesnelerin karmaşıklığının artmasıdır.

Bilgisayar görüşü

Bunu bilgisayarlı görmeye uygulamayı öğrenmeden önce genel olarak bu şekilde mevcut değildi. Her durumda, şu anki kadar iyi çalışmıyordu.

Tüm bu özellikleri sinir ağına aktarıyoruz ve şimdi açmazsanız çalışıyor küçük inziva Daha sonra konuşacağım veri kümelerine.

Ama önce en basit algılayıcı hakkında biraz bilgi verelim. Beynimizin görüntüsünde ve benzerliğinde de oluşur. Beyin hücresine benzeyen en basit element nörondur. Varsayılan olarak soldan sağa, bazen de aşağıdan yukarıya doğru düzenlenen giriş öğelerine sahiptir. Solda nöronun giriş kısımları, sağda ise nöronun çıkış kısımları bulunmaktadır.

En basit algılayıcı yalnızca en basit işlemleri gerçekleştirebilir. Daha karmaşık hesaplamalar yapabilmek için aşağıdaki özelliklere sahip bir yapıya ihtiyacımız var: çok sayıda gizli katmanlar

Bilgisayarla görme durumunda daha da fazla gizli katmana ihtiyacımız var. Ve ancak o zaman sistem gördüklerini anlamlı bir şekilde tanıyacaktır.

Bu yüzden size yüz örneğini kullanarak görüntü tanıma sırasında neler olduğunu anlatacağım.

Bizim için bu resme bakıp heykelin tam yüzünü gösteriyor demek oldukça basittir. Ancak 2010'dan önce bu, bilgisayarla görme açısından inanılmaz derecede zor bir işti. Resimde bulmak istediğimiz nesneyi kelimeler olmadan anlatmanın ne kadar zor olduğunu muhtemelen bu konuyla daha önce ilgilenenler biliyordur.

Bunu geometrik bir şekilde yapmamız, nesneyi tanımlamamız, nesnenin ilişkilerini, bu parçaların birbiriyle nasıl ilişki kurabileceğini tanımlamamız, sonra bu görüntüyü nesne üzerinde bulmamız, karşılaştırmamız ve kötü tanıdığımız şeyi elde etmemiz gerekiyordu. Genellikle yazı tura atmaktan biraz daha iyiydi. Şans seviyesinden biraz daha iyi.

Artık işler bu şekilde yürümüyor. Görüntümüzü piksellere veya belirli parçalara bölüyoruz: 2x2, 3x3, 5x5, 11x11 piksel - sinir ağına giriş katmanı olarak hizmet ettikleri sistemin yaratıcıları için uygun.

Bu giriş katmanlarından gelen sinyaller, sinapslar kullanılarak katmandan katmana iletilir; her katmanın kendine özgü katsayıları vardır. Böylece yüzü tanıdığımızı anlayana kadar katmandan katmana, katmandan katmana geçiyoruz.

Geleneksel olarak, tüm bu parçalar üç sınıfa ayrılabilir; bunları X, W ve Y olarak göstereceğiz; burada X bizim girdi görüntümüzdür, Y bir etiket kümesidir ve ağırlıklarımızı almamız gerekir. W'yi nasıl hesaplarız?

X ve Y'miz göz önüne alındığında, bu basit görünüyor. Bununla birlikte, yıldız işaretiyle gösterilen şey çok karmaşık, doğrusal olmayan bir işlemdir ve ne yazık ki bunun tersi de yoktur. Denklemin verilen 2 bileşeni olsa bile bunu hesaplamak çok zordur. Bu nedenle, yavaş yavaş, deneme yanılma yoluyla, W ağırlığını seçerek hatanın mümkün olduğu kadar, tercihen sıfıra eşit olmasını sağlamamız gerekir.

Bu süreç yinelemeli olarak gerçekleşir, bize yeterince uygun olan W ağırlığı değerini bulana kadar sürekli azaltırız.

Bu arada çalıştığım hiçbir sinir ağı sıfıra eşit hata elde etmedi ama oldukça iyi çalıştı.

Bu, 2012 yılında uluslararası ImageNet yarışmasını kazanan ilk ağdır. Bu sözde AlexNet'tir. Bu, evrişimli sinir ağlarının varlığını ilk kez ilan eden ağdır ve o günden bu yana evrişimli sinir ağları, tüm uluslararası yarışmalardaki konumlarından asla vazgeçmemiştir.

Bu ağ oldukça küçük olmasına rağmen (sadece 7 gizli katmanı vardır), 60 milyon parametreli 650 bin nöron içerir. Gerekli ağırlıkları bulmayı yinelemeli olarak öğrenmek için birçok örneğe ihtiyacımız var.

Sinir ağı bir resim ve etiket örneğinden öğrenir. Çocukluğumuzda bize “bu bir kedi, bu bir köpek” öğretildiği gibi, sinir ağları da bu konuda eğitiliyor. büyük miktarlar resimler. Ancak gerçek şu ki, 2010 yılına kadar görüntüleri tanımak için bu kadar çok sayıda parametreyi öğretebilecek yeterince büyük bir veri seti yoktu.

Bu zamandan önce var olan en büyük veritabanları, yalnızca 20 nesne kategorisine sahip olan PASCAL VOC ve Kaliforniya Teknoloji Enstitüsü'nde geliştirilen Caltech 101'di. Sonuncusunun 101 kategorisi vardı ve bu çok fazlaydı. Nesnelerini bu veritabanlarının hiçbirinde bulamayanlar, veritabanlarının maliyetini ödemek zorunda kaldı ki bunun çok acı verici olduğunu söyleyeceğim.

Ancak 2010 yılında 22 bin kategoriye ayrılmış 15 milyon görsel içeren ImageNet veritabanı ortaya çıktı. Bu, sinir ağlarını eğitme sorunumuzu çözdü. Artık akademik adresi olan herkes kolaylıkla üssün web sitesine gidebilir, erişim talebinde bulunabilir ve sinir ağlarını eğitmek için bu üssü alabilir. Bana göre ertesi gün oldukça hızlı yanıt veriyorlar.

Önceki veri setleriyle karşılaştırıldığında bu çok büyük bir veritabanıdır.

Örnek, kendisinden önce gelen her şeyin ne kadar önemsiz olduğunu gösteriyor. ImageNet tabanıyla eş zamanlı olarak, yarışmak isteyen tüm takımların katılabileceği uluslararası bir yarışma olan ImageNet yarışması da ortaya çıktı.

Bu yıl kazanan ağ Çin'de oluşturuldu ve 269 katmanı vardı. Kaç tane parametre olduğunu bilmiyorum, çok fazla olduğundan şüpheleniyorum.

Derin sinir ağı mimarisi

Geleneksel olarak 2 bölüme ayrılabilir: çalışanlar ve çalışmayanlar.

Siyah, öğrenmeyen kısımları belirtir; diğer tüm katmanlar öğrenme yeteneğine sahiptir. Her evrişimsel katmanın içinde ne olduğuna dair birçok tanım vardır. Kabul edilen gösterimlerden biri, üç bileşenli bir katmanın evrişim aşaması, dedektör aşaması ve havuzlama aşamasına bölünmesidir.

Ayrıntılara girmeyeceğim; bunun nasıl çalıştığını ayrıntılı olarak tartışacak daha birçok rapor olacak. Size bir örnekle anlatacağım.

Organizatörler benden pek çok formülden bahsetmememi istedikleri için onları tamamen attım.

Böylece, giriş görüntüsü, farklı boyutlarda filtreler olarak adlandırılabilecek ve tanıdıkları öğelerin değişen karmaşıklığına sahip bir katmanlar ağına düşer. Bu filtreler kendi indekslerini veya özellik setlerini oluşturur ve bunlar daha sonra sınıflandırıcıya gider. Genellikle bu, SVM veya MLP - çok katmanlı algılayıcıdır, hangisi sizin için uygunsa.

Biyolojik sinir ağıyla aynı şekilde, değişen karmaşıklığa sahip nesneler tanınır. Katman sayısı arttıkça sinir ağında sınırlı sayıda bölge olduğundan korteksle teması tamamen kesildi. 269 veya çok sayıda soyutlama bölgesi, bu nedenle yalnızca karmaşıklıkta, öğe sayısında ve alıcı alanlarda bir artış korunur.

Yüz tanıma örneğine bakarsak, ilk katmandaki alıcı alanımız küçük olacak, sonra biraz daha büyüyecek, daha da büyüyecek ve sonunda yüzün tamamını tanıyıncaya kadar böyle devam edecek.

Filtrelerimizin içinde olanlar açısından bakıldığında, önce eğimli çubuklar artı biraz renk olacak, ardından yüz parçaları ve ardından tüm yüzler, katmanın her hücresi tarafından tanınacak.

Bir kişinin her zaman bir ağdan daha iyi tanıdığını iddia eden insanlar var. Bu doğru mu?

2014 yılında bilim insanları, sinir ağlarıyla karşılaştırıldığında ne kadar iyi tanıdığımızı test etmeye karar verdi. Şu anda en iyi 2 ağı (AlexNet ile Matthew Ziller ve Fergus'un ağı) aldılar ve bunları, bazı nesneleri tanımayı da öğreten bir makak beyninin farklı alanlarının tepkisiyle karşılaştırdılar. Maymunun kafası karışmasın diye nesneler hayvanlar alemindendi ve kimin daha iyi tanıyabileceğini görmek için deneyler yapıldı.

Maymundan net bir yanıt almak mümkün olmadığından, maymuna elektrotlar yerleştirildi ve her bir nöronun tepkisi doğrudan ölçüldü.

Normal koşullar altında beyin hücrelerinin, o zamanın en gelişmiş modeli olan Matthew Ziller'in ağı kadar iyi yanıt verdiği ortaya çıktı.

Ancak nesnelerin görüntülenme hızının artması ve görüntüdeki gürültü ve nesnelerin miktarının artmasıyla birlikte beynimizin ve primatların beyninin tanıma hızı ve kalitesi önemli ölçüde düşüyor. En basit evrişimli sinir ağı bile nesneleri daha iyi tanıyabilir. Yani resmi olarak sinir ağları beynimizden daha iyi çalışıyor.

Evrişimli sinir ağlarının klasik sorunları

Aslında sayıları çok fazla değil; üç sınıfa aitler. Bunlar arasında nesne tanımlama, anlamsal bölümleme, yüz tanıma, insan vücudunun bölümlerini tanıma, anlamsal kenar algılama, görüntüde dikkat çeken nesneleri vurgulama ve yüzey normallerini vurgulama gibi görevler yer alır. Kabaca 3 seviyeye ayrılabilirler: en düşük seviyeli görevlerden en yüksek seviyeli görevlere kadar.

Bu görüntüyü örnek olarak kullanarak her görevin ne yaptığına bakalım.

Sınırları tanımlamak- Bu, evrişimli sinir ağlarının halihazırda klasik olarak kullanıldığı en düşük seviyeli görevdir.
Vektörün normale belirlenmesi iki boyutlu bir görüntüden üç boyutlu bir görüntüyü yeniden oluşturmamızı sağlar.
Belirginlik, ilgi nesnelerini belirleme- Bir kişinin bu resme bakarken dikkat edeceği şey budur.
Anlamsal segmentasyon nesneleri, bu nesneler hakkında hiçbir şey bilmeden, yani tanınmadan önce bile yapılarına göre sınıflara ayırmanıza olanak tanır.
Anlamsal sınırın vurgulanması- bu, sınıflara bölünmüş sınırların seçimidir.
İnsan vücudunun bölümlerini vurgulama.
Ve en üst düzey görev nesnelerin kendilerinin tanınmasıŞimdi bunu yüz tanıma örneğini kullanarak ele alacağız.

Yüz tanıma

Yaptığımız ilk şey, bir yüz bulmak için görüntü üzerinde bir yüz dedektörü çalıştırmaktır. Daha sonra yüzü normalleştirir, ortalar ve onu bir sinir ağında işlenmek üzere çalıştırırız. Daha sonra benzersiz bir şekilde bir özellikler kümesi veya vektörü elde ederiz. bu yüzün özelliklerini anlatıyor.

Daha sonra bu özellik vektörünü veritabanımızda saklanan tüm özellik vektörleriyle karşılaştırabilir ve belirli bir kişiye, onun adına, profiline, yani veritabanında saklayabileceğimiz her şeye referans alabiliriz.

FindFace ürünümüz tam olarak bu şekilde çalışır; VKontakte veritabanındaki kişilerin profillerini aramanıza yardımcı olan ücretsiz bir hizmettir.

Ayrıca ürünlerimizi denemek isteyen firmalar için API'miz mevcuttur. Yüz tanıma, doğrulama ve kullanıcı tanımlama hizmetleri vermekteyiz.

Şimdi 2 senaryo geliştirdik. Bunlardan ilki kimlik tespiti, yani bir kişinin veri tabanında aranmasıdır. İkincisi doğrulama, bu aynı kişi olma ihtimali belirli olan iki görüntünün karşılaştırılması. Ayrıca şu anda duygu tanıma, videoda görüntü tanıma ve canlılık tespiti geliştiriyoruz; bu, kameranın önündeki kişinin veya fotoğrafın canlı olup olmadığının anlaşılmasıdır.

Bazı istatistikler. Tanımlama yaparken, 10 bin fotoğraf arasında arama yaparken, veritabanının kalitesine bağlı olarak yaklaşık %95 doğruluk ve %99 doğrulama doğruluğu elde ediyoruz. Üstelik bu algoritma değişikliklere karşı oldukça dirençlidir; kameraya bakmamıza gerek yoktur, bizi engelleyen bazı nesneler olabilir: gözlük, güneş gözlüğü, sakal, tıbbi maske. Bazı durumlarda gözlük ve maske gibi bilgisayarlı görmenin inanılmaz zorluklarının bile üstesinden gelebiliriz.

Çok hızlı arama, 1 milyar fotoğrafın işlenmesi 0,5 saniye sürüyor. Benzersiz bir hızlı arama dizini geliştirdik. CCTV kameralardan elde edilen düşük kaliteli görüntülerle de çalışabiliyoruz. Tüm bunları gerçek zamanlı olarak işleyebiliyoruz. Web arayüzü üzerinden Android, iOS üzerinden fotoğraf yükleyebilir ve 100 milyon kullanıcı ve 250 milyon fotoğrafı arasında arama yapabilirsiniz.

Daha önce de söylediğim gibi, ImageNet'in bir benzeri, ancak yüz tanıma için MegaFace yarışmasında birinci olduk. Birkaç yıldır devam ediyor, geçen yıl Google dahil dünyanın dört bir yanından 100 takım arasında en iyisiydik.

Tekrarlayan sinir ağları

Yalnızca bir görüntüyü tanımamızın yeterli olmadığı durumlarda Recurrent sinir ağlarını kullanırız. Tutarlılığı korumanın bizim için önemli olduğu durumlarda olup bitenlerin sırasına ihtiyacımız var, sıradan tekrarlayan sinir ağlarını kullanıyoruz.

Bu, doğal dil tanıma, video işleme ve hatta görüntü tanıma için kullanılır.

Doğal dil tanıma hakkında konuşmayacağım - raporumdan sonra doğal dil tanımayı amaçlayan iki rapor daha olacak. Bu nedenle duygu tanıma örneğini kullanarak tekrarlayan ağların çalışmalarından bahsedeceğim.

Tekrarlayan sinir ağları nelerdir? Bu, sıradan sinir ağlarıyla hemen hemen aynıdır, ancak geri bildirimlidir. Sistemin önceki durumunu sinir ağının girişine veya bazı katmanlarına iletmek için geri bildirime ihtiyacımız var.

Diyelim ki duyguları işliyoruz. En basit duygulardan biri olan bir gülümsemede bile birkaç an vardır: nötr bir yüz ifadesinden tam bir gülümsemeye sahip olduğumuz ana kadar. Sırayla birbirlerini takip ediyorlar. Bunu iyi anlamak için bunun nasıl gerçekleştiğini gözlemleyebilmemiz ve önceki karede olanı sistemin bir sonraki adımına aktarabilmemiz gerekiyor.

2005 yılında, Vahşi Doğada Duygu Tanıma yarışmasında, Montreal'den bir ekip, özellikle duyguları tanımak için çok basit görünen, yinelenen bir sistem sundu. Yalnızca birkaç evrişimsel katmanı vardı ve yalnızca videoyla çalışıyordu. Bu yıl ayrıca, evrişimli sinir ağlarından elde edilen ses tanıma ve toplu kare kare verileri, tekrarlayan bir sinir ağının (durum geri dönüşlü) çalışmasıyla ses sinyali verilerini de eklediler ve yarışmada birincilik aldılar.

Takviyeli öğrenme

Son zamanlarda çok sık kullanılan ancak önceki 2 tür kadar tanıtım yapılmayan bir sonraki sinir ağı türü derin takviyeli öğrenmedir.

Gerçek şu ki, önceki iki durumda veritabanlarını kullanıyoruz. Ya yüzlerden veri alıyoruz, ya fotoğraflardan veriye sahibiz, ya da videolardan duygu içeren veriye sahibiz. Eğer buna sahip değilsek, eğer bunu filme alamıyorsak, bir robota nesneleri kaldırmayı nasıl öğretebiliriz? Bunu otomatik olarak yapıyoruz; nasıl çalıştığını bilmiyoruz. Başka bir örnek: Bilgisayar oyunlarında büyük veritabanlarının derlenmesi zordur ve gerekli değildir; çok daha kolay yapılabilir.

Atari ve Go'da derin takviyeli öğrenmenin başarısını muhtemelen herkes duymuştur.

Atari'yi kim duydu? Birisi duydu, tamam. Sanırım herkes AlphaGo'yu duymuştur, bu yüzden orada tam olarak ne olduğunu size söylemeyeceğim bile.

Atari'de neler oluyor? Bu sinir ağının mimarisi solda gösterilmektedir. Maksimum ödülü almak için kendi kendine oynayarak öğrenir. Maksimum ödül, oyunun mümkün olan en yüksek puanla mümkün olan en hızlı sonucudur.

Sağ üstte, yalnızca iki saat boyunca kendisine karşı oynayan sistemin tüm durum sayısını gösteren sinir ağının son katmanı yer alıyor. Oyunun maksimum ödüle sahip istenen sonuçları kırmızı, istenmeyen sonuçları ise mavi renkle gösterilmiştir. Ağ belirli bir alan oluşturur ve eğitimli katmanları üzerinden ulaşmak istediği duruma doğru ilerler.

Robotikte durum biraz farklıdır. Neden? Burada çeşitli zorluklar yaşıyoruz. Öncelikle çok fazla veri tabanımız yok. İkincisi, üç sistemi aynı anda koordine etmemiz gerekiyor: Robotun algısı, manipülatörler yardımıyla yaptığı eylemler ve hafızası - önceki adımda ne yapıldığı ve nasıl yapıldığı. Genel olarak bunların hepsi çok zor.

Gerçek şu ki, tek bir sinir ağı, hatta şu anda derin öğrenme bile bu görevin üstesinden yeterince etkili bir şekilde gelemiyor, dolayısıyla derin öğrenme, robotların yapması gerekenlerin yalnızca bir parçası. Örneğin, Sergei Levin yakın zamanda bir robota nesneleri tutmayı öğreten bir sistem sağladı.

İşte 14 robot kolu üzerinde yaptığı deneyler.

Burada neler oluyor? Karşınızda gördüğünüz bu leğenlerin içinde çeşitli nesneler var: kalemler, silgiler, daha küçük ve daha büyük kupalar, paçavralar, farklı dokular, farklı sertlikler. Bir robota onları yakalamanın nasıl öğretileceği belli değil. Robotlar saatlerce, hatta haftalarca bu nesneleri yakalayabilecek şekilde eğitildi ve bununla ilgili veri tabanları derlendi.

Veritabanları, robotu gelecekte bir şeyler yapması için eğitebilmemiz için biriktirmemiz gereken bir tür çevresel yanıttır. Gelecekte robotlar bu sistem durumlarından öğrenecekler.

Sinir ağlarının standart dışı uygulamaları

Ne yazık ki bu son, fazla zamanım yok. Size şu anda mevcut olan ve birçok tahmine göre gelecekte bazı uygulamalara sahip olacak standart dışı çözümlerden bahsedeceğim.

Stanford bilim insanları kısa süre önce yoksulluğu tahmin etmek için CNN sinir ağının çok sıra dışı bir uygulamasını geliştirdiler. Ne yaptılar?

Konsept aslında çok basit. Gerçek şu ki, Afrika'da yoksulluk düzeyi akla gelebilecek ve akıl almaz tüm sınırların ötesine geçiyor. Sosyal demografik verileri toplama yetenekleri bile yok. Dolayısıyla 2005'ten bu yana orada olup bitenlere dair elimizde hiçbir veri yok.

Bilim insanları uydulardan gece ve gündüz haritaları topladı ve bunları belirli bir süre boyunca bir sinir ağına besledi.

Sinir ağı ImageNet'te önceden yapılandırılmıştır, yani filtrelerin ilk katmanları, gündüz haritalarında yerleşimleri aramak için evlerin çatıları gibi çok basit şeyleri tanıyabilecek şekilde yapılandırılmıştır. Nüfusun en azından gece boyunca evlerini aydınlatmak için ne kadar paraya ihtiyacı olduğunu söylemek için yüzeyin aynı alanının gece haritalarıyla karşılaştırılması.

Burada sinir ağı tarafından oluşturulan tahminin sonuçlarını görüyorsunuz. Tahmin farklı çözünürlüklerde yapıldı. Ve son karede Uganda hükümeti tarafından 2005'te toplanan gerçek verileri görüyorsunuz.

Sinir ağının, 2005'ten bu yana hafif bir değişime rağmen oldukça doğru bir tahmin yaptığını görebilirsiniz.

Elbette vardı yan etkiler. Derin öğrenmeyle uğraşan bilim insanları çeşitli yan etkileri keşfettiklerinde her zaman şaşırırlar. Örneğin, ağın suyu, ormanları, büyük inşaat alanlarını, yolları tanımayı öğrenmesi gibi; bunların hepsi öğretmenler olmadan, önceden oluşturulmuş veritabanları olmadan. Genel olarak tamamen bağımsız. Örneğin yollara tepki veren belirli katmanlar vardı.

Bahsetmek istediğim son uygulama ise tıpta 3 boyutlu görüntülerin semantik segmentasyonudur. Genel olarak tıbbi görüntüleme, üzerinde çalışılması çok zor olan karmaşık bir alandır.

Bunun birkaç nedeni var.

Çok az veri tabanımız var. Bir beynin, özellikle de hasarlı olanın resmini bulmak o kadar kolay değil ve onu herhangi bir yerden almak da imkansız.
Böyle bir resmimiz olsa bile, bir doktoru alıp çok katmanlı görüntülerin tamamını manuel olarak yerleştirmeye zorlamamız gerekiyor ki bu da çok zaman alıcı ve son derece verimsiz bir işlemdir. Tüm doktorların bunu yapacak kaynakları yoktur.
Çok yüksek hassasiyet gereklidir. Tıbbi sistem hata yapamaz. Örneğin kediler tanınırken tanınmıyordu - çok da önemli değil. Ve eğer tümörü tanımıyorsak, o zaman bu artık pek iyi değil. Sistem güvenilirliğine yönelik gereksinimler burada özellikle katıdır.
Görüntüler üç boyutlu öğeler halindedir (piksel değil voksel) ve bu da sistem geliştiricilerine ek karmaşıklık getirir.

Peki bu olayda bu sorun nasıl çözüldü? CNN çift akışlıydı. Eğitmemiz gereken katman sayısını azaltmak için bir kısım daha normal bir çözünürlük işledi, diğeri ise biraz daha kötü bir çözünürlük işledi. Bu nedenle ağı eğitmek için gereken süre bir miktar azaldı.

Nerede kullanılır: Darbe sonrası hasarın belirlenmesi, beyindeki tümörün aranması, kardiyolojide kalbin nasıl çalıştığının belirlenmesi.

İşte plasentanın hacmini belirlemek için bir örnek.

Otomatik olarak iyi çalışır, ancak üretime girecek kadar iyi değildir, dolayısıyla daha yeni başlıyor. Bu tür sistemler yaratacak birkaç girişim var tıbbi görüş. Genel olarak yakın gelecekte derin öğrenme konusunda birçok girişim olacak. Risk sermayedarlarının son altı ayda derin öğrenme girişimlerine son 5 yıla kıyasla daha fazla bütçe ayırdığını söylüyorlar.

Bu alan aktif olarak gelişiyor, birçok ilginç yön var. İlginç zamanlarda yaşıyoruz. Eğer derin öğrenmeyle ilgileniyorsanız, o zaman muhtemelen kendi girişiminizi açmanın zamanı gelmiştir.

Neyse konuyu burada kapatacağım muhtemelen. Çok teşekkür ederim.

Başkurt Devlet Tıp Üniversitesi öğrencileri, belirli hastalıkları tahmin etmek için sinir ağlarını kullanmaya karar verdi. Genç doktorlar araştırmalarının cumhuriyet tıbbına önemli faydalar sağlayacağını umuyorlar. Yazarlar ayrıntıları Elektrogazeta ile paylaşıyor.

Sinir ağı, belirli yeteneklere ve "becerilere" sahip özel bir yazılım, program kodudur. Akıllı bir sistem olarak sinir ağı, giriş ve çıkış verileri arasındaki karmaşık bağımlılıkları tanımlamanın yanı sıra genellemeler yapma yeteneğine de sahiptir. Aslında böyle bir program (etkili bir şekilde eğitilirse) hastalıkları tahmin edebilir" diyor BSMU'nun üçüncü sınıf öğrencisi Grigory Gololobov. - Bu alanda araştırma yapmaya karar verdik peptik ülser mide ve duodenum.

Neden bu özel hastalık? Gerçek şu ki, ülser komplikasyonları nedeniyle çok tehlikelidir - mide delinmesi veya kanama. Beklenmeyen bir komplikasyon hastayı büyük ölçüde zayıflatabilir ve iyileşmeyi geciktirebilir, ayrıca ölümcül sonuç. Belirli bir hastada kanama olasılığının ne olduğunu bulmak için bir sinir ağına ihtiyaç vardır. Bu olasılığın yüzde 50-60 veya daha yüksek olduğu biliniyorsa cerrah hastayı özellikle yakından takip edebilecek ve herhangi bir mücbir sebebe karşı önceden hazırlık yapabilecektir. Bu özellikle genç ve deneyimsiz cerrahlar için geçerlidir.

Çalışmamızda özgür yazılım kullandık.

Peki sinir ağı ülseri ve komplikasyonlarını tahmin edebilecek mi ve tanı ne kadar güvenilir olacak? İlk aşama sinir ağını eğitmekti. Eğitim amaçlı olarak Ufa hastanelerindeki 200 gerçek hastanın verileri programa yüklendi. Bu durumda girdi bilgisi hastaların şikayetleri yani anamnez (ağrının varlığı, yeri ve şiddeti, düzeyi) idi. tansiyon, bir kişinin sigara içip içmediği vb.) bir dizi parametredir. Ve çıktıda, sinir ağının bir kişinin ülseri olup olmadığı ve komplikasyon olasılığının ne olduğu konusunda bir teşhis üretmesi gerekiyordu. Hasta örnekleminin iki bölüme ayrıldığını belirtmekte fayda var. Numunenin yüzde 70'ini programı eğitmek (eğitmek) için ve yüzde 30'unu test etmek için kullandık.

Ara sonuçlar nelerdi? Bugüne kadar tahmin doğruluğu ortalama yüzde 87'ye ulaştı. Sinir ağımız ülserleri ve insanlardaki sonuçlarını çok yüksek bir güvenle tahmin ediyor. Gelecekte tahminin kalitesini artırmayı ve doktorlar için gerçekten işe yarayan bir araç elde etmeyi planlıyoruz. Bu daha fazla hasta ve daha fazla öykü gerektirir. Şu anki aşamada sinir ağı, peptik ülser hastalığını iyi bir şekilde tahmin edebiliyor. Ancak programa komplikasyonları daha etkili bir şekilde tahmin etmeyi öğretmemiz gerekiyor. İkinci aşamada bunu yapacağız.

Elektrogazeta'nın muhatabının açıkladığı gibi proje, Tıp Bilimleri Doktoru, BSMU Profesörü Marat Nurtdinov'un liderliğinde uygulanıyor. Çalışma USPTU Bilgisayar Bilimleri Bölümü ile işbirliği içinde yürütülmektedir.

Moskova ve Novosibirsk'teki meslektaşlarımız hastalıkları tahmin etmek ve teşhis koymak için halihazırda aktif olarak sinir ağlarını kullanıyor. Ancak Başkurtya'da biz "öncüyüz" diye ekliyor Grigory Gololobov. - Şu ana kadarki tek örnek, alınan kardiyograma dayanarak ön tanı veren uygun "doldurma" yazılımına sahip EKG cihazlarıdır. Önümüzdeki birkaç yıl içinde sinir ağlarının tıpta sağlam bir şekilde yerleşeceğine inanıyorum. Sinir ağı, doktora önemli destek sağlayabilecek çok etkili bir teknolojidir. Sonuçta, bu tür bir yazılım özünde akıllı bir sistemdir. Yine gelecekte sadece peptik ülser hastalığının değil diğer hastalıkların teşhisi alanında da nöral yazılım sistemlerinin tanıtılması mümkün olacaktır.

Fakülte: bilgisayar ve bilgi bilimi
Departman: bilgisayar izleme sistemleri
Uzmanlık: bilgisayarla çevresel ve ekonomik izleme
Yüksek lisans tezinin konusu:
"WAV dosyalarının stegcoding yoluyla büyük miktarda bilginin gizli iletimi"
Bilimsel süpervizör: Gubenko Natalya Evgenievna, doçent, Ph.D.

"Bilgisayar İzleme ve Bilgi Teknolojileri 2008" konferansında "Tıpta sinir ağlarının uygulanması" konulu raporun özetleri

Sinir ağlarının tıpta kullanımı genellikle teşhis ve teşhis sistemleriyle ilişkilidir. ayırıcı tanı hastalıklar. Ancak eğitimli bir sinir ağı yalnızca örnekleri nasıl tanıyacağını bilmekle kalmaz, aynı zamanda oldukça önemli bilgileri de depolar. Bu nedenle sinir ağlarının ciddi uygulama alanlarından biri tıbbi verilerin yorumlanmasıdır. Alınan veriler arasında derin kalıpları arayın ve patolojik süreçler giderek daha fazla yeni yöntemin geliştirilmesinin gerisinde kalmaya başlıyor, dolayısıyla sinir ağlarının bu amaçla kullanılması son derece faydalı olabilir.

Sinir ağları, verileri yaygın olarak kullanılanlardan çok daha iyi sınıflandırabilen doğrusal olmayan sistemlerdir. doğrusal yöntemler. Tıbbi teşhise uygulandığında, hassasiyetini azaltmadan yöntemin özgüllüğünü önemli ölçüde artırmayı mümkün kılarlar.

Sinir ağlarının ayırt edici bir özelliği, programlanmamış olmalarıdır; tanı koymak için herhangi bir çıkarım kuralı kullanmazlar, ancak bunu örneklerle yapmak üzere eğitilmişlerdir. Bu anlamda sinir ağları, gelişimi 70'li yıllarda Yapay Zekanın modelleme hafızası, örüntü tanıma ve genelleme yaklaşımına karşı geçici "zaferinden" sonra ortaya çıkan uzman sistemlere hiç benzemiyor. Beynin sinirsel organizasyonunun.

Teşhis programının bir örneği, RES Informatica tarafından Milano'daki Kardiyak Araştırma Merkezi ile işbirliği içinde geliştirilen kardiyak teşhis paketidir. Program, takogram spektrumlarının tanınmasına dayalı olarak invazif olmayan kardiyak teşhisler yapmanızı sağlar. Takogram, ardışık kalp atışları arasındaki aralıkların histogramıdır ve spektrumu, sempatik ve parasempatik aktivitenin dengesini yansıtır. sinir sistemi insan, özellikle çeşitli hastalıklarda değişmektedir.

Öyle ya da böyle, sinir ağlarının kalp teşhisi için bir araca dönüştüğü zaten söylenebilir - örneğin İngiltere'de, dört hastanede miyokard enfarktüsünü önlemek için kullanılıyorlar.

Şu anda sinir ağları kullanılarak çalışmaların yürütüldüğü ana alanlardan biri meme kanseri tanısıdır. Bu hastalık her dokuz kadından birinin ölüm nedenidir. Bir tümörün tespiti, memenin ilk röntgen analizi (mamografi) ve ardından bir tümör dokusu parçasının analizi (biyopsi) sırasında gerçekleştirilir. Varlığına rağmen genel kurallar iyi huylu ve iyi huylu arasındaki fark malign neoplazmlar Mamografiye göre, daha sonraki cerrahi biyopsi sonuçlarının yalnızca %10 ila 20'si aslında meme kanserinin varlığını doğrulamaktadır. Yine yöntemin özgüllüğünün son derece düşük olduğu bir durumla karşı karşıyayız.

Kanserin teşhis ve tedavisinin yanı sıra yeni ilaçların geliştirilmesi de şüphesiz sinir ağı teknolojilerinin en önemli uygulama alanını temsil ediyor. Ancak son zamanlarda araştırmacılar ve klinisyenler arasında gelecekteki ilerlemelerin moleküler ve genetik nedenler hastalıkların gelişimi.

Nisan 1997'de Ulusal Sağlık Enstitüleri'nden (ABD) uzmanların, nedenlerin belirlenmesine yönelik araştırmaları güçlendirmek için önerilerde bulunması tesadüf değildir. kansere neden olmak ve hastalıkların önlenmesine yönelik gelişmeler. Sinir ağları, genomik DNA dizilerinin analizinde, özellikle genlerden önce gelen ve transkripsiyonu başlatan RNA polimeraz proteini ile ilişkili bölgeler olan promotörlerin tanınması için uzun süredir aktif olarak kullanılmaktadır. DNA'nın kodlayan ve kodlamayan bölgelerini (eksonlar ve intronlar) ayırt etmek ve proteinlerin yapısını tahmin etmek için kullanılırlar.

Tahmine dayalı sinir ağı modelleri demografi ve sağlık hizmetlerinde kullanılabilir. Bir kişinin (55 yaş ve üzeri) önümüzdeki 10 yıl içinde ölüp ölmeyeceğini tahmin eden bir uzman sistem oluşturuldu. Tahmin, anketteki 18 soruya verilen yanıtların sonuçlarına göre yapılır. Ankette ırk, cinsiyet, yaş gibi sorular yer aldı. kötü alışkanlıklar, medeni durum, aile geliri. 18 sorudan 4'ü, katılımcının yaşamının farklı dönemlerindeki vücut kitle indeksini ortaya koyuyor. Endeks, ağırlığın boyun karesine oranı olarak hesaplanır (27 kg/m2'den fazla bir endeks obezite olarak kabul edilir). Bu göstergeye artan ilgi, yaşam prognozu açısından önemini göstermektedir.

Edebiyat

Nöroinformatik / A.N. Gorban, V.L. Dunin-Barkovsky, A.N. Kirdin, vb. - Novosibirsk: Bilim. Sibirya İşletmesi RAS, 1998. - 296 s.
S.Korotky Sinir ağları: temel ilkeler
E. Monakhova, Ordynka'dan “Sinir Cerrahları”, PC Week/RE, No. 9, 1995

7 Temmuz 2017, 22:30

Sinir ağları kalp sorunlarını doktorlardan daha doğru teşhis ediyor

Medgadget'lar,
Geek sağlık,

İnsan faktörü çoğu zaman sorunlara neden olur. Bu üretim, günlük durumlar, araba kullanmak ve tabii ki tıp için geçerlidir. Bir doktorun hatası, hastanın sağlığını, hatta hayatını kaybetmesi anlamına gelebilir ve doktorlar da çok nadiren hata yapar. En yüksek standartta bir profesyonel bile hata yapabilir - sonuçta bir uzman yorgun olabilir, sinirlenebilir, soruna normalden daha kötü şekilde odaklanabilir.

Bu durumda makineler kurtarmaya gelebilir. Örneğin aynı bilişsel sistem IBM Watson, tıp alanındaki çalışmalarla (onkoloji, röntgen okuma vb.) Oldukça iyi başa çıkıyor. Ancak bağımsız araştırmacıların önerdiği başka çözümler de var. Bu çözümlerden biri, alanında oldukça tanınmış bir yapay zeka uzmanı olan Andrew Angie liderliğindeki Stanford'lu bilim adamları tarafından oluşturuldu.

Kendisi ve meslektaşları, kardiyogram kullanarak kardiyak aritmiyi teşhis edebilen bir sistem geliştirdiler ve bilgisayar bunu bir uzmandan daha iyi yapıyor. Eğitim sonrasında aritmiyi yüksek doğrulukla teşhis edebilen bir sinir ağından bahsediyoruz. Aynı zamanda, bilgisayar yalnızca daha güvenilir bir şekilde çalışmakla kalmıyor, aynı zamanda sinir ağı da daha hızlı olduğundan, tıbbi görüntülerin ve EKG sonuçlarının analiz edilmesi görevi, sistemin son "ince ayarı" sonrasında bilgisayara aktarılabiliyor. Doktor ancak söz konusu yazılım ve donanım platformunun çalışmasını kontrol edebilir ve nihai teşhis doğrultusunda hareket edebilir.

Bu proje, bilgisayarın alanın çeşitli yönlerini geliştirerek tıbbı ne kadar değiştirebileceğini gösteriyor. Sinir ağları halihazırda doktorların cilt kanseri, meme kanseri ve göz hastalıklarını teşhis etmesine yardımcı oluyor. Şimdi sıra kardiyolojide.

Angie, "İnsanların derin öğrenmenin doktor teşhis doğruluğunu artırmaya yardımcı olabileceği fikrini bu kadar çabuk benimsemesi gerçekten hoşuma gidiyor" diyor. Ayrıca bilgisayar sistemlerinin yeteneklerinin burada bitmediğine, pek çok alanda kullanılabileceğine inanıyor.

Stanford ekibi, sistemin EKG verilerindeki anormallikleri tespit edebilmesi için sinir ağını eğitmek için çok zaman harcadı. Aynı zamanda aritmi çok tehlikeli bir hastalıktır; kalp durması nedeniyle ani ölüme yol açabilir. Sorun, aritminin tespit edilmesinin o kadar kolay olmamasıdır; bu nedenle, aritmi olduğundan şüphelenilen hastaların bazen birkaç hafta boyunca bir EKG sensörü takmak zorunda kalmasıdır. Ve bundan sonra bile sapmaların teşhisi için veriler yeterli olmayabilir.

Yukarıda belirtildiği gibi sinir ağının, hastanedeki hastaların gerçek göstergeleri örneği kullanılarak eğitilmesi gerekiyordu. Stanford uzmanları onbinlerce EKG ölçümünü kendi başlarına toplayamadılar, bu yüzden taşınabilir EKG cihazları üreten iRhythm şirketini ortak olmaya davet ettiler. Şirket, kalp kası ölçüm sonuçlarının 30.000 adet 30 saniyelik kaydını, kalp rahatsızlığı olan hastaların farklı formlar aritmiler. Algoritmanın doğruluğunu artırmak ve bilgisayar sonuçlarını doktorların teşhis sonuçlarıyla karşılaştırmak için 300 kayıt daha kullanıldı. Hem makine hem de doktorlar tarafından aynı anda analiz edildiler. Daha sonra sonuçlar, 3 birinci sınıf kardiyoloğun yer aldığı özel bir jüri tarafından değerlendirildi.

Bir sinir ağının derin öğrenimi, büyük miktarda verinin "beslenmesiyle" başladı. Daha sonra teşhis doğruluğunu artırmak için ince ayar kullanıldı.

Yukarıda adı geçen uzmanların yanı sıra diğer gruplar da aritmiyi teşhis edebilen sistemler oluşturmak için makine öğreniminden yararlanıyor. Örneğin, Microsoft Research'ün genel müdürü Eric Horowitz (kendisi de bir doktor) ve meslektaşları Stanford'daki uzmanlarla yaklaşık olarak aynı yönde çalışıyor. Onlara göre sinir ağları kaliteyi gerçekten artırabilir tıbbi bakım hastalar, doktorların rutin işlere daha az, araştırmaya daha fazla zaman ayırmasına yardımcı oluyor etkili yöntemler müşterilerinin tedavisi.

Doğru, sinir ağlarının dünya çapındaki hastanelerde geniş ölçekli uygulanması hakkında henüz bir konuşma yok. Bu yön emekleme aşamasındadır, ancak giderek daha hızlı gelişmektedir. ABD, Avrupa ve diğer ülkelerdeki hastaneler hastalıkların teşhisinde yeni teknolojileri benimsiyor ve yeni yöntemlerle çalışıyor. Söz konusu teknolojilerin yaygınlaşması açısından temel sorun, sinir ağlarının bir nevi “kara kutu”yu temsil etmesidir. Uzmanlar veri girer ve belli bir sonuç elde ederler. Ancak bu sonucun nasıl elde edildiği, hangi algoritmaların ve hangi sırayla devreye girdiği bu tür sistemlerin yaratıcıları tarafından tam olarak anlaşılamayabilir. Sinir ağları daha şeffaf hale getirilebilse ve çalışma prensibi tıp doktorlarına kolaylıkla anlatılabilse, bu teknolojinin yayılma hızı çok daha yüksek olacaktır.

Etiketler:

sinir ağları
doktorlar
ilaç

Etiket ekle

Tıpta sinir ağları

Teşhis görevleri için sinir ağları

Akut göğüs ağrısı. Ambulans hastayı acil servise götürür, burada görevli doktor tanı koymalıdır ve bunun gerçekten miyokard enfarktüsü olup olmadığına karar vermelidir. Deneyimler, benzer semptomlarla başvuranlar arasında kalp krizi geçiren hastaların oranının az olduğunu gösteriyor. Ancak henüz kesin tanı yöntemleri mevcut değildir. Elektrokardiyogram bazen hastalığın belirgin belirtilerini içermez. Bu durumda hastanın durumunun kaç parametresi şu ya da bu şekilde doğru tanının konulmasına yardımcı olabilir? Kırktan fazla. Acil servisteki bir doktor, hastayı acil servise göndermeye karar vermek için tüm bu göstergeleri ilişkilerle birlikte hızlı bir şekilde analiz edebilir mi? kardiyoloji bölümü? Sinir ağı teknolojileri bir dereceye kadar bu sorunun çözülmesine yardımcı oluyor.

İstatistikler şu şekilde: Doktor, hastaların %88'inde miyokard enfarktüsünü doğru teşhis ediyor ve vakaların %29'unda bu tanıyı yanlış koyuyor. Çok fazla yanlış alarm var (aşırı teşhis). Uygulama geçmişi çeşitli yöntemler Tanısal kaliteyi artırmak için veri işlemenin geçmişi onlarca yıl öncesine dayanıyor ancak bunların en iyileri aşırı tanıyı yalnızca %3 oranında azalttı.

1990 yılında San Diego'daki Kaliforniya Üniversitesi'nden William Bakst, acil servise akut göğüs ağrısıyla başvuran hastalarda miyokard enfarktüsünü saptamak için bir sinir ağı (çok katmanlı bir algılayıcı) kullandı. Amacı, kabul edilen bir hastanın durumunu karakterize eden veri akışıyla baş edemeyen doktorlara yardımcı olabilecek bir araç yaratmaktı. Diğer bir hedef ise teşhisin iyileştirilmesi olabilir. Araştırmacı, yalnızca kardiyoloji bölümüne sevk edilmiş olan hastalardan gelen verileri analiz ettiği için görevini karmaşıklaştırdı. Bakst yalnızca 20 parametre kullandı; bunların arasında yaş, cinsiyet, ağrının lokalizasyonu, nitrogliserine reaksiyon, bulantı ve kusma, terleme, bayılma, solunum hızı, kalp hızı, önceki kalp krizi, diyabet, hipertansiyon, şah damarının şişmesi, bir takım parametreler yer alıyor. EKG özelliklerinin ve önemli iskemik değişikliklerin varlığı.

Ağ, miyokard enfarktüsünü tespit etmede %92 doğruluk gösterdi ve yalnızca %4 yanlış alarm üreterek, kalp krizi geçirmeyen hastaları yanlışlıkla kardiyoloji bölümüne yönlendirdi. Yani yapay sinir ağlarının hastalık teşhisinde başarılı bir şekilde kullanıldığına dair kanıtlar var. Şimdi genel durumda tanı kalitesinin hangi parametrelerde değerlendirildiğini açıklamak gerekiyor. Diyelim ki gerçekten kalp krizi geçiren on kişiden biri teşhis yöntemi Hastalığın sekizde tespit edilmesini sağlar. O zaman yöntemin duyarlılığı %80 olacaktır. Kalp krizi geçirmeyen on kişiyi alırsak ve teşhis yöntemi üç kişide bundan şüphelenirse, yanlış alarmların oranı %30 olacak ve buna ek bir özellik olan yöntemin özgüllüğü eşit olacaktır. %70'e kadar.

İdeal bir teşhis yöntemi %100 duyarlılığa ve özgüllüğe sahip olmalıdır; birincisi, gerçekten hasta olan tek bir kişiyi gözden kaçırmamalı ve ikinci olarak korkutmamalıdır. sağlıklı insanlar. Kendinizi sigortalamak için, her şeyden önce yöntemin% 100 hassas olduğundan emin olmayı deneyebilir ve denemelisiniz - bir hastalığı gözden kaçıramazsınız. Ancak bu genellikle yöntemin özgüllüğünün düşük olmasına neden olur; birçok insanda doktorlar, hastaların aslında muzdarip olmadığı hastalıklardan şüphelenir.

Teşhis görevleri için sinir ağları

Sinir ağları, verileri yaygın olarak kullanılan doğrusal yöntemlere göre çok daha iyi sınıflandırabilen doğrusal olmayan sistemlerdir. Tıbbi teşhise uygulandığında, hassasiyetini azaltmadan yöntemin özgüllüğünü önemli ölçüde artırmayı mümkün kılarlar.

Kalp krizini teşhis eden sinir ağının, kişinin teşhisi üzerindeki etkisi değerlendirilemeyen çok sayıda parametreyle çalıştığını hatırlayalım. Bununla birlikte sinir ağlarının, çok boyutlu verilerde tanımladıkları gizli kalıplara dayanarak karar verebildikleri kanıtlanmıştır. Sinir ağlarının ayırt edici bir özelliği, programlanmamış olmalarıdır; tanı koymak için herhangi bir çıkarım kuralı kullanmazlar, ancak bunu örneklerle yapmak üzere eğitilmişlerdir. Bu anlamda sinir ağları, gelişimi 70'li yıllarda Yapay Zekanın modelleme hafızası, örüntü tanıma ve genelleme yaklaşımına karşı geçici "zaferinden" sonra ortaya çıkan uzman sistemlere hiç benzemiyor. Beynin sinirsel organizasyonunun.

Uzmanlardan alınan bilgiye ve çıkarım prosedürlerinin uygulanmasına dayanan geliştirilen en ünlü uzman sistemlerden biri MYCIN sistemiydi. Bu sistem 70'lerin başında septik şoku teşhis etmek için Stanford'da geliştirildi. Hastaların yarısı 24 saat içinde öldü ve doktorlar vakaların yalnızca %50'sinde sepsisi tespit edebildi. MYCIN, vakaların %100'ünde sepsisi tespit edebildiği için uzman sistem teknolojisinin gerçek bir zaferi gibi görünüyordu. Ancak bu uzman sistemi daha dikkatli tanıdıktan sonra doktorlar önemli ölçüde gelişme kaydetti. geleneksel yöntemler teşhis ve MYCIN önemini yitirerek bir eğitim sistemi haline geldi. Uzman sistemler yalnızca kardiyolojide - elektrokardiyogramların analizi için kullanılır. Kitapların ana içeriğini oluşturan karmaşık kurallar klinik analiz EKG'ler tanısal bir sonuca varmak için uygun sistemler tarafından kullanıldı.

Teşhis, olay sınıflandırmasının özel bir durumudur ve en büyük değer, sinir ağının eğitim setinde bulunmayan olayların sınıflandırılmasıdır. Sinir ağı teknolojilerinin avantajının kendini gösterdiği yer burasıdır - bu tür bir sınıflandırmayı gerçekleştirebilir, önceki deneyimleri genelleştirebilir ve yeni durumlara uygulayabilirler.

Özel sistemler

Teşhis programının bir örneği, RES Informatica tarafından Milano'daki Kardiyak Araştırma Merkezi ile işbirliği içinde geliştirilen kardiyak teşhis paketidir. Program, takogram spektrumlarının tanınmasına dayalı olarak invazif olmayan kardiyak teşhisler yapmanızı sağlar. Takogram, ardışık kalp atışları arasındaki aralıkların histogramıdır ve spektrumu, özellikle çeşitli hastalıklarda değişen, insandaki sempatik ve parasempatik sinir sisteminin aktivite dengesini yansıtır.

Sinir ağlarının bir başka özelliği de tıpta kullanılıyor; zaman dizilerini tahmin etme yetenekleri. Uzman sistemlerin EKG analizinde başarılı olduğu zaten belirtilmişti. Sinir ağları da burada faydalıdır. Wisconsin Üniversitesi'nden Qi Zhenhu, Yu Hengwoo ve Willis Tompkins, elektrokardiyogramlar için doğrusal olmayan ve sabit olmayan gürültüyü daha önce kullanılan yöntemlere göre çok daha iyi bastırabilen bir sinir ağı filtreleme sistemi geliştirdiler. Gerçek şu ki, sinir ağı, geçmiş zamandaki değerlerine dayanarak gürültüyü iyi tahmin ediyordu. Ve sinir ağlarının zaman dizilerini (döviz kurları veya hisse senedi fiyatları gibi) tahmin etmede çok etkili olduğu gerçeği, Santa Fe Üniversitesi tarafından yürütülen tahmine dayalı programlar yarışmasının sonuçlarıyla ikna edici bir şekilde ortaya kondu; sinir ağları ilk sırada yer aldı ve aralarında hakimiyet kurdu. en iyi yöntemler.

Sinir ağlarını kullanma imkanı

EKG son derece önemli olmasına rağmen spesifik bir uygulamadır. Ancak bugün sinir ağlarının tıbbi tahminler için kullanıldığı başka birçok örnek var. Kalp cerrahisi bölümlerinde haftalarca süren, aylarca süren uzun kuyrukların yoğun bakım ünitelerinin yetersizliğinden kaynaklandığı biliniyor. Yoğun bakımın maliyetinin yüksek olması nedeniyle sayılarını artırmak mümkün değil (Amerikalılar hayatlarının son 2 haftasında fonlarının %70'ini bu bölümde harcıyorlar).

Yalnızca daha fazlasından çık etkili kullanım mevcut fonlar. Belirli bir günde ameliyat edilen hastaların durumlarının ağır olduğunu ve yoğun bakımda uzun süre (iki günden fazla) kalmaları gerektiğini varsayalım. Yeni ameliyat edilen hastaları koyacak yer olmadığı için bunca zaman cerrahlar boşta kalacak. Ağır hastaları hafta sonları veya tatillerden önce ameliyat etmek daha akıllıca olacaktır; ameliyathaneler bu günlerde hala kapalıdır, cerrahlar dinlenir ve hastalar yoğun bakımda iyileşirler. Ancak yoğun bakımda sadece bir veya iki gün kalması gereken hastaları çalışma haftasının başında ameliyat etmek daha iyidir. Daha sonra yoğun bakım yatakları daha hızlı boşaltılacak ve Salı ve Çarşamba günleri ameliyat edilen yeni hastalar kabul edilecek.

Soru, kimin blokta uzun süre kalmak zorunda kalacağının nasıl tahmin edileceğidir. yoğun bakım ameliyattan sonra ve kim yapmaz. Toronto'daki St. Michael Üniversite Hastanesi'nden Jack Tu ve Michael Guerier, bu tür tahminlerde bulunmak için sinir ağlarını kullandı. İlk veri olarak yalnızca hasta hakkında ameliyat öncesi dönemde bilinen bilgileri aldılar. Sinir ağlarını kullanmayan önceki çalışmalarda, ameliyat sırasında ortaya çıkan çeşitli komplikasyonlar gibi önemli ameliyat sonrası bilgilerin de yoğun bakımda kalma riskini artıran faktörler olarak kullanıldığını unutmayın.

Tu ve Guerir, hastaları yaşlarını, cinsiyetlerini, sol ventrikülün fonksiyonel durumunu, yaklaşmakta olan ameliyatın karmaşıklık derecesini ve eşlik eden hastalıkların varlığını dikkate alarak üç risk grubuna ayırmak için iki katmanlı bir algılayıcıyı eğitti. Ağın yoğun bakımda gecikme riski düşük olarak sınıflandırdığı hastaların yalnızca %16,3'ü aslında iki günden fazla süreyi burada geçirdi. Aynı zamanda, ağın yüksek riskli grup olarak sınıflandırdığı kişilerin %60'ından fazlası olumsuz prognozla karşılaştı.

Kansere karşı mücadele

Özel önem verdik kardiyovasküler hastalıklar, çünkü ölüm nedenleri listesinde üzücü bir şekilde liderliği elinde tutuyorlar. Onkolojik hastalıklar ikinci sırada yer almaktadır. Şu anda sinir ağları kullanılarak çalışmaların yürütüldüğü ana alanlardan biri meme kanseri tanısıdır. Bu hastalık her dokuz kadından birinin ölüm nedenidir.

Bir tümörün tespiti, memenin ilk röntgen analizi (mamografi) ve ardından bir tümör dokusu parçasının analizi (biyopsi) sırasında gerçekleştirilir. İyi huylu ve kötü huylu neoplazmları ayırmaya yönelik genel kuralların varlığına rağmen, mamografiye göre, daha sonraki cerrahi biyopsi sonuçlarının yalnızca %10 ila 20'si aslında meme kanserinin varlığını doğrulamaktadır. Yine yöntemin özgüllüğünün son derece düşük olduğu bir durumla karşı karşıyayız.

Duke Üniversitesi'ndeki araştırmacılar, radyologların sıklıkla uğraştığı sekiz özelliğe dayanarak, kötü huylu dokuların mamogramlarını tanıyacak bir sinir ağını eğitti. Ağın görevi yaklaşık %100 hassasiyet ve %59 özgüllükle (radyologlar için %10-20 ile karşılaştırıldığında) çözebildiği ortaya çıktı. Bu sinir ağını kullanırsanız, iyi huylu tümörleri olan kaç kadın biyopsi yaptırmanın stresinden kurtulabilir! Mayo Clinic'te (Minnesota) bir sinir ağı sonuçları analiz etti ultrason muayenesi meme ve %40'lık bir özgüllük sağlarken, aynı kadınlar için radyologların vardığı sonucun özgüllüğü sıfırdı. Sinir ağı teknolojilerini kullanmanın başarısının hiç de tesadüfi görünmediği doğru değil mi?

Meme kanseri tedavisinden sonra tümörün tekrarlaması mümkündür. Sinir ağları zaten bunları etkili bir şekilde tahmin etmeye yardımcı oluyor. Benzer çalışmalar Teksas Üniversitesi Tıp Fakültesi'nde de yürütülüyor. Eğitilen ağlar, öngörücü değişkenlerin son derece karmaşık ilişkilerini, özellikle de bunların üçlü bağlantılarını, öngörücü yeteneği geliştirmek için tanımlama ve hesaba katma yeteneklerini göstermiştir.

Sinir ağlarının tıpta kullanılmasına yönelik olanaklar çeşitlidir ve bunların mimarileri de çeşitlidir. Hastalığın şu veya bu yöntemle tedavi edilmesinin uzun vadeli sonuçlarının prognozuna göre bunlardan biri tercih edilebilir. Nimegen Üniversitesi'nden ünlü Hollandalı uzman Herbert Cappen, yumurtalık kanserinin (her yetmiş kadında görülen bir hastalık) tedavisini tahmin etmede önemli bir sonuç elde etti (çalışmasında çok katmanlı algılayıcıları değil, Boltzmann Makinelerini kullanıyor - olasılıkları tahmin etmek için sinir ağları).

İşte başka bir örnek kanser. Kagawa'daki (Japonya) bir tıp fakültesinden araştırmacılar, ameliyat öncesi verilere dayanarak hepatoselüler karsinomlu hastalarda karaciğer rezeksiyonu sonuçlarını neredeyse doğru bir şekilde tahmin eden bir sinir ağını eğitti.

Trinity Yenilikçi ve Termonükleer Araştırma Enstitüsü'nde (TRINITI), Bilim Bakanlığı tarafından sinir ağı danışmanlık sistemleri oluşturmak amacıyla uygulanan proje kapsamında, bazal hücreli cilt kanseri (bazal hücre) için tedavi yöntemini seçen bir sinir ağı programı geliştirildi. karsinom) nüksetmenin gelişimi için uzun vadeli bir prognoza dayanmaktadır. Beyaz tenli ve ince tenli kişilerin onkolojik bir hastalığı olan bazal hücreli karsinom vakalarının sayısı, tüm kanserlerin üçte birini oluşturmaktadır.

Bazal hücreli karsinomun pigmentli formundan ayırt edilmesi bazen zor olan bir tümör olan melanom formlarından birinin tanısı, A.N. Gorban'ın önderliğinde Krasnoyarsk'taki SOAN Bilgisayar Bilimleri Merkezi'nde geliştirilen Multineuron sinir ağı simülatörü kullanılarak uygulandı. .

Sinir ağları, geliştirilmekte olan çeşitli tedavilerin etkilerini tahmin etmek için de kullanılabilir. Bileşiklerin moleküler yapılarına dayalı özelliklerini tahmin etmek için kimyada zaten başarılı bir şekilde kullanılıyorlar. Amerika Birleşik Devletleri'ndeki Ulusal Kanser Enstitüsü'nden araştırmacılar, kötü huylu tümörler için kemoterapide kullanılan ilaçların etki mekanizmasını tahmin etmek için sinir ağlarını kullandı. Antikanser aktiviteleri açısından test edilmesi gereken milyonlarca farklı molekül olduğunu unutmayın. Kanser Enstitüsü uzmanları, bilinen onkoloji ilaçlarını, kanser hücreleri üzerindeki etki mekanizmalarına göre altı gruba ayırdı ve yeni maddeleri sınıflandırmak ve etkilerini tanımak için çok katmanlı ağlar yetiştirdi. Çeşitli tümörlerden hücrelerin büyümesinin baskılanmasına yönelik deneylerin sonuçları, ilk veriler olarak kullanıldı. Sinir ağı sınıflandırması, her gün test edilen yüzlerce molekülden hangisinin çok pahalı in vitro ve in vivo deneylerde daha fazla çalışmaya değer olduğunu belirlemeyi mümkün kılar. Benzer bir sorunu çözmek için Kohonen ağları da kullanıldı. Bu denetlenmeyen, kendi kendini organize eden sinir ağları, maddeleri bilinmeyen sayıda kümeye böldü ve dolayısıyla araştırmacıların yeni sitotoksik etki mekanizmalarına sahip maddeleri tanımlamasına olanak sağladı.

Nörosistemler, genetik ve moleküller

Kanserin teşhis ve tedavisinin yanı sıra yeni ilaçların geliştirilmesi de şüphesiz sinir ağı teknolojilerinin en önemli uygulama alanını temsil ediyor. Ancak son zamanlarda araştırmacılar ve doktorlar arasında gelecekteki ilerlemelerin hastalıkların moleküler ve genetik nedenlerinin araştırılmasıyla yakından bağlantılı olması gerektiği konusunda artan bir farkındalık var.

Nisan 1997'de Ulusal Sağlık Enstitüleri'nden (ABD) uzmanların, kanserin nedenlerinin belirlenmesine yönelik araştırmaların güçlendirilmesi ve hastalıkların önlenmesine yönelik gelişmelere yönelik önerilerde bulunması tesadüf değildir. Sinir ağları, genomik DNA dizilerinin analizinde, özellikle genlerden önce gelen ve transkripsiyonu başlatan RNA polimeraz proteini ile ilişkili bölgeler olan promotörlerin tanınması için uzun süredir aktif olarak kullanılmaktadır. DNA'nın kodlayan ve kodlamayan bölgelerini (eksonlar ve intronlar) ayırt etmek ve proteinlerin yapısını tahmin etmek için kullanılırlar.

1996 yılında bağlantılı sansasyonel bir keşif yapıldı. temel araştırma moleküler genetikte en sık görülen onkolojik hastalığın - bazal hücreli cilt kanserinin patogenezi ve tedavisi sorunu. Araştırmacılar, dokuzuncu insan kromozomunda (PTC) bir gen keşfettiler; bu gendeki mutasyonlar, p53 geninden farklı olarak, ultraviyole radyasyona maruz kalmanın neden olduğu ve tümör gelişimine neden olan mutasyonlardır. Keşfin anahtarı, meyve sineği gelişimindeki kusurlar tarafından uyarılan değişiklikler ve aynı zamanda kemik gelişimindeki kusurlardan (bazal nevüs sendromu) muzdarip olan çocukların sıklıkla birden fazla bazal hücreye sahip olduğu gerçeği olan sözde yama geninin incelenmesiydi. karsinomlar.

Artık genetikçiler ve doktorlar bulma umuduyla dolu. ilaç Bazal hücreli karsinomun tedavisi veya gen cerrahisi yöntemlerinin kullanılması ve bunların yerine konvansiyonel lazer, röntgen ve kriyocerrahi gibi acımasız tedavi yöntemlerinin kullanılması. Sinir ağları bu araştırma için faydalı olabilir mi? Özellikle, belirli bir mutasyonun karşılık gelen proteinlerin özelliklerindeki değişiklikler üzerindeki olası etkisini değerlendirmek veya örneğin meme kanserinin nüksetmesinin gelişimi için prognostik değerini değerlendirmek için bunları kullanmak mümkün müdür?

Eğer bu yapılabilirse, sinir ağları arama alanını önemli ölçüde azaltacaktır. moleküler biyologlar DNA molekülündeki mutasyonların rolünü değerlendirmek için genellikle "dokunarak" çok pahalı deneyler yürütüyorlar. Kötü huylu tümörlerin gelişiminin kontrolsüz hücre büyümesi ve bölünmesinden kaynaklandığını hatırlayalım. Vücutta üretilen tüm proteinler hakkında bilgi içeren insan genomunda yaklaşık üç milyar nükleotid bulunmaktadır. Ancak bunların yalnızca %2-3'ü aslında proteinleri kodlar; geri kalanına ise DNA'nın kendisi tarafından doğru yapıyı, replikasyonu ve diğer şeyleri sürdürmek için ihtiyaç duyulur.

Genomik DNA dizileri kabaca üç bileşene ayrılabilir: ilki aynı parçaların çok sayıda kopyasını içerir (uydu DNA); ikincisi genom boyunca dağılmış, orta derecede tekrarlayan diziler içerir; ve üçüncüsünde benzersiz bir DNA var. Uydu DNA'sında farklı kopyalar eşit olmayan şekilde temsil edilir; sayıları yüzlerce ila milyonlarca arasında değişir. Bu nedenle genellikle mini ve mikro uydulara ayrılırlar.

Mikrosatellitlerin genom boyunca dağılımının, insanlar için parmak izi analogu olarak kullanılabilecek kadar spesifik olması dikkat çekicidir. Ayrıca bu dağılımın çeşitli hastalıkların teşhisinde kullanılabileceğine inanılmaktadır.

Gizli bir biçimde, nükleotid dizilerinin tekrarları da benzersiz DNA dizilerinde önemli bir rol oynar. Francis Crick'in hipotezine göre, DNA'nın evrimi yarı periyodik yapılardan başlar ve gizli tekrarları bulabilirsek, evrimi belirleyen mutasyonların nerede meydana geldiğini de bulacağız, yani hem en eski hem de en önemli bölgeleri yani mutasyonları bulacağız. en tehlikeli olanlardır. Kriptik tekrarların dağılımı aynı zamanda karşılık gelen dizi tarafından kodlanan proteinlerin yapısı ve işleviyle de yakından ilişkilidir.

TRINITY, gizli tekrarları aramak ve DNA dizilerindeki mutasyonların rolünü değerlendirmek için Hopfield sinir ağlarının modifikasyonlarını kullanan bir sistem geliştirdi. Bu yaklaşımın genelleme yapmak için kullanılabileceği umulmaktadır. spektral analiz veri dizileri çok genel görünümörneğin elektrokardiyogramların analizi için.

Sinir ağları gezegeni tarıyor

Tıbbi uygulamalar geliştirmek için sinir ağlarını kullanan araştırma gruplarının coğrafyası çok geniştir. ABD hakkında söylenecek bir şey yok - her eyaletin üniversitesinde benzer araştırmalar yapılıyor ve bunların ana yönü meme kanseri. Peki ya askeri akademiler de bunu yapıyor? Çek Cumhuriyeti'nde Jiri Šima, aralık verileri (parametre değerleri bilinmediğinde ancak değişim aralığı bilindiğinde) ile etkili bir şekilde çalışabilen sinir ağlarını eğitme teorisini geliştirdi ve bunları çeşitli uygulamalarda kullandı. tıbbi uygulamalar. Çin'de Atom Enerjisi Enstitüsü çalışanları, yemek borusu epitelinde hafif ve ciddi hastalıkları olan hastaları yemek borusu kanserinden muzdarip olanlardan tırnakların elementel analizine dayanarak ayırt etmek için bir sinir ağını eğitti.

Rusya'da, Moskova Devlet Üniversitesi Nükleer Fizik Enstitüsü'nde, işitme organlarının hastalıklarını analiz etmek için sinir ağları kullanılıyor.

Son olarak Avustralya'da George Christ, nedenler hakkında ilk hipotezi oluşturmak için sinir ağı teorisini kullandı. gizemli sendrom yenidoğanların ani ölümü.

Bir sonuç yerine

Tabii ki, makale bundan çok uzak tam liste yapay sinir ağı teknolojilerinin tıpta kullanımına örnekler. Bir kenarda psikiyatri, travmatoloji ve sinir ağlarının teşhis asistanı ve klinisyen rolü açısından test edildiği diğer bölümler yer alıyor. Yeni bilgisayar teknolojisi ve sağlık hizmetlerinin evliliğinde elbette her şey güllük gülistanlık değil. Sinir ağı programlarının klinikte yaygın olarak uygulanması bazen son derece pahalıdır (binlerce dolardan on binlerce dolara kadar) ve doktorlar herhangi bir bilgisayar yeniliğine oldukça şüpheyle yaklaşırlar. Sinir ağı kullanılarak çıkarılan sonuca, kabul edilebilir açıklamalar veya yorumlar eşlik etmelidir.

Ancak iyimser olmak için hala nedenler var. Sinir ağı teknolojilerinde ustalaşmak ve bunları uygulamak, matematiksel istatistik veya bulanık mantık çalışmaktan çok daha kolaydır. Sinir ağı tıbbi sistemini oluşturmak yıllar değil aylar alır. Ve parametreler çok cesaret verici - teşhisin yüksek özgüllüğünü bir kez daha hatırlayalım.

İşbirliği için bir başka umut ise “nöron” kelimesinin kendisidir. Sonuçta doktorlara o kadar tanıdık geliyor ki...

TANIMOPTİMUMBOYUTSİNİR AĞLARITERSİ

DAĞITIMLARBAŞINDAN SONUNA KADARKARŞILAŞTIRMAKORTADEĞERLER

MODÜLLERTERAZİSİNAPSLAR

Yeni bir "öğrenme eğrisi" önerildi. ortalama ağırlık modülü grafiği

sinir ağının boyutuna göre sinaps. Deneyler yerel minimum ve

bu göstergenin asimptotlarının çıktıları özelliklere iyi karşılık gelir

geleneksel öğrenme eğrileri. öğrenme bağımlılıkları ve genelleme hataları

sinir ağı boyutu. Gösterge optimal olanı belirlemek için kullanılabilir.

bir test örneğinin yokluğunda ağ boyutu.

1. Soruntanımlaroptimalyapılarsinir ağları

Yapay sinir ağlarını kullanırken önemli bir görev

ağın en uygun boyutunu (yapısını) bulma. bu sayıda gizli katman

Maksimum genelleme yetenekleri verecek katmanlardaki nöronlar ve nöronlar, yani.

minimum genelleme hatası, özellikle yokluğunda

bağımsız test numunesi veya numuneyi yapay olarak bölmenin imkansızlığı

Yetersiz toplam veri hacmi nedeniyle eğitim ve test bölümlerine ait veriler.

Bu nedenle “öğrenme eğrileri” paradigması yaygın olarak kullanılmaktadır.

öğrenme ve genelleme hatalarının sinir ağının ve eğitimin boyutuna bağımlılığı

örnekler. Optimum, yerel minimuma veya çıkış anlarına karşılık gelir

asimptotlar için grafikler. Bu tür grafiklerin tahmin edilmesi için resmi teknikler

aynı zamanda maksimuma ulaşmak için neyin gerekli ve yeterli olduğunu değerlendirmemize de izin verir.

genelleme yetenekleri, başlangıç durumunda eğitim örneklerinin hacimleri

yetersiz miktarda örnek veri.

Öğrenme eğrilerinin bir başka sınıfı da “içsel” özelliklerin bağımlılıklarıdır

sinir ağının boyutu, daha sonra genelleme hatasının dinamikleri ile karşılaştırılır.

Seçenekler. görevin iç temsilinin analizi,

öğrenme hatası ile sinaps ağırlık modüllerinin maksimum toplamı arasındaki teorik bağlantı,

ağ nöronuna ulaşan, hedef gradyanlarla çalışan NIC kriteri

eğitimli ağın fonksiyonları ve Hessian matrisi arasındaki farkı değerlendirmenizi sağlar

öğrenme ve genelleme hataları. Bu tür kriterler olmadan yapmayı mümkün kılar

bağımsız test örneği.

Makale öğrenme eğrisinin yeni bir versiyonunu önermektedir. ortalamaya bağımlılık

sinir ağının boyutuna göre sinaps ağırlığı modülü. Daha doğrusu, deneylerde ayrıca olacak

ağın sinaps ağırlıkları vektörünün uzunluğu kullanıldı (hesaplandı)

Etkiyi arttırmak için toplam sinaps sayısına bölünen Öklid normu

en büyük modülo ağırlıkları ve bunun sonucunda ortaya çıkan reasürans

tam olarak büyük sinaps ağırlıklarının istenmediği hakkında sonuçlar.

Bu kriter kapsamlı değildir, çünkü heterojenlik var

katmandan katmana ağ sinaps kümeleri (küçük ağlar için sıklıkla gözlemlendi)

ortalama modüllerdeki ve çıktı ağırlıklarının dağılımlarındaki istatistiksel fark ve

ağın gizli katmanı). Katmanlı ağların yapısal heterojenliği bilinmektedir ve öğrenme algoritmaları tarafından zaten dikkate alınmaktadır, ancak bu gerçeğin etkisi burada incelenmemiştir.

2. VeriİçindeneyselçeklerVesonuçlar

Bağımsız test örnekleriyle 6 gerçek veri tabanı alındı

(bölerek genelleme hatasının tahminine bir hata getirmemek için

eğitim ve test bölümlerine ayrılmış eğitim). Alınan veritabanları

AnnThyroid, Opt rakamları, Kalem rakamları, Uydu, UCI KDD Veritabanından Statlog servisi

http://kdd.ics.uci.edu/ deposu ve Gong veritabanı sayfada mevcuttur

http://www-ee.uta.edu/eeweb/IP/training_data_files.htm. 6 sorunun tümü temsil edilir

bir öğretmenle bir veya daha fazla sayıda sınıfa sınıflandırma sorunları.

Tüm bu görevlerin birkaç binden birkaçına kadar önemli görevleri vardır.

onbinlerce vektör, eğitim örneğinin boyutu. bu durum için gerekli

numunenin temsil edilebilirliğini (ve buna bağlı olarak açık bir

ulaşma ve aşma sonrasında öğrenme ve genelleme hatalarında asimptotikler

sinir ağının görev için yeterli büyüklükte olması) ve bir etkinin olmaması

sinir ağı boyutunun daha da büyümesiyle yeniden eğitim (gürültü ve bozulma)

varsa eğitim seti hatırlanamıyor

sinir ağının büyük bir örneklem büyüklüğüne sahip önemli sayıda olması nedeniyle

çarpıklıklar ve bu çarpıklıkların münferit durumları değil).

Tek bir gizli katmana sahip ağlar kullandık; nöron sayısı

1 ile 25 arasında değişmektedir. Her görevde, sinir ağının her boyutu için 25

özellikleri olan ağlar (sinapsların farklı başlangıç rastgele değerlerine sahip)

daha sonra öğrenme eğrileri oluşturmak için ortalaması alındı.

Ortalama öğrenme ve genelleme hataları (yüzde olarak ifade edilir)

uygun örneklem büyüklüğü dahilinde yanlış çözülmüş örnekler);

Bir ağdaki sinapsın ortalama kare ağırlığı. önerilen gösterge;

Sinaps ağırlık modüllerinin nöron başına toplamları arasında maksimum. gösterge .

Ağların gizli katmanlarındaki nöronların sayısı ordinat eksenleri boyunca çizilmiştir. Değerler

Sinaps ağırlıklarının özelliklerini yansıtan göstergeler yeniden ölçeklendirilir.

öğrenme ve genelleme hatalarını bir dizi değere getirmek

Haritalama programının sınırlamalarından kaynaklanan (iki

ölçekler). Her noktanın etrafında karşılık gelen 25 örneğinin varyansı vardır.

deneysel değerler.

Yeni göstergenin asimtota (ve stabilizasyona) ulaştığı görülmektedir.

varyansın azaltılması, böylece bir noktanın etrafındaki "bıyıklar" noktanın kendisi tarafından kapatılır) biraz

öğrenme hatalarının ve asimptotlara genellemenin çıktısının gerisinde kalıyor, yani. bir nebze

yalnızca mümkün olan gerekli ağ boyutu açısından reasürans edilir

Teorik sonuçlara dayalı olarak hoş geldiniz: yol sayısını artırmak

ağ üzerinden sinyal iletimi azalabilir maksimum ağırlıklar nedeniyle sinapslar

Daha önce amplifikasyonun gerekli olduğu kanalların çoğaltılması.

Gösterge aynı zamanda her iki durumda da optimuma ulaşan genelleme hatasını ortaya koymaktadır.

büyümeyle birlikte yeniden eğitim vakaları (AnnTiroid, Gong görevleri)

Ağ boyutu belli bir noktadan sonra genelleme hatası tekrar artmaya başlar.

stabilizasyon anı ve göstergenin asimptottan çıkışı biraz gecikir

AnnThyroid görevinde ve görevde minimum hataya ulaşma anıyla karşılaştırıldığında

6 nöronluk ağ boyutuna sahip yerel minimum gong tam olarak eşleşiyor

minimum genelleme hatası Gong problemindeki göstergenin net bir açıklaması yok

belirgin aşırı davranış tüm aralıkta önemli ölçüde dengesizdir

sinir ağının boyutlarını inceledi. 1'den 25'e kadar nöron.__

Göstergenin yerel minimumu (Gong görevi için altı nöron, Gong görevi için üç nöron)

Opt basamaklı görevler, Uydu görevi için iki tane) aynı zamanda optimum hatayı da gösterebilir

genellemelere (Gong sorunu) veya görev karmaşıklığının yapısal düzeylerine (ikincisi)

öğrenme ve genelleme hatalarının grafiklerindeki kırılmalarla örtüşmektedir). İkincisi olabilir

yeterlilik alanından geçiş anlarının belirlenmesine izin verin

klasik istatistiğin düşük parametreli modelleri (doğrusal regresyon,

doğrusal ayırıcı veya puana dayalı Bayes sınıflandırıcısı

(her sınıf için kovaryans matrislerinden) yeterlilik alanlarına

çok parametreli modeller (sinir ağları, polinom yaklaşımları)

veya parametrik olmayan yöntemler (nükleer verilere dayalı parametrik olmayan istatistikler)

olasılık yoğunluklarının yaklaşımları, potansiyel fonksiyonlar yöntemi).

Ayrıca gösterge, bir dizi örnek üzerindeki dağılımını, olduğundan biraz daha hızlı azaltır.

gerçek çalışmada sinaps ağırlıklarının modüllerinin nöron başına maksimum toplamı

her beden için daha az antrenman denemesiyle idare etmenize olanak tanır

sinir ağları veya hatta özelliklerin istatistiksel ortalamasının alınmasına gerek kalmadan

grafiklerde net bir resim elde etmek için aynı boyutta birkaç sinir ağı

bu çalışmada verilenler gibi.

Deneysel grafiklerden de görülebileceği gibi optimum boyutu seçerken

Bir ağın yalnızca eğitim hatasının değerine güvenmesi yeterli değildir. tespit edilemiyor

sinir ağının yeniden eğitilmesinin ortaya çıkması, dolayısıyla birkaç davranışın karşılaştırılması

göstergeler (yukarıdaki çizelgelerde yapıldığı gibi) ya daha fazlasına izin verir

sinir ağı boyutu seçimini makul bir şekilde onaylamak veya olası sonuçları görmek için

sorunların varlığı (örneğin modelin ortaya çıkması nedeniyle yetersiz olması)

yeniden eğitim). Bir test örneğini kontrol etmeden yapabilme yeteneği,

mevcut örneklerin tamamını kullanarak, sinir ağını parçalara ayırmadan eğitin

eğitim ve test parçaları ve bunu eğitim sayısı olarak bekliyoruz

Örneğin sinir ağının aşırı eğitilme riski de azalacaktır.

3. Sonuç

Öğrenme eğrisinin yeni bir versiyonu önerildi. jајяj__ortalama değerin bağımlılığı

ağdaki sinaps ağırlığının sinir ağının boyutuna oranı. Deneysel olarak gösterilmiştir ki

bunu kullanarak optimum ağ boyutunu oldukça güvenilir bir şekilde belirlemek mümkündür,

Minimum genelleme hatasının sağlanması. Gösterge olmadan yapmanızı sağlar

bağımsız bir test örneğinde genelleme hatasının hesaplanması, varyasyonlara izin verir

bir norm seçerek (ağırlık modülü, ortalama kare değeri,.) ve dikkate alarak

Tahmin yeteneklerini en üst düzeye çıkarmak için ağın yapısal heterojenliği.

Ayrıca bu kriter büyümekte olan çocuklara eğitim verirken de uygulanabilir.

sinir ağları, kademeli korelasyon sinir ağları gibi ve her ikisi de seçim aşamasında

sinir ağına yerleştirilmek üzere eğitilmiş aday nöron (kullanımıyla birlikte)

bu nöron için hedef fonksiyonun değerleri) ve seçileni ekledikten sonra

nöronun ağa dahil edilmesi ve ikincisinin düzeltilmesi (seçilen tek aday nöron değil)

sinir ağına eklenir ve mümkün olan en iyi birkaç nöron eklenir

Herkes sinir ağının kendi kopyasına yerleştirilir ve tamamlanan bu kopyalar arasında karşılaştırma yapılır.

hem amaç fonksiyonunun hem de önerilen göstergenin değeri açısından aynıdır).