Derin Öğrenmenin Ötesinde Ne Var?

0
540
deeplearninglimits
deeplearninglimits

Bir önceki yazıda Derin Öğrenmenin Sınırlarını Anlamak konusuna değinilmişti, bu yazı ile aşağıda kaldığımız yerden devam ediyoruz.

Derin öğrenmenin derin problemleri de var

Francois Chollet, AI By The Bay konferansının son toplantısında derin öğrenmenin daha önceki istatistiksel ve makine öğrenme yöntemlerinden daha güçlü bir model tanıma olduğunu vurguladı. “Bugün AI için en önemli sorun soyutlama ve akıl yürütmedir” diye açıklanıyor. Google’daki AI araştırmacısı ve yaygın olarak kullanılan derin öğrenme kitaplığı Keras‘ın ünlü mucidi Chollet; “Şu an denetlenen algılama ve güçlendirme öğrenme algoritmaları, çok miktarda veri gerektiriyor; planlamada çok kötüydü ve sadece doğrudan desen tanıma yapıyorlar.”

Buna karşılık, insanlar çok az örnekten ders alabilir, çok uzun vadeli planlar yapabilir ve aşırı modellemeyi başarmak için soyut bir model oluşturabilir ve bu modelleri manipüle edebilir.

Davranışlar

Basit insan davranışları bile derin bir öğrenme algoritmasına öğretmek zahmetlidir. Yolda yürürken arabayla çarpmamak gibi bir durumu inceleyelim. Denetime tabi tutulan öğrenme rotasına giderseniz, “durdur” veya “hareket et” gibi açıkça etiketli eylemler içeren büyük araba veri durumları setlerine ihtiyaç duyarsınız. Ardından durum ve uygun eylem arasındaki haritalamayı öğrenmek için bir sinir ağı eğitmeniz gerekir.

Bir algoritmaya bir hedef verdiğiniz ve almanız gereken ideal eylemleri bağımsız olarak belirlediğiniz takviye öğrenme rotasına giderseniz, bilgisayarın farklı durumlardan kaçınmayı öğrenmeden binlerce kez ölmesi gerekecektir.

Chollet, “Sadece bugünün derin öğrenme tekniklerini basitçe ölçeklendirerek genel zeka elde edemezsiniz” diye belirtiyor.

Otomobillerden kaçınmak için insanlara yalnızca bir kez söylenmeleri gerekir. Birkaç örnekten genelleme yeteneğine sahibiz ve üzerinde çalıştırılmanın korkunç sonuçlarını modelleyerek hayal edebiliyoruz.

Sinir ağları, büyük örneklem büyüklükleri boyunca istatistiksel olarak etkileyici sonuçlar elde ederken; “bireysel olarak güvenilmez” ve çoğunlukla bir diş fırçasını beyzbol sopası olarak sınıflandırmak gibi insanların asla yapmayacakları hatalar yaparlar.

Sonuçlarınız yalnızca verileriniz kadar iyidir. Yanlış veya eksik verilerle beslenen sinir ağları, yalnızca yanlış sonuçlar verecektir. Sonuçlar hem utanç verici hem de zararlı olabilir. İki önemli Halkla İlişkiler çatışmasında Google Images, Afrikalı Amerikalıları yanlışlıkla goriller olarak sınıflandırırken, Microsoft’un Tay’ı Twitter’da sadece saatlik eğitim sonrasında ırkçı, kadın düşmanı nefret söylemi kusmayı öğrendi.

Araştırmalar

Girdi verilerimizde istenmeyen önyargılar örtülüdür. Google’ın muazzam Word2Vec yerleştirmeleri Google Haberler’den 3 milyon kelimeden oluşuyor. Veri seti, dildeki cinsiyet yanlılığını yansıtan “anne hemşirelik yapmaya uygun olduğu gibi doktorluk da baba içindir” gibi çağrışımlar da yapıyor. Boston Üniversitesi’nden Tolga Bölükbaşı gibi araştırmacılar, bu tür çağrışımları geri almak için “zorlayıcı önlemleri kaldırma” gerçekleştirmek üzere “Mechanical Turk”ün insan oylarını aldılar.

Bolukbaşı’ya göre “kelime yerleştirmeleri sadece kalıpları yansıtmakla kalmayıp, aynı zamanda onları çoğaltabilir” bu gibi taktikler çok önemlidir. “Doktor” terimi kadınlarla karşılaştırıldığında erkeklerle daha fazla ilişkiliyse, kadın iş başvuru sahiplerine göre bir algoritma açık doktor pozisyonları için erkek iş başvuru sahiplerine öncelik tanır.

Son olarak, generatif düşman şebekelerinin yaratıcısı Ian Goodfellow sinir ağlarının, düşmanca örneklerle kasıtlı olarak kandırılacağını gösterdi. Bir görüntüyü matematiksel olarak insan gözü için saptanamayan bir şekilde manipüle ederek, sofistike saldırganlar sinir ağlarını kötü niyetli nesneleri yanlışlıkla sınıflandırmak için kandırabilir.

Özellikle düşman görüntüler ve orijinal görüntüler bizim için aynı görünen bu tür düşmanca saldırıların yapay zeka sistemlerine getirdiği tehlikeler endişe vericidir. Kendinden sürüşlü otomobiller görünüşte zararsız tabelalarla açıklanabilir ve güvenli sistemler ilk başta normal görünen verilerden ödünç alınabilir.

Derin öğrenmenin ötesinde ne var?

Derin öğrenmenin sınırlarını aşabilir ve genel yapay zekaya nasıl yönelebiliriz? Chollet’in ilk saldırı planında, matematiksel ispat alanıyla başlayarak, “derin öğrenme gibi, açık araştırma ve biçimsel sistemleri artırmak için süper insan kalıp tanıma” kullanılıyor. Otomatik Teorem İspatlayıcılar tipik kaba kuvvet arama kullanır; pratik kullanımda kombinatoryal patlamalara hızlıca vurabilir. DeepMath projesinde, Chollet ve meslektaşları kanıta dayalı arama sürecine yardımcı olmak için derin öğrenmeyi kullandılar. Bir matematikçinin lemmas (argüman veya kanıt olarak bir yan kuruluş veya ara teorem) ile alakalı olabileceği konusunda sezgileri simüle ettiler.

Bir diğer yaklaşım daha açıklanabilir modeller geliştirmektir. El yazısı tanımada, sinir ağları iyi bir sınıflandırma yapmak için halihazırda onlarca, yüz binlerce örnek üzerinde eğitilmelidir. Bununla birlikte sadece piksellere bakmak yerine; DARPA’dan Launchbury, üretken modellerin herhangi bir karakterin ardındaki vuruşlarda öğretilebileceğini ve 9 ya da 4 gibi benzer sayıları birbirinden ayırt etmek için bu fiziksel yapıyı kullanabileceğini açıklıyor.

Dönüşümsel sinir ağlarının yaratıcısı ve Facebook’daki yapay zeka araştırmasının direktörü Yann LeCun, derin öğrenmeyle ilgili sınırların üstesinden gelmenin bir yöntemi olarak “enerji temelli modeller” önermektedir. Tipik olarak bir sinir ağı, bir görüntü etiketi veya cümle çevirisi gibi tek bir çıktı üretmek üzere eğitilir. LeCun’un enerji tabanlı modelleri, her yapılandırma için puanların yanı sıra, bir cümlenin çevrilebileceği birçok yol gibi olası çıktıların tümünü sağlar.
Yaygın olarak “derin öğrenmenin babası” olarak adlandırılan Geoffrey Hinton, sinir ağlarındaki nöronları; insan zihnindeki kortikal yapıyı daha doğru bir şekilde yansıttığına inandığı “kapsüller” ile değiştirmek istiyor. Hinton, “Evrim, duyusal bir yolda erken olan özellikleri adapte etmenin verimli bir yolunu bulmuş olmalıydı; böylece yolun birkaç aşamasında olan özelliklere daha faydalı oluyor” diye açıklıyor. Kapsül tabanlı sinir ağı mimarilerinin Goodfellow’ın aydınlattığı düşman saldırılarına karşı daha dirençli olmasını umuyor.

Belki de derin öğrenme sınırlarının üstesinden gelmek için kullanılan bu yaklaşımların tümü doğru değerlerdir. Belki de hiçbiri değildir. Yapay zeka araştırmasında devam eden yatırımları sadece zaman gösterecek.

Kaynak: https://venturebeat.com/2017/04/02/understanding-the-limits-of-deep-learning/

Facebook Yorumları