biyomedikal görüntülerde derin Öğrenme ile mevcut ......derin öğrenme modeline ilgi...

Fırat Üniversitesi Müh. Bil. Dergisi

31(1), 109-121, 2019

Biyomedikal Görüntülerde Derin Öğrenme ile Mevcut Yöntemlerin Kıyaslanması

Mesut TOĞAÇAR

1*, Burhan ERGEN

2

1 Bilgisayar Teknolojileri Programı, Teknik Bilimler Meslek Yüksek Okulu, Fırat Üniversitesi, Elazığ, Türkiye 2 Bilgisayar Mühendisliği, Mühendislik Fakültesi, Fırat Üniversitesi, Elazığ, Türkiye

*1 [email protected], 2 [email protected]

(Geliş/Received: 26/04/2018; Kabul/Accepted: 07/12/2018)

Özet: Son zamanlarda görüntü işleme ile ilgili gelişmeler, hızla gelişen teknolojik sistemlerin ilerlemesinde katkıda

bulunmuştur. Özellikle sağlık alanındaki görüntü işleme ile ilgili çalışmalar popülerliğini daha da artırmıştır. Gerek tıbbi

görüntüler olsun gerekse diğer alandaki görüntüler olsun, mevcut yöntemler üzerinde başarı sağlatılmasına rağmen; derin

öğrenme modeli, mevcut yöntemlere kıyasla zaman ve performans açısından daha fazla katkıda bulunan bir modeldir.

Mevcut yöntemler ile tek katmanlı görüntüler üzerinden işlem yapılıyorken, derin öğrenme modeliyle, çok katmanlı

görüntüler üzerinden performansı yüksek sonuçlar alınabilmektedir. Derin öğrenmenin en önemli özelliği, görüntü

üzerindeki işlemleri tek bir sefer de işleme tabi tutan ve el ile girilmesi gereken parametreleri kendi kendine keşif

edebilmesidir. Ayrıca teknoloji firmalarının da derin öğrenmeye yönelmesi, kendi aralarında rekabet gücünü artırdığı gibi,

bilimsel anlamda derin öğrenme üzerine kurdukları yöntemler, mevcut yöntemlere göre daha fazla tercih edilmeye

başlanılmıştır. Veri kümesi erişimi sınırlı olan alanlardan biri olan biyomedikal alanında veri kümelerinin son zamanlarda

hızlı bir şekilde elde edilmesi bu alandaki görüntü işleme çalışmalarına, derin öğrenme modeliyle beraber daha çok katkıda

bulunacağı öngörülmektedir.

Anahtar kelimeler: KSA, derin öğrenme, görüntü işleme, biyomedikal, biyomedikal görüntüler

Comparison of Deep Learning and Existing Methods in Biomedical Imagery

Abstract: Recent developments in image processing have contributed to the advancement of rapidly developing technological systems. In particular, work on image processing in the health field has further increased its popularity. Whether it is medical images or images on the other side, although the success of existing methods is ensured, the deeper

learning model is a model that contributes more in terms of time and performance compared to existing methods. High-performance results can be obtained on multi-layered images with deep learning model while the existing methods are operated on single layer images. The most important feature of deep learning is that it can process the operations on the image in a single pass and discover the parameters that need to be entered manually. Moreover, as technology companies try to deepen their learning and increase their competitive power among themselves, the methods they have built on deep learning in the scientific sense have begun to be preferred over existing methods. It is envisaged that the data sets in the

biomedical field, which is one of the limited access areas of the dataset, to be obtained quickly in the recent times will contribute more to the image processing studies in this area together with the deep learning model.

Key words: CNN, deep learning, image processing, biomedical, biomedical imaging

1. Giriş

Görüntü işleme, insan gözünün yaptığı işlevleri bilgisayar ortamında çeşitli ara yüz yazılımlarıyla hızlı

sonuçlar alan bir teknolojidir. Bu teknolojide çeşitli modeller geliştirilmiş ve bu modeller, yapılan bilimsel

çalışmalar da katkıda bulunmuştur. Görüntü işleme ve kümeleme yöntemleri kullanılarak, imge üzerinde; şekil

algılama, etiketli sınıflandırma, şekil ayırma, alt sınıflara yapılandırma gibi birçok kategoride analizler

yapılmaktadır [1]. Yapılan bu analiz sonuçlarında en çok tercih edilen model makine öğrenmenin alt dalı olan

derin öğrenme modelidir. Makine öğrenme yöntemine göre çok katmanlı bir yapıya sahip olan ve insan beyninin

işleyişinden esinlenen derin öğrenme, son zamanlarda artan ilgi görüyor [2].

Görüntü işleme uzmanları, üniversitelerdeki akademisyenler; videoyu analiz etme, analiz sonucu elde edilen

görüntüyü sınıflandırma, doğal dil öğrenme vb. uygulama alanlarında makine öğrenmesini kullanmaktadırlar. Bu

süreçte makine öğrenmesi, özellikle devrim niteliğinde hızlı ve yüksek performanslı sonuçlar elde edebilmek

* Sorumlu yazar: [email protected] . Yazarların ORCID Numarası: 1 0000-0002-8264-3899, 2 0000-0003-3244-2615

mailto:[email protected]


110

için “Grafik İşlemci Ünitesi” (GİÜ) kullanmaktadır. GİÜ’ler “Merkezi İşlem Birimi” (MİB)’ ler ile

karşılaştırıldığında, GİÜ’ler uygulamalarında 10 ile 100 kat arasında performans üstünlüğüne sahip olduğu için

tercih edilmektedir. Özellikle, Yapay Sinir Ağı(YSA) mimarisinde gizli ağlar ile ağlar derinleştirilmiştir. Buda

çok fazla bellek tüketimi anlamına gelmek demektir. Belleğin fazla tüketimi hem zamansal hem de performans

açısından yeterli donanıma sahip olunmasıyla karşılanabilir. O yüzden MİB yerine GİÜ’ ler tercih edilmektedir.

Derin Öğrenme, etiketlenmiş imge içeren eğitim setlerinde kendiliğinden özellik çıkarma işlemini

becerebilen, makine öğrenmesinin aksine çok katmanlı sinir ağlarını bir arada kullanılmasını sağlayan sistemin

adıdır. Görüntü ve ses analizi, robot teknolojisi, uzaktan algılama, genetik analizler, kanser ve hastalık teşhisi vb.

birçok alanda kullanılmaya başlandı. Çok fazla tercih edilmesinin sebebi hızlı ve yüksek sonuçlar verebilmesidir.

Bu durum bazen insan ölçütlerinin bile üzerine çıkmıştır. Bu alanlarda özellikle büyük firmaların(Google,

Facebook, Samsung, Microsoft, İntel vs.) yatırımları ve çalışmaları yoğun bir şekilde sürmektedir [3].

Günümüzde her alanda kullanılan kamera sayısının artması ve kameralarda elde edilen imgeler içerisinde

yer alan objelerin tespitini aynen insan gözü gibi makinelerle anlamlı hale getirilmesi; makinelerin görüntü

işleme konusunda derin öğrenme modeliyle inanılmaz sonuçlar elde edilmesini sağlamıştır. Bu sayede binlerce

imge setleri derin öğrenme modeliyle, oldukça başarılı sonuçlar ortaya koymuştur [4].

Görüntü işleme üzerinde çalışma yapan akademisyenler, son yıllarda biyomedikal alanında yapılan görüntü

işlemeyle ilgili çalışmalara yoğunlaşmış olup; model olarak ta derin öğrenme üzerindeki faaliyetleri artırmıştır.

Derin öğrenme modeline ilgi görülmesinin en önemli bir diğer sebebi ise, yeteri kadar eğitilecek verinin

bulunması ve bu verilerinin işlenmesinde gerekli fiziksel alt yapının hazır olmasıdır.

Bu makalede, çeşitli firmalar tarafından desteklenen derin öğrenme modellerinin, biyomedikal alanı

üzerinde mevcut mimarilerle kıyaslanmasına değinildi. Biyomedikal alanına yoğunlaşılmasının en önemli

sebepleri: “ Bu alanda elde edilen veri kümelerinin geçmişe nispetten hızlı bir şekilde daha kolay elde

edilebilmesi; klasik yöntemlere kıyasla derin öğrenme modeliyle birlikte yeni bir çözüm yöntemi bulunmasıdır.

Ayrıca, biyomedikal alanında derin öğrenme modellerine ait geçmiş bilgilerin fazla olmaması; sağlık gibi insan

hayatını önem arz eden bir alanda çeşitli hastalıkların görüntü işleme üzerinde daha hızlı ve yüksek oranda tespit

edilmesi”, gibi nedenleri sıralanabilir. Biyomedikal alanında yapılan çalışmaları incelemeden önce, derin

öğrenme modelleri ve ilgili kütüphaneleri hakkında kısa bilgiler vermekte yarar sağlanacaktır.

2. Derin Öğrenme Kütüphaneleri

Derin öğrenme, birçok alanda büyük atılımlara yol açtı. Tabi bunu sağlayan en önemli etken, derin

öğrenme üzerine çeşitli programlama dillinde (Java, C#, C++, Python vb.) yazılmış birçok kütüphane dosyasının

olmasıdır. “TensorFlow, Lasagne, Keras, MXNet, Caffe, Torch vs.” en çok tercih edilen kütüphanelerdir. Bu

kütüphaneler, çok katmanlı sinir ağları (KSA), tekrarlanabilen sinir ağları(RNN), ileri besleme ağları gibi birçok

derin öğrenme modellerini desteklemektedirler.

Caffe: Derin öğrenme ve görüntü işleme üzerine yazılmış bir kütüphanedir. Python ve Matlab gibi uygulama

dillerinde de çalıştırılabilmektedir. Önceden eğitilmiş modellere sahip olması Caffe kütüphanesinin en önemli

özelliğidir [5].

Keras: Python programlama dili üzerine yazılmış yüksek seviyeli bir derin öğrenme kütüphanesidir. En önemli

özelliği TensorFlow Kütüphanesi üzerinde de çalışabiliyor olmasıdır [4].

TensorFlow: Google firması tarafından desteklenen açık kaynak kodlu bir derin öğrenme kütüphanesidir. GİÜ’

ler üzerinde derin ağ kurmayı kolaylaştırır. Genelde görüntü işlemede sayısal hesaplamalar için tercih edilir [6].

Torch: En karmaşık problemleri bile basitleştirip, problemin çözümüyle ilgili algoritmayı hızlı ve esnek bir

yapıda hazırlayan kütüphanedir. Torch ile görüntü işleme, ses işleme, video, resim vb. formatlar üzerinde

çalışma yapılabilir. Desteklendiği programlama dilleri Lua ve Python’dur.

MXNet : R, Python, Scala, Julia gibi programlama dilleri tarafından desteklendiği için bu kütüphane, çok dil

desteği sunulan kütüphane olarak bilinir. Bu sayede, yapılan çalışmayı farklı programlama dillerinde

karşılaştırma imkânına sahip olunur.

3. Derin Öğrenme Modelleri

Derin Öğrenme, özellikle İmageNet’in 2012 yılından bu yana düzenlediği yarışmalarla daha da ilgi

görmeye başladı ve düzenlenen yarışmalarda görüntü sınıflandırmasında derin öğrenme modelleri tercih

edilmeye başlandı. Popüler olan bu modeller hakkında ön bilgiler vermek gerekirse:

http://keras.io/

Mesut TOĞAÇAR, Burhan ERGEN

111

3.1 AlexNet

2012 yılında İmageNet yarışmasında adını duyuran; yaklaşık bir milyon üstü resim ile eğitilmiş olup,

resimleri sınıflandırma başarısı oldukça yüksek olan bir derin öğrenme modelidir. Bu model bin adet objeyi

sınıflandırmak için modellenmiştir [8].

Şekil 1. AlexNet mimarisi [8]

AlexNet mimarisi; 224×224 boyutlu resimde, adım kayma sayısı 4 olarak olup, filtre boyutu 11×11

seçilmiştir. Mimari; konvansiyonel katman, havuz katmanı ve tam bağlantılı katmandan meydana gelmektedir

[8].

3.2 ZF Net

Bu model AlexNet modelden esinlenerek tasarlanmış olup, AlexNet’e göre daha iyi sonuçlar alınmıştır.

2013 yılında İmageNet yarışmasında birinci olmuştur. AlexNet’ e göre farkı; filtre boyutunu 7×7 ve adım

sayısını 2 almıştır. Ayrıca, “Çapraz Entropi”, “Olasılıksal Eğim İniş” ve “ReLu” algoritmalarını kendi

mimarisinde kullanmıştır. ZF Net mimarisi 7 katmandan oluşmaktadır [9].

Şekil 2. ZF Net mimarisi [9]

3.3 GoogLeNet

İmageNet 2014 resim sınıflandırma yarışmasında birinci olmuştur. 2012 yılında girdiği İmageNet

yarışmasında %89.06 başarı oranını, 2014 yılında %93.33’ e çıkarmıştır. GoogLeNet mimari yapısı 22

katmandan oluşmaktadır ve bu mimari, katman sayısının artırılması ile veri kümesinin çok fazla olması

sınıflandırma işleminin performansını artırdığını ispatlamıştır. Büyük boyutlu resimlerin aşırı yüklenmesini

önlemek içinde “1×1, 3×3, 5×5” gibi çeşitli boyutlarda aynı zaman diliminde resimleri filtrelerden


112

geçirmektedir. Şekil 3’ e bakınız [10]. Bu mimari, önceki mimarilerin aksine, oluşturduğu katmanları üst üste

yığmaktansa, paralel bir şekilde resimleri işliyor. Çünkü üst üste yığılan işlemler için bellek boyutu artırımı,

zaman kaybı vb. olumsuz faktörleri de göz önünde bulundurmuştur. GoogLeNet ağ mimari yapısı ise Şekil 4’ te

verilmiştir.

Şekil 3. GoogLeNet başlangıç modülü [10]

Şekil 4. GoogLeNet mimari yapısı

3.4 Microsoft ResNet

RestNet mimarisi, diğer mimari yapılarına göre daha fazla katman içermekte ve yapısında 152 adet katman

bulunmaktadır. Katman sayısı GoogLeNet mimarisine göre neredeyse 7 kat fazla katman parametresi

içermektedir. 2015 yılında yapılan İmageNet resim sınıflandırma yarışmasında RestNet birinci olmuştur. İnsan

hata oranı %5-10 arası olarak kabul edilirken, RestNet 2015 yılında yapılan yarışmada bu oranı %3.57’ ye

düşürmüştür [11]. Bu mimarinin yapısında “Residual” bloklar bulunmaktadır. Bu blokların içyapısı Şekil 5’ de,

ResNet mimari yapısı ise Şekil 6’ da gösterilmiştir. Bu mimaride her katman arası Şekil 5’ de ifade edilen

şekilde girilen “×” değerine karşılık elde edilen “f(×)” değeri ile birleştirilip bir sonraki katmana aktarımı

sağlanıyor.

Şekil 5. ReLu blok yapısı [11]


113

Şekil 5’ de de anlaşıldığı gibi “×” girişi ağırlık(W) katmanlarından geçerek bir “F(×)” sonucu elde

edilmektedir ve işlem bittiğinde “×” parametresi üzerine “F(×)” parametresi ilave ediliyor [11].

Şekil 6. ResNet mimari yapısı [11]

3.5 ResNeXt modeli

Bu model, Facebook yazılım şirketi tarafından geliştirilmiş derin öğrenmeyle resimleri sınıflandıran

modeldir. Resim girdileri bir kaç özel filtre yöntemiyle (1×1, 3×3, 5×5 vb.) “bölme, dönüştürme ve birleştirme”

stratejisini benimsemiş olup; homojen çok dallı bir mimari yapısı vardır. ResNeXt modeli, ResNet ve VGG

modellerinden esinlenmiştir. ResNeXt Model mimarisi Şekil 7’ de gösterilmiştir.

Şekil 7. ResNeXt blok yapısı [12]

3.6 R-KSA modeli

Bölgesel KSA olarak bilinen bu modelin amacı, görüntü üzerindeki nesneleri doğru bir şekilde tespit

etmektir. Yani, Şekil 8’ e bakıldığında bu mimari de aynı ortamın farklı açılardan veya farklı zamanlarda

çekilmiş resimleri üzerinde bulunan nesneleri tespit edip, nesneler arasındaki ilişkileri de bize veren mimaridir.

Bölge, bölge seçim araması yaparak her resim için farklı boyutlarda pencerelerden görüntüyü analiz eder ve her

bir nesne tanımlaması için pikselleri rengine, dokusuna ve yoğunluğuna göre sınıflama yapar [13].

Şekil 8. Bölgesel KSA temel mimarisi [13]


114

B-KSA modelin en önemli eksikliği, veri kümesini eğitirken fazla zaman harcamaktadır. Bu eksikliği

gidermek için “Daha Hızlı B-KSA” modeli geliştirilmiştir. Bu model ile her bir resim için binlerce kez

çalıştırılmak yerine; bir resim çalıştırılıyor ve diğer resimler çalıştırılan resmin değerlerini çalıştırılmadan kabul

ediliyor [7].

4. Biyomedikal Alanda Derin Öğrenme

Son zamanlarda özellikle derin öğrenme modeliyle yapılan çalışmalar, çeşitli alanlarda başarılı sonuçlar

elde edilirken, biyomedikal alanda da faaliyetler hızla artmıştır. Bu alanda büyük ölçekli veri kümelerine

ulaşılmasıyla birlikte biyomedikal üzerinde derin öğrenme çalışmalarında yoğunluk hızlı bir şekilde artmaya

başlamıştır. Bu kısımda biyomedikal alanında derin öğrenme ile ilgili yapılmış olan akademik çalışmalardan

bahsedilmiştir.

Biyomedikal görüntülerin sınıflandırılmasın da yapılan çalışmalardan biri: Sınıflandırma işleminde ince

ayarlı KSA yönteminin kullanılmış olmasıdır. İnce ayarlama yöntemiyle var olan KSA modeli, hazır veri

kümeleri ile eğitilip, modelin ağırlık güncellemeleri elde ediliyor. Sonrasında farklı veri kümeleri model de

eğitilmek için bırakıldığında, daha önceden ağırlık güncellemeleri yapıldığı için öznitelik ve sınıflandırma işlemi

daha hızlı oluyor.

Bu çalışmada veri kümesi, İmageNet 2016 medikal görüntüleri adlı veri kümesinden elde etmişlerdir. Veri

kümesinin 6776 adet görüntüsü eğitim için, 4166 adet görüntü ise test verisi olarak kullanılmıştır. Eğitilmiş

resimler üzerinde, KSA yöntemi ile yapılan çalışmalarda başarılı sonuçlar alınmasına rağmen, görüntüler

arasında ince farklılıkları yakalamayabilir. Bu çalışmadaki esas amaç ise bu farklılıkları da yakalayabilecek bir

KSA modeli geliştirmektir. Veri kümesi üzerinden farklı KSA yöntemleriyle elde edilen öznitelikler; kendi

aralarında kıyaslanıp, birbirinden farklı olan özniteliklerin çıkartılması ile ince ayarlı KSA topluluğu oluşur. Bu

topluluğun amacı performansta artış sağlamaktır. Şekil 9’ da ince ayarlı KSA topluluğu, tasarımı gösterilmiştir

[14].

Şekil 9. İnce ayarlanmış KSA’ da topluluk modeli [14]

Görüntü sınıflanmasında AlexNet ve GoogLeNet mimarilerini kullanılarak ince ayarlı görüntüler elde

edildi. Daha sonra görüntünün sınıfını belirlemek için SoftMax sınıflandırıcıları ile çoklu Destek Vektör

Makineleri (DVM) birlikte, topluluk modeli kullanılmıştır. Bu iki yöntemde derin öğrenme ağının son

aşamasında yer alır ve çoklu sınıflandırma işlemi için her bir girdiye karşı [1,0] arası çıkış değeri üretip,

sınıflandırma yapar [21].

Çalışmaya ait veri kümesi üzerinde ince ayarlama işlemleri, geri yayılım yöntemiyle ve ağırlık (W)

parametrelerinin güncellenmesi ile düzeltildi. Ayrıca görüntülerde elde edilen özellikleri düşürmek için, Temel


115

Bileşen Analizi (TBA) yöntemi de kullanıldı [14]. Sırasıyla GoogLeNet ve AlexNet mimarilerinin ince

ayarlanma işleminden sonra hata oranındaki düşüş grafiği Şekil 10’ da yer almaktadır. Tablo 1’ de ise kendi

oluşturdukları topluluk mimarisinde başarı oranları, bu toplulukta kullanılan yöntemlerin tek tek kullanılarak

elde edilen sonuçlar kıyaslanmış ve topluluğu oluşturan DVM, Softmax yöntemlerinin birlikte çalıştırılmasıyla

doğruluk oranını daha da artırdığı görülmektedir. Ayrıca KSA’ da SoftMax yöntemi AlexNet mimarisine göre

iyileştirme yaparken, GoogLeNet mimarisine göre sınıflandırmada iyileştirme yapmadığı bilinmektedir.

İyileştirme yapamamasının sebebi, GoogLeNet mimarisinde SoftMax’ da görüntü sınıflandırılırken karşılaştırma

yapamamasıdır [14].

Şekil 10. İnce ayarlanmış KSA’ da hata oranı [14]

Tablo 1. Sınıflandırma doğruluk tablosu [14]

TOP1 SINIFLANDIRMA DOĞRULUK ORANI (%) TOP5 SINIFLANDIRMA DOĞRULUK ORANI (%)

MİMARİ

MİMARİ

ALexNet GoogLeNet ALexNet GoogLeNet

Eğitilmiş Veri + DVM 79.21 78.61 Eğitilmiş Veri + DVM 96.71 96.33

İnce Ayarlı + SoftMax 79.62 77.17 İnce Ayarlı + SoftMax 94.48 91.31

İnce Ayarlı + DVM 79.60 80.75 İnce Ayarlı + DVM 96.47 96.54 Topluluk Modeli 82.48 Topluluk Modeli 96.59

Başka bir çalışmada ise bilim adamları, İmageCLEF 2016’ da biyomedikal alanındaki veri kümeleri

üzerinde KSA’ yı kullanarak kendilerinin geliştirdiği “Biyomedikal Bilgisayar Bilimi Grubu” (BBBG) adını

verdikleri yöntemle sınıflandırma işlemi yapmışlardır. Bu çalışmada, veri kümesi üzerinde bazı sınıflara ait

görüntüler, renkler ile ayırt edilebileceğini düşünerekten “Görsel Kelime Çantası” (GKÇ) yaklaşımını KSA

modelinde kullanmışlardır. Bu yaklaşım, her görüntü için sözlük adında “şekil başlıkları” ile “tam metinler”

olmak üzere iki kısımdan oluşan kelime hazinesi içermektedir. Görüntülerden çıkarılan kelime hazineleri ne

kadar sık kullanıyorsa; elde edilen sıklık sayısı, bir dizi içerisinde tutulması prensibine dayanmaktadır [1].

Çalışmada veri kümesi, eğitilmeden önce TBA yaklaşımıyla özellikleri düşürüldü. Sonraki işlemde ise

GKÇ işlemi kullanıldı. Burada GKÇ yaklaşımı içerisinde “Ölçeksiz Değişken Dönüşümü Ölçeği” (ÖDDÖ)

tekniği kullanıldı. ÖDDÖ ile orjinal görüntünün üzerinde ayırt edilebilme özelliği yüksek anahtar yerler

oluşturup, bunu farklı açılardan çekilmiş görüntüler üzerinde anahtar noktaları tespit ederek görüntünün

doğruluğunu bulmayı amaçlamaktadır. Bu durum Şekil 11’ de anlatılmaktadır.


116

Şekil 11. GKÇ histogram oluşumu [1]

BBBG modeli ile tıbbi görüntülerin; “Metin, Görsel, Karışık (Metin + Görsel)” sınıflandırılması

amaçlanmıştır. Ve bunun için kendi geliştirdikleri model ile birlikte geleneksel yaklaşım modelleriyle, ResNet

modelini iç içe kullanmışlardır. Şekil 12’ de görüldüğü gibi, BBBG modeli, 3 kategoride başarılı sonuçlar

almıştır.

Şekil 12. BBBG modelinin başarı oranları [1]

Diğer bir çalışmada ise bilim adamları, sınıflandırma işleminde performansı artırmak için “El ile işlenmiş

görsel niteliklerle birlikte derin öğrenme” (EİGNDÖ) modelinin kodlarını tasarlamışlardır. Bu modelde,

İmageCLEF 2016’ da ki 30 kategoride yer alan, veri kümesi kullanılmıştır. Kategorilerden bazıları yeterli veri

kümesine sahip olmaması, bazıları da uygun sınıf olmamasından dolayı elde edilen performans sonucunu

olumsuz etkilemiştir. EİGNDÖ modeliyle, %85.47 orana varan bir başarı elde etmişlerdir. Burada KSA

modeliyle elle işlenmiş görsel nitelikler birleştirilerek, görüntüleri sınıflandırma modeline gidilmiştir. Görüntüler

üzerinde görsel öznitelik çıkarımı için, tek tanımlayıcılar (renk, doku, şekil), çoklu tanımlayıcılar ve bulanık renk

dokusu histogramları kullanılmıştır. Sınıflandırma işleminde kullanılan diğer teknikler ise; Özellik çantası

yöntemi (ÖÇY), mekânsal piramit eşleştirme (MPE) yöntemi, ÖDDÖ yöntemi, TBA, geri yayılım sinir ağı

(GYSA), yerel ikili desen (local binary patterns-YİD) yöntemleri kullanılmıştır [2].

ÖÇY ile görüntü üzerindeki kelimelerin görülme sıklık dereceleri bir dizide toplanarak sınıflandırma

işlemine gidilmesi yöntemidir. MPE yönteminde; görüntü mekânsal olarak bir kaç bölütlü görüntüye ayrılır. Ve

görüntünün bir bölütü ÖÇY çantasındaki kelimelerin içerisinde varsa, diğer bölütleri tahmin edilerek

sınıflandırma işlemi yapılır. Bu yöntemlerin kullanılmasındaki amaç, performans ve zamandan kazançtır. GYSA

ile hata çıktıları hesaplanır ve geri yayılımla ağa tekrar parametreler güncel bir şekilde geri döndürülür. YİD

yöntemiyle, görüntüler arasında parlaklık değişimine karşı dayanıklı olmasıdır. Bu yöntemle, her piksel değeri

için bir etiket oluşturulur ve bu etiket 1 veya 0 dan oluşur. Bu tekniklerin kendi modellerinde kullanılma sebebi

örneğin; beyin organına ait İmageCLEF veri kümesinde hem Tomografi (BT) hem de manyetik rezonans (MR)

görüntüleri mevcuttur. Bu iki görüntü tipi görsel yönden pek çok benzerlik gösterirler. Şekil 13’ e bakınız. Bu


117

sebepten dolayı bu benzerlikleri sınıflandırmak için yukarıdaki tekniklerle beraber KSA yöntemini, kendi

tasarladıkları model ile birlikte kullanmışlardır [2]. Kısaca oluşturdukları EİGNDÖ Yöntemi;

KSA + ÖÇY, YİD Tanımlayıcı + TBA + GYSA (1)

Şekil 13. Beyin MR ve tomografi görüntüleri [2]

Denklem 1’ de görüldüğü gibi KSA ile diğer tekniklerin birleştirilmesiyle oluşur. EİGNDÖ yönteminin

çalışma algoritması ise Şekil 14’ te dir.

Şekil 14. EİGNDÖ algoritması tasarımı [2]

Şekil 15. KSA modeli özellik çıkartma aşamaları

EİGNDÖ yönteminde, “Caffe-Ref, VGG-f, VGG-19” 3 adet KSA modeli kullanılmıştır. Bu yöntemde,

diğer yöntemlere kıyasla %85.47 oranında başarı sağlamıştır. Başarı oranı, Tablo 2’ de yer almaktadır.

EİGNDÖ yöntemi içerisinde kullanılan Derin KSA modelinin özellik çıkartma aşamaları Şekil 15’ te

gösterilmiştir. Benzer alanda yapılan önceki çalışmaların sonuçlarını EİGNDÖ yöntemiyle kıyaslanması

yapılmış ve gayet başarılı bir sonuç elde edilmiştir. Sonuçlar Tablo 3’ te gösterilmiştir.


118

Tablo 2. EİGNDÖ modelinin diğer modellere göre performans göstergesi [2]

Özellikler Sınıflandırma

Doğruluğu(%)

El İşi Yöntemler ÖÇY 70.86

YİD 71.29

Tam Eğitilmiş KSA ile

Derin Özellik 67.02

Derin Özellik + ÖÇY 72.39

Derin Özellik + YİD 73.98

Derin Özellik + ÖÇY + YİD 75.37

Önceden Eğitilmiş KSA

ile

Derin Özellik + Caffe-Ref 79.81

Derin Özellik + VGG-f 80.77

Derin Özellik + VGG-19 81.71

3 Derin Özellik + ÖÇY + YİD

(EİGNDÖ Modeli) 85.47

Tablo 3. EİGNDÖ yönteminin, benzer çalışmalarla kıyaslanması

Yöntem Çalışma Yöntemi Sınıflandırma

Doğruluğu(%)

EİGNDÖ Görsel 85.47

Koitka et al.(ResNet) [1] Görsel 85.38

Koitka et al.(11 el işi özellikler çıkarma) [1] Görsel 84.46

Valavanis et al. [15] Görsel 84.01

Kumar ea al. [16] Görsel 77.55

Li et al. [17] Görsel 72.46

Semedo et al. [18] Görsel 65.31

Derin öğrenme de görüntüyü sınıflandırma aşamasında kullanılan yeni yöntemlerden birisi de süper

pikseldir. Süper pikseller, görüntü bölütleme ve sınıflandırma işlemlerinde kullanılan kümeleme yöntemidir. Bu

yöntem ile görüntü tutarlı küçük bölgelere bölünür ve bu bölgelere değişen yoğunlukta tohumlar (pikseller)

homojen olarak yerleştirilerek çok çözünürlüklü bir görüntü elde edilir.

Biyomedikal alanda yapılan çalışmada cilt doku bozukluklarının tespitini derin öğrenme yöntemiyle

tespitini yapmak için, süper piksel yöntemiyle KSA modeli beraber kullanılmıştır [20]. Ciltte oluşan doku

bozukluğu görüntüsü için Şekil 16’ ya bakınız.

Şekil 16. ISBI (Uluslararası Biyomedikal Görüntü Sempozyumu) 2016’ da ki dermoskopik görüntüler

Bu çalışmada, TKA yöntemiyle deri üzerindeki lezyon tabaka şekil olarak kabaca tespit edildi [19]. Sadece

TKA yöntemiyle deri lezyonun tespit sonuçlarını Şekil 17’ de görebilirsiniz.


119

Şekil 17. ISBI (Uluslararası Biyomedikal Görüntü Sempozyumu) 2016’ da deri görüntüleri üzerinde kullanılan TKA yöntemi

Şekil 17’ de kullanılan TKA yönteminde “otsu eşiği” tekniği kullanılmıştır. Bu teknikle, belirlenen bir eşik

değeri üzerinde çıkan pikseller 1; eşik değeri altında kalan piksel değeri ise 0 olarak etiketlenerek resmin siyah

beyaz görüntüsü elde etmeye yarar. Önerdikleri yöntemle; TKA ile tespit edilen kaba şekilli görüntülerin; süper

piksellerle birleştirilerek daha ince ve doğru bir şekilde lezyon tespitini sağlamayı amaçlamıştır.

Şekil 18’ i incelediğimizde 1. Basamakta tamamen derin öğrenme modeli TKA yöntemiyle elde edilen

lezyon görüntüler, 2. basamakta süper piksellerle piksel haritalandırılması yapılmaktadır. Ve yöntemin sonunda

“otsu eşiği” tekniğiyle lezyon bölge tespit edilmektedir. Burada 1. Basamakta her bir görüntünün 5 farklı kamera

açısından görüntüsü istiflenerek eğitim kümesinde, artırılma işlemi yapılmıştır. Ayrıca süper piksel yönteminde

kullanılan algoritma ise “Basit Doğrusal Yinelemeli Kümeleme” (BDYK) tekniğidir. Bu teknik ile sonradan

yerleştirilen pikseller eşit bir dağılım (homojen) göstermektedir [19].

Şekil 18. “TKA + Süper piksel” yöntemi işleyiş şeması [19]

Süper piksel, yönteminde kullanılan skor haritaları 0 ve 1 den oluşmaktadır. Sıfır düşük güvenirlikli süper

piksel; bir ise yüksek güvenirlikli süper piksel anlamına gelmektedir. 0 veya 1 olmasındaki karar mekanizması:

Süper piksel görüntünün içerisindeki piksellerin ortalama değeri hesaplanır. Elde edilen sonuç, tüm süper

piksellerin ortalama değerinden büyükse 1; değilse 0 kabul edilir.

Çalışma yönteminin deneysel sonuçlarında ISBI 2016 biyomedikal veri kümesi kullanıldı. Toplam 900

eğitim ve 379 test dermoskopi görüntüsünden oluşmaktadır. Süper piksel sayısına göre deride ki lezyon tespiti

analizi yapılmıştır. SP-400 (Süper piksel adeti: 400) en iyi performansı gösterdiği için (% 80.6 başarı oranı) SP-

400 kendi yöntemlerinde kullanılmıştır. Elde edilen başarı oranı % 92.3’ tür [19]. Bu yöntemde, elde edilen

bölütleme işlemi örnek sonuçları için Şekil 19’ a bakınız.


120

Şekil 19. “TKA”, “süper piksel” yöntemlerinin bölütleme işlemi örnek sonuçları [19]

5. Tartışma ve Sonuç

Derin öğrenme, yapay zekânın bir koludur. Amaç, görüntü işlemelerde daha hızlı, verimli ve en önemlisi

otomatik olarak öznitelikler çıkarıp ve bunu sonuca yansıtmaktır. Geleneksel yöntemlerde ise bu işlev elle

girilmektedir. Derin öğrenme modellerinin belki de en iyi özelliği, bir imgenin sınıflandırılmasında çok sayıda

tasarlanan modellerle ve birçok geleneksel yöntemlerin de iç içe kullanabilmesine olanak sağlamasıdır.

Derin öğrenme modellerini birbiriyle kıyasladığımızda en önemli dezavantajı ise çok sayıda katman

sayısından ve parametrelerden oluştuğudur. Kimi derin öğrenme mimarilerin çoğu istiflenerek yani sırasıyla

çalışır. Bu durum ne kadar katmanların bazıları kendi yapılarında paralel bir şekilde işlese de derin öğrenme

modelinde dezavantaj olarak görülebilmektedir. Mimarilerin karmaşıklığı, elde edilen performansı da olumsuz

etkileyebilmektedir.

Sonuç olarak, derlemiş olduğumuz bu makalede, derin öğrenme ile ilgili biyomedikal alanında son

zamanlarda yapılan çalışmalar hakkında kısa bilgiler sunuldu. Biyomedikal alanında çalışma yapmak isteyenler

için; derin öğrenme modelleri ile kütüphanelerinden temel seviyede bahsedilmiş olup; bu modellerin, geleneksel

yöntemlerle kullanılmasından ve elde edilen performans sonuçlarına etkisinden bahsedildi.

Kaynaklar

[1] J. Zhang, Y. Xia, Y. Xie, M. Fulham, and D. Feng, “Classification of Medical Images in the Biomedical Literature by

Jointly Using Deep and Handcrafted Visual Features,” IEEE J. Biomed. Heal. Informatics, vol. 2194, no. 2, pp. 1–10,

2017.

[2] S. Koitka and C. M. Friedrich, “Traditional feature engineering and deep learning approaches at medical classification

task of imageCLEF 2016,” CEUR Workshop Proc., vol. 1609, pp. 304–317, 2016.

[3] “Makineyle Öğrenme – GPU Hızlandırmalı Uygulamalar | Tesla Yüksek Başarımlı Hesaplama|NVIDIA.” [Online].

Available: http://www.nvidia.com.tr/object/tesla-gpu-machine-learning-tr.html. [Accessed: 12-Mar-2018]

[4] “Keras Documentation.” [Online]. Available: https://keras.io/. [Accessed: 12-Mar-2018].

[5] Y. Jia et al., “Caffe: Convolutional Architecture for Fast Feature Embedding,” Jun. 2014.

[6] “TensorFlow.” [Online]. Available: https://www.tensorflow.org/. [Accessed: 12-Mar-2018].

[7] Ö. R. Girshick, J. Donahue, T. Darrell, and J. Malik, “Rich feature hierarchies for accurate object detection and

semantic segmentation,” Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., pp. 580–587, 2014.

[8] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks,”

Adv. Neural Inf. Process. Syst., pp. 1–9, 2012.

[9] M. D. Zeiler and R. Fergus, “Visualizing and Understanding Convolutional Networks arXiv:1311.2901v3 [cs.CV] 28

Nov 2013,” Comput. Vision–ECCV 2014, vol. 8689, pp. 818–833, 2014.

[10] C. Szegedy et al., “Going deeper with convolutions,” Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit.,

vol. 07–12–June, pp. 1–9, 2015.

[11] S. Wu, S. Zhong, and Y. Liu, “Deep residual learning for image steganalysis,” Multimed. Tools Appl., pp. 1–17, 2017.


121

[12] S. Xie, R. Girshick, P. Dollár, Z. Tu, and K. He, “Aggregated Residual Transformations for Deep Neural Networks,”

2016.

[13] R. Girshick, J. Donahue, T. Darrell, and J. Malik, “Rich feature hierarchies for accurate object detection and semantic

segmentation,” Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., pp. 580–587, 2014.

[14] A. Kumar, J. Kim, D. Lyndon, M. Fulham, and D. Feng, “An Ensemble of Fine-Tuned Convolutional Neural Networks

for Medical Image Classification,” IEEE J. Biomed. Heal. Informatics, vol. 21, no. 1, pp. 31–40, 2017.

[15] T. Valavanis, L.; Stathopoulos, S.; Kalamboukis, “CLEF 2016 | Conference and Labs of the Evaluation Forum,” 2016.

[Online]. Available: http://clef2016.clef-initiative.eu/index.php?page=Pages/cfLabsParticipation.html. [Accessed: 12-

Mar-2018]

[16] A. Kumar, D. Lyndon, J. Kim, and D. Feng, “Subfigure and Multi-Label Classification using a Fine-Tuned

Convolutional Neural Network,” pp. 1–4.

[17] P. Li et al., “UDEL CIS at imageCLEF medical task 2016,” CEUR Workshop Proc., vol. 1609, pp. 334–346, 2016.

[18] D. Semedo and J. Magalhães, “NovaSearch at imageCLEFmed 2016 subfigure classification task,” CEUR Workshop

Proc., vol. 1609, pp. 386–398, 2016.

[19] R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, and S. Süsstrunk, “SLIC superpixels compared to state-of-the-art

superpixel methods,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 34, no. 11, pp. 2274–2281, 2012.

[20] B. Bozorgtabar, S. Sedai, P. K. Roy, and R. Garnavi, “Skin lesion segmentation using deep convolution networks

guided by local unsupervised learning,” IBM J. Res. Dev., vol. 61, no. 4, p. 6:1-6:8, 2017.

[21] “ Softmax .” [Online]. Available: https : // www.semanticscholar.org/ topic/ Softmax-function/966784/ [Accessed: 16-

Nov-2018].

biyomedikal görüntülerde derin Öğrenme ile mevcut ......derin öğrenme modeline ilgi...

Documents