dağıtık sistemler İçin mahremiyet korumalı uç Öğrenme makinesi sınıflandırma modeli

Giris Ön Bilgiler Mahremiyet Korumalı UÖM Egitimi Benzetim Sonuçları Sonuç

Dagıtık Sistemler Için Mahremiyet Korumalı UçÖgrenme Makinesi Sınıflandırma Modeli

Ferhat Özgür Çatak 1

Ahmet Fatih Mustaçoglu 1

Ahmet Ercan Topçu 2

1TÜBITAK BILGEM

2Yıldırım Beyazıt Üniversitesi

24. IEEE Sinyal Isleme ve Iletisim Uygulamaları Kurultayı17 Mayıs 2016

Ferhat Özgür Çatak TÜBITAK BILGEM

Dagıtık Sistemler Için Mahremiyet Korumalı Uç Ögrenme Makinesi Sınıflandırma Modeli


Içindekiler

1 GirisKonunun Önemi

2 Ön BilgilerUç Ögrenme MakinesiHomomorfik SifrelemePaillier Sifrelemesi

3 Mahremiyet Korumalı UÖM EgitimiKayan Noktalı SayılarDikey Bölümlenmis VeriMahremiyet Korumalı UÖM Algoritması

4 Benzetim SonuçlarıDeneysel KurulumSimülasyon Sonuçlar

5 SonuçSonuç




Içindekiler

1 GirisKonunun Önemi

2 Ön Bilgiler

3 Mahremiyet Korumalı UÖM Egitimi

4 Benzetim Sonuçları

5 Sonuç




Konunun Önemi

Konunun Önemi

Veri MahremiyetiI Makine ögrenme yöntemleri, kisisel hassas bilginin ifsa olması

konusunda oldukça yüksek risk içermektedir.

Bu çalısmanın en önemli katkıları su sekildedir:

I UÖM sınıflandırma algoritmasının egitiminde kullanılacak verikümesinin, birbirleriyle direk iletisimi olmayan partiler arasındasifreli paylasımı yapılmaktadır.

I Her bir parti sadece kendinde bulunan ve içerigine erismedigi sifrelialt veri kümesi için gizli katman çıktı matrisini yine sifreli olarakhesaplamaktadır.

I Istemci, partiler tarafından hesaplanan gizli katman çıktı matrislerinibirlestirerek nihai sınıflandırma modelini olusturmaktadır.




Içindekiler

1 Giris

2 Ön BilgilerUç Ögrenme MakinesiHomomorfik SifrelemePaillier Sifrelemesi



5 Sonuç




Uç Ögrenme Makinesi


Yinelemeli Güncelleme Olmadan ÖgrenmeI Gizli dügüm parametreleri rassal olarak olusturulabilir. Herhangi bir

hedef fonksiyon, f , ve rassal olusturulmus parametreler içinlimL→∞ ||f (x)− fL(x)|| = limL→∞ ||f (x)−∑L

i=1 βiG(ai , bi , x)|| = 0olasılıgının 1’e esit olması, βi seçilerek, ||f (x)− fL(x)||, ∀i ’ninminimize edilmesi ile saglanabilir.

I Gizli katman parametreleri için herhangibir ayarlamagerekmemektedir.

G.-B. Huang, et al., “Universal approximation using incremental constructive feedforward networks withrandom hidden nodes,” IEEE Transactions on Neural Networks, vol. 17, no. 4, pp. 879-892, 2006.

G.-B. Huang, et al., “Convex incremental extreme learning machine,” Neurocomputing, vol. 70, pp.3056-3062, 2007.

G.-B. Huang, et al., “Enhanced random search based incremental extreme learning machine,”Neurocomputing, vol. 71, pp. 3460-3468, 2008.






Sekil: Ileri Yayılımlı Yapay SinirAgları

Matematik Modeli

I N adet rassal seçilmis örneklem uzayı,(xi , ti ) ∈ Rn × Rm, "Ileri Yayılımlı YapaySinir Agları" için L adet gizli dügüm ve herbir gizli dügüm için çıktı fonksiyonuG(ai , bi , x) olmak üzere model su sekildeifade edilir:

L

∑i=1

βi G(ai , bi , xj ) = tj , j = 1, ...,N (1)

I (ai , bi ): gizli dügüm parametreleri

I βi : i . gizli dügüm ile çıktı dügümünübaglayan agırlık vektörü.






Matematik Modeli

∑Li=1 βiG(ai , bi , xj ) = tj , j = 1, ...,N ifadesi aynı sekilde Hβ = T ifade

edilebilir.

h(x1)...

h(xN)

=

G(a1, b1, x1) · · · G(aL, bL, x1)...

. . ....

G(a1, b1, xN) · · · G(aL, bL, xN)

N×L

(2)

β =

βT1...

βTL

L×m

ve T =

tT1...

tTN

N×m

(3)

H, sinir agının gizli katman çıktı matrisi, H matrisinin i . kolonu ise,x1, ..., xn girdilerinin i . gizli katman çıktılarını göstermektedir.






Üç Asamalı Ögrenme Modeli

D = {(xi , ti )|xi ∈ Rn, ti ∈ Rm, i = 1, · · · ,N} veri seti, gizli dügüm çıktıfonksiyonu G(a, b, x) ve L adet gizli dügüm olsun.

1 Rassal gizli dügüm parametrelerini atama islemi.(ai , bi ), i = 1, · · · , L.

2 Gizli katman çıktı matrisi, H, hesapla.

3 Çıktı agırlık vektörünü hesapla, β = HtT.






Belirgin Özellikler

I UÖM, basit matematik bilgisiyle, üç adımlı ögrenme algoritmasıdır.I UÖM’nin ögrenme hızı oldukça yüksektir.I Destek Vektör Makinesi veya Yapay Sinir Agları gibi geleneksel

ögrenme yöntemlerinin aksine, UÖM oldukça basit bir yöntemdir.




Homomorfik Sifreleme



Tanım Sifreli metinler üzerinde yapılan bazı matematikselislemlerin sonucunda elde edilecek olan sonucun, sifresiçözüldügünde elde edilecek olan sonuçla aynı isleminsifresiz metinler üzerinde yapılmasıyla elde edilensonucun aynı olmasını saglayan bir sifreleme türüdür.

Epk (x + y mod N) = Epk (x) · Epk (y)

Epk (x · y mod N) = Epk (x)y (4)




Paillier Sifrelemesi



Bir sayının n. kalanının hesaplamanın zorlugu temel alınarakgelistirilmis olasılıksal asimetrik sifreleme algoritmasıdır.

Tanım Olası bütün sifresiz mesajlar M, anahtar çifti kümesiK = PK × SK , PK açık anahtar ve SK gizli anahtar.Iki açık metin m1 ile m2 ve sabit bir deger a için Denklem5’i karsılamaktadır.

Dsk (Epk (m1)× Epk (m1)) = m1 + m2

Dsk(Epk (m1)

a) = a×m1(5)

Paillier, Pascal. "Public-key cryptosystems based on composite degree residuosity classes."Advances in cryptology—EUROCRYPT’99. Springer Berlin Heidelberg, 1999.




Içindekiler

1 Giris

2 Ön Bilgiler

3 Mahremiyet Korumalı UÖM EgitimiKayan Noktalı SayılarDikey Bölümlenmis VeriMahremiyet Korumalı UÖM Algoritması


5 Sonuç




Mahremiyet Korumalı UÖM Egitimi

Mahremiyet Korumalı UÖM Egitimi

Amaç Birden fazla parti (veya sunucu) arasında kendilerine aithassas verinin paylasılmadan ortaklasa UÖM egitiminigerçeklestirmek ve final sınıflandırma modelini eldeetmektir.




Kayan Noktalı Sayılar

Kayan Noktalı Sayılar

Kayan Noktalı SayılarSorun Önerilen yöntem, Paillier sifrelemesi kullandıgından sadece tamsayılar üzerinde islem

yapmaktadır.I Sınıflandırma algoritmaları genellikle kayan noktalı sayılar içeren veri kümelerine kullanmaktadır.

Çözüm Veri kümesinin yeni etki alanına göre eslestirilmesiI ConvertInteger : Rm → Zm x← ConvertInteger(x) where x ∈ Rm, x ∈ Zm




Dikey Bölümlenmis Veri

Dikey bölümlenmis veri

x1,1 · · · x1,t−1 · · · x1,t · · · x1,n

x2,1 · · · x2,t−1 · · · x2,t · · · x2,n

......

......

......

...xm,1 · · · xm,t−1 · · · xm,t · · · xm,n

Party1 · · · Partyk

D =

Sekil: Dikey bölümlenmis veri kümesi D.




Mahremiyet Korumalı UÖM Algoritması

Mahremiyet Korumalı UÖM Algoritması - IstemciIlklendirme

Algoritma 1: Istemci Ilklendirme

Data: Veri kümesi: D ∈ Rm×n, Sunucu sayısı: k , Sifre anahtar uzunlugu:l , Gizli katman sayısı: nh

Result: Her bir sunucu, Ps, için sifreli alt veri kümesibeginD ←− normalize(D);// Açık ve gizli anahtarları üret ;Keypub,Keypriv ←− KeyGen(l) ;// Agırlık vektörlerini olustur ;w←− random(nh,m) where w ∈ Rnh×m ;b←− random(1,m) where b ∈ Rm ;for i ∈ k do

Rassal nitelik endeksi üreteren her bir sunucu Pi için alt verikümelerini olustur. ;Di

enc ←− encrypt(Di ,Keypriv );





Mahremiyet Korumalı UÖM - Gizli Katman Çıktı Matrisi

Algoritma 2: Gizli katman çıktı matrisi hesaplamasıData:Result: Her bir parti Ps için sifreli alt gizli katman çıktı matrisi Hs

encbegin

for i ∈ k doJHKi ←− calcHiddenLayerMatrix(JDKi ,wi ,bi ) ;sendOutputLayerToClient(JHKi )





Mahremiyet Korumalı UÖM - Sınıflandırma Modeli

Istemci: Her bir partinin hesaplamıs oldugu sifreli gizli katman çıktımatrisini JHiK gizli-anahtarı kullanarak açık metin halineçevirir.

global H elde edilir.

H kullanılarak β degerleri hesaplanarak sınıflandırmamodeli olusturulur.

β = H+T (6)





Mahremiyet Korumalı UÖM - Genel Mimari

Istemci Ilklendirme

• Veri kumesi normalizasyonu

• Acık ve gizli anahtarları uretKeypub,Keypriv ←− KeyGen(l)

• Agırlık vektorlerini olustur

w←− random(nh,m)

b←− random(1,m)

• for i ∈ k

Dienc ←− encrypt(Di,Keypriv)

Parti0JHKi ← calcH(JDKi,wi,bi)

Parti1JHKi ← calcH(JDKi,wi,bi)

PartikJHKi ← calcH(JDKi,wi,bi)

Model Olusturma

• Hi ← decrypt(JHiK,Keypriv)

• global H elde edilir.

• H kullanılarak β degerlerihesaplanarak sınıflandırmamodeli olusturulur.

β = H+T (1)

w0,b0

JDK0,Keypub

w1,b1

JDK1,Keypub

wk,bk

JDKk,Keypub

JHK0

JHK1

JHKk

Sekil: Genel sistem mimarisi




Içindekiler

1 Giris

2 Ön Bilgiler


4 Benzetim SonuçlarıDeneysel KurulumSimülasyon Sonuçlar

5 Sonuç




Deneysel Kurulum

Deneysel Kurulum

Tablo: Kullanılan veri kümelerinin bilgileri.

Veri kümesi # Egitim # Sınıf # Öz nitelikionosphere 351 2 34

Sonar 208 2 60Breast Cancer 683 2 10

Australian 690 2 14

Sunucu tarafı Python multiprocessing kütüphanesi kullanılarak farklıprosesler olacak sekilde gelistirilmistir.




Simülasyon Sonuçlar

Simülasyon Sonuçları I

Ionosphere Sonar Breast-Cancer Australian

Tim

e in

ms

0

100

200

300

400

500

600

700

512 bit

1024 bit

Sekil: Veri kümeleri için sifreleme süreleri.





Simülasyon Sonuçları II


Tim

e in

se

co

nd

s

0

100

200

300

400

500

600

3

5

7

10

Sekil: 512-bit anahtar performans sonuç karsılastırması.





Simülasyon Sonuçları III


Tim

e in

se

co

nd

s

0

500

1000

1500

2000

2500

3000

3

5

7

10

Sekil: 1024-bit anahtar performans sonuç karsılastırması.





Sınıflandırma Sonuçları

Tablo: Veri kümeleri için sınıflandırma sonuçları.

Veri Kümesi Açık 512 bit 1024 bit

ionosphere 0.8613 0.7311 0.6598Sonar 0.7293 0.5976 0.5856Breast Cancer 0.9592 0.9433 0.9204Australian 0.8438 0.6877 0.6444




Içindekiler

1 Giris

2 Ön Bilgiler



5 SonuçSonuç




Sonuç

Sonuç

I Homomorfik özelliklere sahip Paillier sifrelemesini UÖMalgoritmasının gizli katman çıktı matrisi hesaplamasındakullanılması önerildi.

I Girdi matrisini parçalara ayırarak UÖM sınıflandırmasının egitimasamasından önce sifrelemektedir

I Sifreli alt veri kümeleri, her biri farklı bir partide olacak sekilde, H,hesaplaması dagıtık ve mahremiyet korumalı olarak yapılmaktadır.

I Anahtar uzunlugunun 2048 bit olacak sekilde hesaplanmasıI sigmoid ve tanh gibi farklı aktivasyon fonksiyonları için tasarımı

gerçeklestirilecektir.




Sonuç

Sonuç

Tesekkürler



dağıtık sistemler İçin mahremiyet korumalı uç Öğrenme makinesi sınıflandırma modeli

Data & Analytics