اﺪﺧ مﺎﻨﺑ - saman parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ...
TRANSCRIPT
![Page 1: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/1.jpg)
خدا بنام خدابنام
سمينار درس بازشناسي الگو
كاربرد گوسيها و مخلوط آنها در بازشناسي الگو
كبير دكتر :استاد
سامان پروانه :ارايه
١١
![Page 2: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/2.jpg)
طال ت :فهرست مطالبف
دليل استفاده از مدلسازي در بازشناسي•تابع گوسي •تابع چگالي تابع گوسي•گ• ع تا هاي ت ا ا ن تخ تخمين پارامترهاي تابع گوسي•مخلوط گوسيها•تخمين پارامترها•
٢٢بررسي همساني•
![Page 3: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/3.jpg)
؟ كن از دل ا ا ا چرا داده ها را مدلسازي مي كنيم؟ا
٣٣
![Page 4: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/4.jpg)
ناظ د زش :آموزش بدون ناظرآ
بعضي اوقات آسان
نبعضي اوقات غيرممكن ير و ي ب
ن نا ت ض د قات ا بعضي اوقات در وضعيت بينابينيض
۴۴
![Page 5: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/5.jpg)
گ :تابع گوسيتا
::يك توزيع متدول استيك توزيع متدول استك كط لط گ ل لا گ ل ككا ..كندكند جمع متغيرهاي مستقل به گوسي ميل ميجمع متغيرهاي مستقل به گوسي ميل مي::بر طبق تئوري حد مركزيبر طبق تئوري حد مركزي--
..شودشود نويز و خطا معموالً با توزيع گوسي مدل مينويز و خطا معموالً با توزيع گوسي مدل مي --ا ا ا ا ا ا اط اً ا ا ا ا ا اط اً اا ا شود براي مثالشود براي مثالمعموال وقتي اطالعات دقيق وجود ندارد از اين توزيع استفاده ميمعموال وقتي اطالعات دقيق وجود ندارد از اين توزيع استفاده مي--
......در بازدة بورس، قد مردان و در بازدة بورس، قد مردان و نا ن ال ن ت ت ناا ن ال ن ت ت نگا شكل ا ا نگش شكل ا ا اش اشكل شكل ..شكل استشكل است--شود و داراي شكل زنگيشود و داراي شكل زنگياين توزيع، توزيع نرمال نيز ناميده مياين توزيع، توزيع نرمال نيز ناميده مي
۵۵
![Page 6: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/6.jpg)
گ ال ت ا گال :تابع چگالي احتمال گوسيتا
X يك متغير تصادفيd-بعدي است.
ماتريس كوواريانس
بردار ميانگين.شامل ميانگين هر بعد است
واريانس
۶۶كوواريانس
![Page 7: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/7.jpg)
گ ال ت ا گال ه(تا ا )ا ):ادامه(تابع چگالي احتمال گوسي
متعامد
اف دان تاندا ادفتغا تXت ا
است؟قطريكوواريانسماتريسموقعچه
.استX تصادفيمتغيراستانداردانحراف:
٧٧
![Page 8: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/8.jpg)
نة ندن آ ايف :دا :دايره ايفرآيندنمونة
٨٨
![Page 9: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/9.jpg)
نة انن ا يك :قط :قطريكوواريانسنمونة
٩٩
![Page 10: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/10.jpg)
نة انن ا لك :كا :كاملكوواريانسنمونة
١٠١٠
![Page 11: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/11.jpg)
ا از گ تا ا ت ا ا :تخمين پارامترهاي تابع گوسي از دادهتخ
تخمين گر ميانگين:
تخمين گر بدون باياس كوواريانس:
١١١١
![Page 12: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/12.jpg)
گ دل ه ت ن نه ن ك :همساني يك نمونه نسبت به مدل گوسيان
.مي شود استفاده طبقه بندي براي )Likelihood( همساني:با است برابرهمساني)پارامترهابودنمعلوم( دادهتوليدمدليكبودنمعلومبا-
:است زير رابطة ارزيابي با معادل گوسي مدل براي-
Joint(همزمانهمساني- Likelihood(:كهنمونه هايي ازمجموعهيكبراي.است نمونه هاازكدامهرهمسانيحاصلضربشده اند،توزيعيكنواختبصورت
١٢١٢
![Page 13: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/13.jpg)
Log likelihoodاLikelihood Log-likelihoodبجايLikelihood:
.مي كند تبديل حاصلجمع به را حاصلضرب -1
.مي كند جلوگيري نمايي محاسبات از گوسي، حالت در -2
مشابه روابط نتيجه در است يكنوا صعودي ،Log-likelihood چونLikelihoodبشود استفادهطبقه بنديبرايمستقيم بصورتمي تواندواست.
١٣١٣
وو وري ييمب يبر ب وب ب
![Page 14: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/14.jpg)
گ ط خل )GMM(دل ):GMM(مدل مخلوط گوسي
گوسيهامخلوطمدل.است ها خوشه آماري مدلسازي اساس بر -پارامتر تخمينمسئلةيك←بنديخوشه-
ازكرد، مي مينيممراخوشهمراكزتاها نمونه فاصلةجمعكهK-meansمشابهراگوسي مخلوطمدل)Likelihood(همساني تاكنيممياستفادهEMالگوريتم.كنيم ماكزيمم
١۴١۴
![Page 15: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/15.jpg)
نه ن گ ط خل د(ند ك )الت ):حالت يك بعدي(چند مخلوط گوسي نمونه
١۵١۵
![Page 16: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/16.jpg)
ت ازش گ ط خل :كاربرد مخلوط گوسي در پردازش تصويركا
١۶١۶
![Page 17: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/17.jpg)
گ ط خل HMMكا :HMMكاربرد مخلوط گوسي در
١٧١٧
![Page 18: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/18.jpg)
گ ط :مخلوط گوسيخل
∑=
Σ=K
iiii xNwPxp
١),|()()( μ
١٨١٨∑=
=>K
iii wPwP
١(٠,)(١(
![Page 19: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/19.jpg)
گ ط ه(خل ا )ا ):ادامه(مخلوط گوسي
• choose component with probability wk
• generate X ~ N(μk,σk)
μ٢
Xμ٣
μ١μ١
X
μ١μ١
١٩١٩
![Page 20: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/20.jpg)
گ ط خل ة ا نكته :چند نكته دربارة مخلوط گوسيند
استاستگوسگوسچگالچگالتابعتابعتعداديتعدادييافتةيافتةوزنوزن))مخلوطمخلوط((جمعجمعp(x)چگالچگالتابعتابع–– ..استاست گوسيگوسيچگاليچگاليتابعتابعتعداديتعدادييافتةيافتةوزنوزن ))مخلوطمخلوط((جمعجمعp(x)چگاليچگاليتابعتابع استاست ديگرديگر متغيرهايمتغيرهاي يافتةيافتة وزنوزن جمعجمع كهكه متغيريمتغيري بابا چگاليچگالي توابعتوابع جمعجمع ايناين––
Y::باشدباشدميميمتفاوتمتفاوت = aX١ + bX٢ Y::باشدباشدميميمتفاوتمتفاوت aX١ bX٢
٢٠٢٠
![Page 21: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/21.jpg)
گ ط خل ك تClass ١
:تركيب مخلوط گوسي
)()(
)|()|(XPCP
CXPXCP jjj ⋅=
G١,w١ G٢,w٢)(
∑=Nc
kkj GwCXP )|(
G٣,w٣
∑=k ١
)|(
١ G۵.w۵)]()(٢/١[٢/١٢/
١
||)٢(١)|( i
Ti XViX
idik e
VGXpG μμ
π−−− −
⋅=≡
G۴,w۴Variables: μi, Vi, wk
٢١٢١We use EM (estimate-maximize) algorithm to approximate this variables.
![Page 22: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/22.jpg)
اشد؟ د ند ا گ دا تعداد گوسيها چند عدد باشد؟ت
Problem of scoring models with different complexitiesProblem of scoring models with different complexitiesModel too flexible ⇒ overfit the data ⇒ high varianceModel too restrictive ⇒ can’t fit the data ⇒ high biasBi i d ff iBias-variance tradeoff: compromise
٢٢٢٢
![Page 23: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/23.jpg)
ط ش ك شت ال ت :احتمال مشترك و شرطيا
تركيب را استYوXشاملكهاحتماالتيبخواهيموباشيمداشتهراYوXمتغيردواگر يمرويرور يموب و يبروليب ر:كنيم
Joint(مشتركاحتمال Probability(:باآنراp(x,y)ايناحتمال و دهيم مينمايشكهاست اين احتمالاصلدر.بگيردراy١مقدار Yوبگيردراx١مقدارXكهاست :بدهند رخ حالتها اين دوي هرXاxد١ دy١اYش ش Xبرابرxوبشود١Yبرابرyبشود١.
Joint(شرطاحتمال Probability(:باآنراp(x|y)مفهومبدينودهيممنمايش Joint(شرطياحتمال Probability(: باآنراp(x|y)مفهوم بدين و دهيممينمايش غيرممكن از صرفنظر( بگيرد را x مقدار X گرفت، را y مقدار Y درصورتيكه كه است)بگيرد را y مقدار Y اينكه بودن
p(x,y) :رابطه٢٣٢٣ = p(x|y)p(y)
![Page 24: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/24.jpg)
ط ش ال ت ا ت :اهميت احتمال شرطيا
گيري، تصمي تئوري بندي، طبقه جمله از مختلفي هاي حوزه در شرطي احتمال.استاهميتدارايمشابهموقعيتهايوبينيپيش .استاهميتدارايمشابهموقعيتهايوبينيپيش گيري، تصميم بندي، طبقه كه است اين باال كاربردهاي در اهميت اين دليلاحتمال خواهيم ميبنابراين.دهيم ميانجاممالكيكاساسبررا...وبيني پيش.p(r|e).بدانيم مالكبودنمعلومبارانتيجهيك
بندي طبقه كه است x ويژگيهاي يا گيريها اندازه مقادير مالك بندي، طبقه در -د اا اا زكننتااشدآن ان تند)w(كال ه .هستند)w(كالسهانيز،ممكننتايج.باشدآنهااساسبربايد
روي از مستقيم بطور p(wi|x) شرطي احتمال تخمين كه است اين در مشكل -.استسختخيليداده ي ي
٢۴٢۴
![Page 25: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/25.jpg)
GMMتخ :GMMتخمين
N N K ⎤⎡
:برابر است با log-likelihoodدر حالت كلي GMMبراي
},...,,,...,),(),...,({
),|()(log)|(log)(
١١١
١ ١ ١
KKK
N
i
N
i
K
jjjiji
wPwP
xNwPxpL
ΣΣ=Θ
⎥⎦
⎤⎢⎣
⎡Σ=Θ=Θ ∑ ∑ ∑
= = =
μμ
μ
}, ,,, ,),(), ,({ ١١١ KKK μμ
كه داشت توجه بايد ولي مي كنيم ماكزيمم رابطة كمك با را همساني.استسختآنحل
٠=Θ∂∂L
ل استفاده )EM )Expectation-Maximization شدة ساده الگوريتم از :راه حليم.مي كنيم ي
.كنيم بازيابي را ناكامل اطالعات تا مي كند كمك )E )Expectation مرحلة -i i i
٢۵٢۵
شده بازيابي اطالعاتازاستفادهباراهمساني ،)M)Maximizationمرحلةدر-.مي كنيم ماكزيمم
![Page 26: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/26.jpg)
ت EMالگ :EMالگوريتم
) (.است ناكامل آموزش دادة χ
عه لدادةج هاي:كا :خفتغ }γχ{γ :مخفيمتغيرهاي :كاملدادةمجموعه
ان لدادةه تتاكهكا ا
},γχ{
)|( γχθL
γ
γ .است تابع كه :كاملدادةهمساني ),|( γχθLγ
٢۶٢۶
![Page 27: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/27.jpg)
ا ل(ثال كا ات اطال )ا ):با اطالعات كامل(مثال ساده
:باشد” نمرات يك كالس“اگر وقايع ww١١ = Gets an A= Gets an A P(A) =P(A) = ½½ww١١ Gets an A Gets an A P(A) P(A) ½½ww٢٢ = Gets a B= Gets a B P(B) = P(B) = μμww٣٣ = = Gets a CGets a C PP((CC) = ) = ٢٢μμ٣٣ aa (( )) μμww۴۴ = Gets a D= Gets a D P(D) = P(D) = ½½--٣٣μμ
(( دقتدقت:: ٠٠ ≤≤ μμ ≤≤١١//۶۶))::در يك كالس مفروض داريمدر يك كالس مفروض داريم. . را از داده تخمين بزنيمرا از داده تخمين بزنيم μμخواهيم فرض كنيد مي
a Aa A’’ssb Bb B’’ssb Bb B ssc Cc C’’ssd Dd D’’ss
چقدر است؟چقدر است؟ a,b,c,da,b,c,dبا معلوم بودن با معلوم بودن μμتخمين بيشترين همساني براي تخمين بيشترين همساني براي ٢٧٢٧
![Page 28: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/28.jpg)
شMLا ل ت !ا !براحتي حل مي شودMLباML = Maximum Likelihood
P(A) = P(A) = ½½ P(B) = P(B) = μμ PP((CC) = ) = ٢٢μμ P(D) = P(D) = ½½--٣٣μμ
P(P( b db d || ) K() K(½½))aa(( ))bb((٢٢ ))cc((½½ ٣٣ ))ddP( P( a,b,c,da,b,c,d | | μμ) = K() = K(½½))aa((μμ))bb((٢٢μμ))cc((½½--٣٣μμ))dd
log P( log P( a,b,c,da,b,c,d | | μμ) = log K + ) = log K + aalog log ½½ + + bblog log μμ + + cclog log ٢٢μμ + + ddlog (log (½½ ٣٣μμ))ddlog (log (½½--٣٣μμ))
AA BB CC DD٠LogP
SETμ,MLEFOR =∂
١۴١۴ ۶۶ ٩٩ ١٠١٠
٠μ٣٢/١
d٣μ٢c٢
μb
μLogP
μSETμ, MLE FOR
=−+=∂
∂∂
got class if So
( )dcb۶cb
μ likemax Gives
μ٣٢/١μ٢μμ
+++
=
−∂
٢٨٢٨١٠١
μ MLE =( )dcb۶ ++
![Page 29: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/29.jpg)
ا خف(ثال ات اطال )ا ):با اطالعات مخفي(مثال ساده
Someone tells us thatNumber of High grades (A’s + B’s) = h
REMEMBER
P(A) = ½
Number of C’s = cNumber of D’s = d
P(B) = μ
P(C) = ٢μ
P(D) = ½-٣μ
What is the max. like estimate of μ now?( ) μ
EXPECTATION f k h l f ld h
hbha ١μ ١
٢١
==
EXPECTATION If we know the value of μ we could compute the expected value of a and b
Since the ratio a:b should be the same as the ratio ½ : μμ٢
١μ٢١ ++
cb+MAXIMIZATION
If k th t d l f d b٢٩٢٩( )dcb ++
=۶
μ If we know the expected values of a and bwe could compute the maximum likelihood value of μ
![Page 30: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/30.jpg)
دEMكا ثال ا :براي مثال بديهيEMكاربرد
٣٠٣٠
![Page 31: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/31.jpg)
ا EMگ :EMهمگرايي
Convergence proof based on fact that Prob(data | Convergence proof based on fact that Prob(data | μμ) must increase ) must increase or remain same between each iteration or remain same between each iteration [NOT OBVIOUS][NOT OBVIOUS]
But it can never exceed But it can never exceed ١١ [OBVIOUS][OBVIOUS]
So it must therefore converge So it must therefore converge [OBVIOUS][OBVIOUS]
tt μμ(t)(t) b(t)b(t)
٠٠ ٠٠ ٠٠
In our example, suppose we had
h = ٢٠١١ ٠٨٣٣٠٨٣٣..٠٠ ٨..٢٢۵٧٨۵٧
٢٢ ٠٩٣٧٠٩٣٧..٠٠ ١..٣٣۵٨١۵٨
h ٢c = ١٠d = ١٠( ) ٣٣ ٠٩..٠٠۴٧٠٩۴٧ ١٨..٣٣۵١٨۵
۴۴ ٠٩..٠٠۴٨٠٩۴٨ ١٨٧١٨٧..٣٣
μ(٠) = ٠
Convergence is generally linear: error decreases by a constant factor each time
٣١٣١
۵۵ ٠٩..٠٠۴٨٠٩۴٨ ١٨٧١٨٧..٣٣
۶۶ ٠٩..٠٠۴٨٠٩۴٨ ١٨٧١٨٧..٣٣
decreases by a constant factor each time step.
![Page 32: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/32.jpg)
ت تخEMالگ GMMا :GMMبراي تخمين EMالگوريتم
اانشاEلة ااك كاظگ يكمتناظر، گوسيهايازكدامهرهمساني حسببرمشاهدههر:Eمرحلة.دهد مي انتساب خوشه هر براي را وزن
Σ tt wPxp )()( )()|( μ
تفاداشاهدهMلة ادMLازا ن اانگ ان ا هك∑=
Σ
Σ=Θ K
vv
tv
tvi
jjjitij
wPp
wPxpxwP
١
)()(
)(
)(),|(
)(),|(),|(
μx
μ
هركوواريانسهايوميانگينهادرMLازاستفادهبا مشاهدههر:Mمرحلة.كند مي مشاركت خوشه
∑=+ Θ= N
N
i it
ijtj
xxwP١)(
)١( ),|(μ̂
∑ = ΘN
it
ij
j xwP١)( ),|(
μ
∑∑
+++ −−ΘΘ
=ΣN
i
Ttji
tji
tijN t
tj xxxwP
xwP ١
)١()١()(
)(
)١( )ˆ)(ˆ)(,|()|(
١ˆ μμ∑ =
= Θ ii ij xwP ١١ ),|(
NxwPwP
N
it
ijtj
∑=+ Θ= ١)(
)١( ),|()(
.دهد را تا همگرايي ادامه مي Mو Eمراحل ٣٢٣٢
![Page 33: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/33.jpg)
٣٣٣٣
![Page 34: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/34.jpg)
٣۴٣۴
![Page 35: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/35.jpg)
٣۵٣۵
![Page 36: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/36.jpg)
٣۶٣۶
![Page 37: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/37.jpg)
٣٧٣٧
![Page 38: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/38.jpg)
٣٨٣٨
![Page 39: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/39.jpg)
K meansخا الت ا EMن
٢/١)(
K-meansبعنوان حالت خاصEM:
:با فرض داريمEM K-means
IKwP jj١/,٢)( σ=Σ=
:K-meansالگوريتم.خوشهمركز kتصادفيواوليهمقداردهي-1 ي زيوور ور.مي كنيم متناظر خوشه ها به فاصله مينيمم معيار اساس بر را داده هر -2
⎨⎧ −≤− ||||||||if ١ iji xx μμ
م3 ه محاس مجدداً ن انگ م از استفاده با ا شه خ اكز :كنم⎩⎨⎧
=otherwise ٠
||||||||)|( viji
ij xwPμμ
:كنيممراكز خوشه را با استفاده از ميانگين مجددا محاسبه مي-3
∑∑=+ = N
N
i iijtj P
xxwP١(١(
)|()|(
μ̂
٣٩٣٩ .مي رويم تا تغييري در مراكز خوشه رخ ندهد 2به مرحلة -4∑=i ij
j xwP١ )|(
![Page 40: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/40.jpg)
خت ن ند شه :خوشه بندي نرم و سختخ
..داننددانند بندي نرم ميبندي نرم مي را بعنوان روش خوشهرا بعنوان روش خوشه GMMGMMاغلب اغلب )|( ΘP --
.امين گوسي ايجاد بشودjامين مشاهده از iاحتمال پسين اينكه نقطة االتxGMMا ت ا
),|( Θij xwP
)}|()|({ ΘΘ xwPxwP احتماالت پسينxi ،GMMبراي هر نقطة-:مي توانيم با كمك رابطة زير بيابيم xiرا پيدا مي كند كه برچسب خوشه را براي هر
)},|(),...,,|({ ١ ΘΘ iKi xwPxwP
)|(maxarg)( Θ= xwPxC
K-means يك روش خوشه بندي سخت استيك روش خوشه بندي سخت است..ط ف طا ف اا11ااا
),|(maxarg)( Θ= ijji xwPxC
..استاست11يايا00جواب فقطجواب فقط--
۴٠۴٠
![Page 41: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/41.jpg)
GMMن ندي شه خ ش ان :ن GMM بعنوان روش خوشه بندي نرم:
K-MeansR clusters per class
GMMR Gaussians per classp
Iteration:Step١: Set each data to
R Gaussians per classIteration:
E step: Set each data’sStep : Set each data to one cluster
{ ٠,١}
E step: Set each data s responsibilities for all clusters [٠,١]{ }
Step٢: Tune cluster centers
[ , ]M step: Tune parameters of Gaussians
۴١۴١
![Page 42: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/42.jpg)
Gaussian Mixture Example: StartGaussian Mixture Example: Start
۴٢۴٢
![Page 43: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/43.jpg)
After First IterationAfter First Iteration
۴٣۴٣
![Page 44: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/44.jpg)
After After ٢٢nd Iterationnd Iteration
۴۴۴۴
![Page 45: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/45.jpg)
After After ٣٣rd Iterationrd Iteration
۴۵۴۵
![Page 46: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/46.jpg)
After ۴th Iteration
۴۶۴۶
![Page 47: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/47.jpg)
After ۵th IterationAfter ۵th Iteration
۴٧۴٧
![Page 48: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/48.jpg)
Aft ۶th It tiAfter ۶th Iteration
۴٨۴٨
![Page 49: اﺪﺧ مﺎﻨﺑ - Saman Parvaneh · ﺪﻨﻧادﻲﻣ مﺮﻧ يﺪﻨﺑﻪﺷﻮﺧ شور ناﻮﻨﻌﺑ ار GMM ﺐﻠﻏا P( | Θ)-.دﻮﺸﺑ دﺎﺠﻳا ﻲﺳﻮﮔ](https://reader033.vdocuments.mx/reader033/viewer/2022050305/5f6d76ab50b7254d94345f58/html5/thumbnails/49.jpg)
After ٢٠th IterationAfter ٢٠th Iteration
۴٩۴٩