دانشجو: محمد کريم سهرابي 84131906 استاد راهنما: احمد عبداله...

الگوکاوي در پايگاه هاي تراکنش بسيار بزرگ با استفاده از رويکرد تقسيم

وحلFrequent Pattern Mining on Very Large

Transaction Databases Using Divide-and-Conquer Approach

دانشجو: محمد کريم سهرابي84131906

استاد راهنما: احمد عبداله زاده بارفروش )استاد(

دانشگاه صنعتي اميرکبير

دانشکده مهندسي کامپيوتر

1391ارديبهشت

به نام خداوند جان و خرد

فهرست مطالبتعريف مسالهرهيافت هاي جاري براي حل مسالهكارهاي مرتبط رويكرد بيتي در بسترسازي براي حل مساله الگوكاوي الگوكاوي سريال )افقي- عمودي از پايين به باال- عمودي

از باال به پايين( الگوكاوي موازي كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچك و

متوسطنتيجه گيري و كارهاي آيندهمراجع

4

تعريف مسالهالگو

مدل مشخصي از داده در پايگاه تراكنش )پايگاهداده(

مجموعه داده، هاساختارهای گوناگونی از داده( )... G،رشته، گراف

انواع الگوهاي مهم

مجموعه آيتم ها توالي هاگراف ها

5

تعريف مسالهمجموعه آيتم ها

I مجموعه همه آيتم هاي داده اي به كاررفته در پايگاه :تراكنش

مثال: در پايگاه داده فروشگاه: }نان، پنير، خامه، تخم= I مرغ{

مجموعه آيتم(itemset) هر زير مجموعه :X Iاز

}مثال: }نان، پنير X=

},...,,{ 21 miiiI

nn jjjjjj iiiiiiX ...},...,,{2121

6

تعريف مسالهتراكنش

:يك چندگانه به فرم تراكنشT=(tid, X)tidGشماره تراكنش :Xيك مجموعه آيتم :

تراكنش شامل مجموعه آيتمY : تراكنشT=(tid, X) كه در آن

:مجموعه چند تراكنشپايگاه تراكنش مجموعه پشتيباني تراكنشX (D(X)) : مجموعه

Xشماره سطرهاي تراكنش هاي شامل Sup(X) : تعداد تراكنش هاي موجود در مجموعه

Xپشتيباني

XY

|)}()),((|),{(|)( YXTDBYtidYtidXSUP

7

تعريف مسالهتراكنش

تراكنشفروشگاه با سه پايگاه تراكنش مثال: نمونه

شامل مجموعه آيتم }پنير{ 3 و 1تراكنش هاي شامل مجموعه آيتم }پنير، خامه{ 1تراكنش :}{1,3} مجموعه پشتيباني }پنير

tidItemsetپنير، خامه، نان1 تخم مرغ2نان، پنير3

8

تعريف مساله(frequency)تكرارشوندگي

آستانه زيربري(minsup) :حد آستانه مورد نظر كاربر :مجموعه آيتم مجموعه آيتم تكرارشوندهXبا شرط

مثال: به ازايminsup = 2پنير{: تكرارشونده{)پنير، خامه{: ناتكرارشونده )تكرارناشونده{

و الگوبه كار بردن واژه هاي به جاي هم در ارائهمجموعه آيتم

supmin)( XSUP

9

تعريف مساله(closed Pattern)الگوهاي بسته

: عدم وجود ابر الگويي از الگو با همان الگوي بستهمجموعه پشتيباني

مثال: }پنير{: الگوي نابسته{ :}پنير{ ه پشتيبانيG3و 1مجموع }{ :}{3و 1مجموعه پشتيباني }پنير، نان

مثال: }نان، پنير{: الگوي بسته

:الگوي تكرارشونده و بستهالگوي تكرار شونده بسته مثال: }نان، پنير{: الگوي تكرارشونده بسته بر اساس

minsup=2 مثال: }خامه، پنير{: الگوي ناتكرارشونده بسته بر

minsup=2اساس

10

تعريف مسالهفرضيات مساله

كاوش الگوهاي تكرارشونده از پايگاهي)مثال: تراكنش هاي هم جنس از

تراكنش هاي فروش(

غير قطعي عدم وجود داده هاي خراب ودر پايگاه تراكنش

عدم تغيير و به روزرساني پايگاه تراكنشدر زمان الگوكاوي

12

رهيافت هاي جاري براي حل مسالهکاوش مجموعه آيتم هاي تكرارشونده

مجموعه آيتم I، 2^dموجود در آيتم dبه ازاي روش سردستي (Naïve)

ساخت همه مجموعه آيتم هاي ممكنتراکنش هاي موجود در پايگاه تراکنش همه با مقايسه آنها بر مجموعه آيتم مزبورمشتملتعداد تراکنش هاي شمارش تكرارشونده مجموعه آيتم هايمشخص نمودن

وعه آيتم هانماييمرتبهGتعداد مجم در آيتمهزارانامکان وجود Gمورد Gپايگاه تراکنش

استفاده

13

رهيافت هاي جاري براي حل مساله{A, B, C, D, E} آيتم 5شبکه اي از همه مجموعه آيتم هاي ممکن به ازاي

مثالي از شبکه بندي زيرمجموBعه اي

A B C D E

AB AC AD AE BC BD BE CD CE DE

ABC ABD ABE ACD ACE ADE BCD BCE BDE CDE

ABCD ABCE ABDE ACDE BCDE

ABCDE

null

14

رهيافت هاي جاري براي حل مسالهانواع روش هاي كاوش بر اساس رويكرد

جستجو الگوريتم هاي اول سطح(Apriori)

شروع ازGنود راس شبکه مجموعه آيتم هاي کانديدتوليد Gهر سطح از مجموعه

آيتم هاي تكرار شونده سطح قبل ت تكرار شوندگيGآيتم هاي کانديدتس Gهر سطحمجموعه

الگوريتم هاي اول عمق(FP-Growth)ساخت درخت آيتم ها بر اساس پايگاه تراكنشجستجوي عمقي درخت

15

رهيافت هاي جاري براي حل مساله اصلApriori

عدم وجود ابرالگوي تكرارشونده از يک الگوي ناتكرارشونده الگوريتمApriori :

)يافتن الگوهاي تكرار شونده يك آيتمي )آيتم هاي تكرار شونده كانديد تكرارشوندگي ساخت مجموعه الگوهايk آيتمي از روي

آيتمي(k-1)مجموعه الگوهاي تكرار شونده تست تكرارشوندگي آنها با پويش پايگاه تراكنش

:Gيافتن مجموعه آيتم هاي تكرارشونده در پايگاه تراکنش مثالS=3 و با حد آستانه (TDB)زير

L1 مجموعه همه مجموعه :آيتمهاي تكرارشونده تک آيتمي

L1={a, b, c, f, m, p}

TidItemsets100f, a, c, d, g, i, m, p

200a, b, c, f, l, m, o

300b, f, h, g, o

400b, c, k, s, p

500a, f, c, e, l, p, m, n

16

رهيافت هاي جاري براي حل مساله

C2={ab,ac,af,am,ap,bc,bf,bm,bp,cf,cm,cp,fm,fp,mp}L2={ac, af, am, cf, cm, fm}C3={acf, acm, afm}L3={acf, acm, afm}

C4}{= L4}{=

TidItemsets(ordered) Frequent Itemsets100f, a, c, d, g, i, m, pa, c, f, m, p

200a, b, c, f, l, m, oa, b, c, f, m

300b, f, h, g, ob, f

400b, c, k, s, pb, c, p

500a, f, c, e, l, p, m, na, c, f, m, p

17

رهيافت هاي جاري براي حل مسالهApriori

معايبحجم بسيار زياد الگوهاي کانديد ايجاد –

شده در مقايسه با الگوهاي تکرار شونده )مرتبه نمايي(

پويش چندين باره پايگاه تراکنش )در هر –

مرحله يک پويش(

18

رهيافت هاي جاري براي حل مسالهFP-Growth

ساخت درختFP-Tree:- يک بار پويش پايگاه تراکنش به منظور يافتن 1

هاي تکرارشونده و مرتب کردن آيتم هاي آيتميافته شده بر اساس ترتيب نزولي تعداد تکرار

L={f:4, c:4, a:3, b:3, m:3, p:3} - مرتب کردن هر تراکنش بر اساس ترتيب 2

مشخص شده و حذف آيتم هاي تکرارناشونده از هر تراکنش

19


Item frequency f 4c 4a 3b 3m 3p 3

TID Items 100 {f, a, c, d, g, i, m, p}200 {a, b, c, f, l, m, o}300 {b, f, h, j, o}400 {b, c, k, s, p}500 {a, f, c, e, l, p, m, n}

TID Items (ordered) frequent items100 {f, a, c, d, g, i, m, p} {f, c, a, m, p}200 {a, b, c, f, l, m, o} {f, c, a, b, m}300 {b, f, h, j, o} {f, b}400 {b, c, k, s, p} {c, b, p}500 {a, f, c, e, l, p, m, n} {f, c, a, m, p}

20


{}

f:1

c:1

a:1

m:1

p:1

{f, c, a, m, p}{}

{}

f:2

c:2

a:2

b:1m:1

p:1 m:1

{f, c, a, b, m}

21


{}

f:4 c:1

b:1

p:1

b:1c:3

a:3

b:1m:2

p:2 m:1

{}

f:3

c:2

a:2

b:1m:1

p:1 m:1

{f, b}

b:1{c, b, p}

c:1

b:1

p:1

{}

f:3

c:2

a:2

b:1m:1

p:1 m:1

b:1{f, c, a, m, p}

22


{}

f:4 c:1

b:1

p:1

b:1c:3

a:3

b:1m:2

p:2 m:1

Header Table

Item head fcabmp

23


مزايا ساخته شدن درخت كامل با دو پويش بر

روي پايگاهفشرده سازي پايگاه تراكنش براي كاوش

24


به كار گيري درختFP-Tree براي الگوكاوي عمقي:

کاوشFP-treeبه روش تقسيم و حل {}

f:4 c:1

b:1

p:1

b:1c:3

a:3

b:1m:2

p:2 m:1

{}

f:4 c:1

b:1

p:1

fb:1fc:3

fa:3

fb:1fm:2

fp:2 fm:1

{}

f:4 c:1

b:1

p:1

fb:1fc:3

fca:3

fcb:1fcm:2

fcp:2 fcm:1

26

كارهاي مرتبطانواع الگوريتم هاي كاوش بر اساس

رويكرد جستجو

27

كارهاي مرتبطانواع الگوريتم هاي كاوش بر اساس رويكرد جستجو

28

كارهاي مرتبطانواع الگوريتم هاي كاوش بر اساس رويكرد جستجو

29

كارهاي مرتبطانواع الگوريتم هاي كاوش الگوهاي بسته

30

كارهاي مرتبطAlgorithmname

yearThe First Author

BFS/DFSTop-Down/Bottom-Up

Closed/Maximal/All/Colossal

Bit-wiseParallel horizontal/ vertical

Comments

Apriori1993AgarwalBFSBottom-UpAllNoNohorizontalThe first BFS Algorithm

DIC1997BrinBFSBottom-UpAllNoNohorizontal

FP-Growth2000HanDFSBottom-UpAllNoNohorizontalThe first DFS Algorithm

Tree-Projection2001AgrawalDFSBottom-UpAllNoNohorizontal

opportunistic projection2003LiuDFSTop-Down/Bottom-Up

AllNoNohorizontalBi directional

Equivalence CLAss Transformation (ECLAT)

2000ZakiBFSBottom-UpAllNoNoverticalThe first vertical Algorithm

A-Close1999PasquierBFSBottom-UpClosedNoNohorizontalThe first Closed Algorithm

CLOSET2000PeiDFSBottom-UpClosedNoNohorizontal

CHARM2002ZakiDFSBottom-UpClosedNoNohorizontal

CLOSET+2003WangDFSBottom-UpClosedNoNohorizontal

FPClose2003GrahneDFSBottom-UpClosedNoNohorizontal

AFOPT2003LiuDFSBottom-UpClosedNoNohorizontal

MAFIA2001BurdickDFSBottom-UpClosed/Maximal/All

YesNoverticalThe first Bit-wise Algorithm

Granular Method2003LinDFSBottom-UpAllYesNohorizontal

BitTableFI2007DongDFSBottom-UpAllYesNohorizontal

Index-BitTableFI2007SongDFSBottom-UpAllYesNohorizontal

CFP-Tree2011SchlegelDFSBottom-UpAllYesNohorizontal

PFP-Tree2004JavedDFSBottom-UpAllNoYeshorizontalThe first DFS parallel method

LFP-Tree2007YuDFSBottom-UpAllNoYeshorizontal

PP-Tree2010TanbeerDFSBottom-UpAllNoYeshorizontal

32

رويكرد بيتي در بسترسازي براي حل مساله الگوكاوي

منطق روش بيتيیک بودن وجود یک آیتم در یک تراکنش معادل –

صفر بودنبیت متناظر آن و عدم وجود معادل هر آیتم در پایگاه تراکنش، nدر صورت وجود –

بیتیnتراکنش یک رشته پایگاه تراکنش، mدر یک پایگاه تراکنش با –

بیتیm*nتراکنش معادل یک ماتریس در قالب آرایه مجموع یک های سطرها نگهداری –

rowsumدر قالب آرایه مجموع یک های ستونها نگهداری –

colsum

الگوریتم. 1-2شکل تکامل مراحل واره درخت

33



34


هرس کردن ماتریس بیتی آنها کمتر از colsumحذف همه ستونهایی که –

minsup.است پس از حذفrowsumاصالح مقادیر –


35


تعیین تکرارشوندگی یک الگو با استفاده ازماتریس بیتی:


cd تکرارشونده

و بقیه ناتکرارشون

دهبه ازای

minsup=3

36


:تعيين بسته بودن الگوها-


38

الگوكاوي سريالرويكرد هاي كاوش افقي و عمودي

:رویکرد افقی هر پایگاه تراکنش شامل تعدادی تراکنش )سطرهاي

پايگاه تراكنش( هر تراكنش شامل تعدادی آیتم


39


:ديGرویکرد عمو نگهداري آیتم ها بر اساس مجموعه تراکنش

هایی )شماره تراکنش هايي( که دارای آن آيتم هستند

:مثال {c, 1,2,4}{ d, 1,2,3,4 }

پايگاه هاي تراكنش ابعاد باال (high dimensional)


40


:رویکرد عمودي درخت عمودي از پايين به باالدرخت عمودي از باال به پايين


41


:درخت عمودي از پايين به باال


42


:درخت عمودي از باال به پايين


43

الگوكاوي سريالHPMالگوكاوي بيتي افقي : :رابطه شمول تعريفx: :افراز هر مجموعه از الگوهاي تكرارشونده به دو قضيه

xمجموعه بر اساس آيتم :تقسيم خروجي )مجموعه الگوهاي تكرارشونده( به نتيجه

nدسته nتعداد آيتم هاي تكرارشونده موجود در پايگاه تراكنش :

فرض: مجموعه مرجعI شامل n+m آیتم n آیتم تکرار شونده m ناتکرارشونده آیتم

I={a1,a2,..,an,an+1,…,an+m}


)()(: QPxQPxQPx

44

الگوكاوي سريالHPMگوكاوي بيتي افقيGال :: مجموعه همه الگوهای تکرارشونده قابل کاوشالگوهای تکرار شونده مشتمل بر آیتمدسته اول :a1 .الگوهای تکرار شونده مشتمل بر آیتمدسته دوم : a2 و فاقد

a1 آیتم

الگوهای تکرار شونده مشتمل بر آیتمدسته سوم : a3 و فاقدa2 و a1 آیتم

... دسته(n-1)الگوهای تکرار شونده مشتمل برام : an-1 و فاقد

نباشند. an-2 و... و a2 و a1 آیتم هایدستهnالگوهای تکرار شونده مشتمل بر آیتمام : an باشند ولی

نباشند)یعنی الگوی تك an-1 و... و a2 و a1 حاوی آیتم های(. anآيتمي


45

الگوكاوي سريالHPM)الگوكاوي بيتي افقي )تعاريف ::ماتريس ستوني مرتب

يک اسGاس بر شده مرتGب )آيتم هاي( سGتونهاي بGا بيتGي ماتريGس مشخص معيار

ماتريس بدونx(x-eliminated): ا آيتمGر بGتون متناظGه مقدار سGطرهايي کGل سGا شامGتنهx در ،

باشد 1آنها برابر تنها شامل ستونهاي بعد ازxريس ستوني مرتبGاز مات

ماتريس بدونy از x (x|y-eliminated)


46

الگوكاوي سريالHPMالگوكاوي بيتي افقي :

a ماتریس بدون


47

الگوكاوي سريالHPM)الگوكاوي بيتي افقي )روش انجام :به ازای هر آیتمx ماتریس بدون :x را به

دست آوریم. ماتریس بدونa :)هرس نشده(


48

الگوكاوي سريالHPM)قي )روش انجامGالگوكاوي بيتي اف : هر الگوي استخراج شده از اين ماتريس

است aشامل كاوش الگوهاي تكرارشونده شاملa:يعني

استخراج الگوهاي ماتريس بدون a و ترکيب آنها باa .

ستونهايي کهcolSum متناظر آنها از minsup کمترG باشد نمي توانند در ساخت الگو شرکت

کنند: هرس ماتريس بدونa بر اساس minsup


49

الگوكاوي سريالHPM)الگوكاوي بيتي افقي )روش انجام : هرس ماتريس بدونa بر اساس minsup


50

الگوكاوي سريالHPMالگوكاوي بيتي افقي : در عمق ماتريس هاي هرس شدهaقابل تولید بودن ماتريسy|x-eliminated

xy یک الگوی تکرارشونده استادامه روند توليد در اين شاخه

يا تولید ماتريس خاليNULL شدن در اثر هرس xy یک الگوی تکرارشونده است توقف فرآیند کاوش الگوی این زیرشاخه


51

الگوكاوي سريالHPMالگوكاوي بيتي افقي :


52

الگوكاوي سريالHPMالگوكاوي بيتي افقي : الگوهاي شاملa)دسته اول الگوها(

:به صورت مشابه الگوهاي شاملb : الگوهاي شاملc :...


agafaeadfadaceacabgaba ,,,,,,,,,

bgbfgbfbegbeb ,,,,, cec,

53

الگوكاوي سريالHPMالگوكاوي بيتي افقي :: مجموعه همه الگوهاي كاوش شده


fgf , }{, hghg eheghegefe ,,,, cec, dfd ,

agafaeadfadaceacabgaba ,,,,,,,,, bgbfgbfbegbeb ,,,,,

54

الگوكاوي سريالHPMالگوكاوي بيتي افقي ::فشرده سازي فايل خروجي :اگر قضيهx1x2x3…xn يك الگوي

x1x2x3 و x1x2 و x1تكرارشونده باشد آنگاه همگي الگويي تكرار x1x2x3…xnو ... و

شونده اند. :نتيجه: فايل خروجي


ghfgeheghefdfcebgbfgbegagafaeadfaceabg ,,,,,,,,,,,,,,,

55

الگوكاوي سريالHPM)الگوكاوي بيتي افقي )الگوريتم :


56

الگوكاوي سريالHPMالگوكاوي بيتي افقي ::يدگي زمانيBپيچ

:در بدترين حالتO(n*2n)

تاثیر نحوه مرتب سازی آیتم ها بر سرعتکاوش الگوها:

تغییر ترتیب و چینش آیتم ها : افزایش يا كاهشکارایی

ترتیب چينش: ترتيب صعودی فرکانس تکرار آیتم ها


57

الگوكاوي سريالBUM الگوكاوي بيتي عمودي از پايين به :

باال )مثال( درخت جستجوي

عمودي از پايين به باال


58

الگوكاوي سريالBUM الگوكاوي بيتي عمودي از پايين به باال :

)مراحل(ساخت درخت جستجوي از پايين به باالAND كردن رشته بيتي معادل سطرهاي

موجود در هر نود درخت در صورت رسيدن به سطحminsup : درخت

در صورت وجود حداقل يك بيت با مقدار يك ANDدر حاصل

اعالم الگوي متناظر با رشته بيتي به عنوانالگوي تكرارشونده


59


باال )بهينه سازي(

با توجه به اصلApriori هرس كردن شاخه هاي

minsupپس از سطح


60


باال )بهينه سازي(

با توجه به اصلApriori هرس كردن شاخه هاي

minsupپس از سطح

نتيجه:درخت جستجوي جديد


61


باال )مراحل اجرا(


62




63




64


باال )الگوريتم( الگوريتم ساخت درخت


65


باال )الگوريتم( الگوريتم ساخت درخت ايجاد نود جديد با افزودن يك شماره سطر به مجموعه سطر

نود جاري از بزرگترین شماره سطر موجود در مجموعه سطر نودتا آخرین )بزرگترین( شماره سطر موجود در پایگاه تراکنش

:ورودي اولین شماره سطر بعد از بزرگترین شماره سطر موجود در

mنود جاری با نام بزرگترین شماره سطر پایگاه تراکنش با نامmax رشتهS .شامل مجموعه سطر متناظر با هر نود


66


باال )الگوريتم(پيچيدگي الگوريتم:

O(mminsup)


67

الگوكاوي سريالBUM الگوكاوي بيتي عمودي از باال به :

پايين)مثال( درخت جستجوي

عمودي از باال به پايين


68


پايين)مراحل اجرا(ايجاد درخت جستجوي از باال به پايين نود داراي یک سطر کمتر Gهر Gمجموعه سطر

از مجموعه سطر نود پدر :در آرایه بیتی متناظر

یک شدن برخی از )شاید صفر تا( بیت های صفر آرایهبیتی پدر

آرایه بیتی متناظر با سطر حذف کم کردن نود پدر(colSum)مجموع ستونی از شده


69


پايين)مراحل اجرا(


70


پايين)مراحل اجرا(:پيچيدگي زماني

O(mm-minsup)


71

الگوكاوي سريالنتايج آزمايشات


datasetssizeTransactions#Items#D13.93M100000870D215.12M100000942

mushroom0.56M8124119pumsb16.3M490462113

Accident33.8M340183468Retail3.97M8816216469

kosarak30.5M99000241270

72

الگوكاوي سريالنتايج آزمايشات مجموعه دادهD1


73

الگوكاوي سريالنتايج آزمايشات مجموعه دادهD2


74

الگوكاوي سريالتحليل نتايج آزمايشات

كاهش زمان اجرا با افزايشminsup افزايش زمان اجرا با افزايش تعداد آيتم ها افزايش زمان اجرا با افزايش متوسط

طول تراكنش ها


datasetssizeTransactions#Items#D13.93M100000870D215.12M100000942

75

الگوكاوي سريالنتايج آزمايشات مجموعه دادهAccident


76

الگوكاوي سريالنتايج آزمايشات مجموعه دادهRetail


77

الگوكاوي سريالنتايج آزمايشات مجموعه دادهkosarak


78

الگوكاوي سريالنتايج آزمايشات مقايسه سه روش بر روي مجموعه داده

D1


79


D2


80


mushroom


81


pumsb


83

الگوكاوي موازي آرایه های سیستالیک ابزاری برای موازی سازی الگوریتم ها و پردازش ها ارائه توسطH.T.Kung و Charles Leiserson در

1979سال چینش پردازنده ها به نحوی که داده های به صورت

در پردازندGه های مجاور جریان داشته باشدهمزمان هر مرحله انجام عملیات توسط سلول ها

آرایه سیستالیکتپش)پردازنده ها(: يك :ذخیره سازی مستقل و محاسبه همزمان مزايا

داده توسط سلول ها


84

الگوكاوي موازي آرایه های سیستالیک

به كارگيري آرايه هاي سيستاليك در پايگاه هايداده رابطه اي

ارائه آرايه سيستاليك براي عمليات در پايگاه داده رابطه(:1980اي )

تراك، الحاقGاز قبيل اجتماع، اش Gپايپالين كردن عملياتيو ...

پياده سازي عمليات جبر رابطه اي و درهم سازي بااستفاده از آرايه هاي سيستاليك


85

الگوكاوي موازيآرایه های سیستالیک به كار رفته در الگوكاوي هر سلول داراي

يک حافظهx ذخيره آرايه بيتي متناظر با يک : آيتم

يک حافظهm ذخيره نام يک آيتم : يک حافظهz يک بيت :

يک بودن بيتz وجود آيتم اين سلول در الگوي : ساخته شده

صفر بودن بيتz عدم وجود اين آيتم در الگوي : ساخته شده


86

الگوكاوي موازيآرایه های سیستالیک به كار رفته در الگوكاوي هر سلول داراي

هر سلول داراي يک وروديy شامل سه قسمت

يک مجموعه آيتم- y(Is) -در ابتدا تهي

– يک آرايه بيتي متحرکy(array) - 1در ابتدا يك آرايه تمام

- يک بيت سوئيچ استy(sw) - دارد. 1در ابتدا مقدار

هر سلول دو خروجيa وb .دارد


87

الگوكاوي موازيساخت الگوها با آرايه سيستاليك اگرy(sw)=1

اگرz=1y(array) AND x = y(array).z = 0y(Is)= m U y(Is)y->a >- *b

اگرz=0y(sw) = 0z = 1y->a >- *b


88

الگوكاوي موازيساخت الگوها با آرايه سيستاليك اگرy(sw)=0

اگرz=1y(array) AND x = y(array).y(Is)= m U y(Is)y->a >- *b

اگرz=0y->a >- *b


89

الگوكاوي موازيمثالوضعيت اوليه

گذر اول


90

الگوكاوي موازيمثالگذر اول- مرحله دوم

گذر اول- مرحله سوم


91

الگوكاوي موازي:مثال:تعداد تپش ها

n+2n


92

الگوكاوي موازياعمال روش تقسيم و حل اگر ورودي اوليه آرايه سيستاليك شاملa

باشد: aتوليد همه خروجي هاي مشتمل بر


93

الگوكاوي موازياعمال روش تقسيم و حلآرايه سيستاليك

دو بعدي


94

الگوكاوي موازينتايج آزمايشات


datasetssizeTransactions#Items#mushroom0.56M8124119

pumsb16.3M490462113Accident33.8M340183468

Retail3.97M8816216469kosarak30.5M99000241270

95

الگوكاوي موازينتايج آزمايشات مجموعه دادهmushroom


96

الگوكاوي موازينتايج آزمايشات مجموعه دادهpumsb


97

الگوكاوي موازينتايج آزمايشات مجموعه دادهAccident


98

الگوكاوي موازينتايج آزمايشات مجموعه دادهRetail


99

الگوكاوي موازينتايج آزمايشات مجموعه دادهkosarak


101

كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر

الگوهاي بسيار بزرگ(colossal)

ود در پايگاهGبزرگترين الگوهاي تكرارشونده موجتراكنش

دازه مشخصGالگوهاي تكرارشونده اي كه از انشده تGوسط كاربر بزرگتر باشند

كاربرد در پايگاه هاي تراكنش با ابعاد باال اطالعات زيستي پايگاه هاي داده ژني


102


:فرکانس تکرار ابر الگوی هر الگو کمتر یا قضیهمساوی فرکانس تکرار آن الگو

:رگتر دارای فرکانس نتيجه مستقيمGالگوهای بزتکرGار کمتری نسبت به زیرالگوهای خود

:نتيجه كاربردي جستجوي الگوهايcolossal در مجموعه

الگوهایی که کمترین فرکانس تکرار را دارند کمترین فرکانس تکرار قابل پذیرش برای

minsupالگوهای تکرار شونده: روش عمودی از پایین بهG باال


103


:طوالني ترين شاخه شامل نود قضيهq در p+m-apعمودي برابر باالي درخت از پايين به

تعداد سطرها، و q، m سطح pاست كه در آن ap بزرگترين شماره سطر موجود در q.است نودهای سطحp دارای ،p شماره سطر زیردرخت شروع شده از نودq دارای m-ap سطح

بلندترین زیر شاخه شامل q :دارايp سطح تا نود q وm-ap سطح بعد از نود q در مجموع دارایp+m-ap سطح


paaaa ...321

104


هرس كردن همه زیرشاخه هایی که بهنمی رسند minsupسطح


105


:مثال 2 دارای طول 16بلندترین زیر شاخه شامل نود

p 2 برابر 16 یعنی سطح نود ، ap 6 برابر 16 یعنی بزرگترین شماره سطر موجود در ،m برابر G6یعنی تعداد سطرهای پایگاه تراکنش

به دست آوردن آخرین سطح قابل دست یابی از هرآن نود پیش از بسط نود

آخرین سطح قابل دست یابی کمتر ازminsup :هرس شدن همه زير شاخه هاي نود


106


روشBVBUC


107


نتايج آزمايشات


datasetssizeTransactions#Items#mushroom0.56M8124119

pumsb16.3M490462113Accident33.8M340183468

Retail3.97M8816216469kosarak30.5M99000241270

108

نتايج آزمايشات مجموعه دادهmushroom

الگوریتم. 1-2شکل تکامل مراحل واره درخت كاوش الگوهاي بسيار بزرگ با گذر از

الگوهاي كوچكتر

109

نتايج آزمايشات مجموعه دادهpumsb



110

نتايج آزمايشات مجموعه دادهAccident



111

نتايج آزمايشات مجموعه دادهRetail



112

نتايج آزمايشات مجموعه دادهkosarak



114

نتيجه گيري و كارهاي آيندهدست یابی به دستاوردهای زیر در زمینه الگوکاوی1 کاوش کارآمد مجموعه کامل الگوهای تکرارشونده )

با ارائه الگوریتم سریال با رویکرد افقی به صورت HPM.

2 کاوش کارآمد مجموعه کامل و بسته الگوهای )سریال با رویکرد از عمودی با تکرارشونده به صورت BUMبا ارائه الگوریتم دیدگاه از پایین به باال

3 کاوش کارآمد مجموعه کامل و بسته الگوهای )سریال با رویکرد از عمودی با تکرارشونده به صورت

.TDM با ارائه الگوریتم دیدگاه از باال به پايين


115

نتيجه گيري و كارهاي آيندهدست یابی به دستاوردهای زیر در زمینه الگوکاوی4 طراحی بستر مناسب برای مدل سازی مساله )

الگوکاوی به محاسبات موازی شونده توسط آرایه های سیستالیک با به کار گیری ماتریس بیتی و تقسیم مناسب

آن بر روی پردازنده ها.5 اعمال قابلیت تقسیم وحل در موازی سازی الگوکاوی )

دو ارائه روش موازی و مبتنی بر آرایه های سیستالیکو برای الگوکاوی. SABMAبعدی

6 کاوش الگوهای بسیار بزرگ ( ارائه روشی کارآمد برای، بدون نیاز به زمینه بدون کاوش الگوهای کوچکتر

محاسباتی پیچیده و بدون از دست داده قطعیت در . BVBUCمجموعه الگوهای کاوش شده و ارائه الگوريتم


116

نتيجه گيري و كارهاي آيندهبرخي دستاوردهای پژوهشي رساله1:به كارگيري روش هاي الگوكاوي در مسائل كاربردي )

افزايش كارايي پرس و جوهاي پايگاه داده مقاله علمي پژوهشي: ”“ پذيرفته و تحليلي با نگاشت مكعب مفهومي به فضاي دوبعدي

چاپ شده در مجله مهندسي برق و كامپيوتر ايران

2ارائه روش از پايين به باالي عمودي )كاوي در پايگاه هاي تراكنش با ابعاد باال بر الگومقاله كنفرانس: ”

پذيرفته و اساس رويكرد شمارش از پايين به باالي ماتريس بيتي“ ارائه شده دركنفرانس انجمن كامپيوتر ايران

3 به كارگيري روش پايين به باالي عمودي در كاوش الگوهاي بسيار بزرگ )بدون كاوش الگوهاي كوچك و مياني

ISI: “Efficient colossal pattern mining in highمقاله مجله dimensional datasets” پذيرفته شده و چاپ شده در مجلهKnowledge

based Systems (Knosys) از سري مجالت elsevier


117

نتيجه گيري و كارهاي آيندهبرخي دستاوردهای پژوهشي رساله4ارائه روش افقي مبتني بر ماتريس بيتي )

ISI: “EFFICIENT FREQUENT PATTERN MINING USING BITمقاله مجله MATRIX BASED REPRESENTATION OF DATASET” بازبيني شده و در

International Journal of Software Engineeringشرف پذيرش در مجله and Knowledge Engineering

5موازي سازي الگوكاوي با استفاده از آرايه هاي سيستاليك ) ISI: “PARALLEL FREQUENT ITEMSET MINING USINGمقاله مجله

SYSTOLIC ARRAYS” در دست داوري در مجلهKnowledge based Systems (Knosys) از سري مجالت elsevier

6 بررسي روش هاي جاري الگوكاوي و دسته بندي آنها بر اساس رويكردي )جديد و چهارسطحي

در دست داوري ”ISI: “A taxonomy of frequent pattern miningمقاله مجله International Journal of Knowledge Managementدر مجله


118

نتيجه گيري و كارهاي آيندهكارهاي آينده

فشرده سازی ماتریس بیتی در مواردی که ماتریستولید شده تنک باشد و شامل تعداد زیادی بیت صفر.

اعمال موازی سازی در الیه های زیرین و مراحل بعدیروش تقسیم و حل و ایجاد ابعاد بعدی برای آرایه

سیستالیک.

اعمال موازی سازی بر روي روش های عمودی ارائهشده با به کارگیری آرایه های سیستالیک.


120

مراجع


M.K. Sohrabi, A.A. Barforoush, Efficient colossal pattern mining in high dimensional datasets, Knowledge Based Systems (2012), http://dx.doi.org/10.1016/j.knosys.2012.03.003

Agrawal R, Imielinski T, Swami A (1993) Mining association rules between sets of items in large databases. In: Proceedings of the 1993ACM-SIGMOD international conference on management of data (SIGMOD’93), Washington, DC, pp 207–216.

Agrawal R. and Srikant R. “Fast algorithms for mining association rules.” In Proc. 1994 Int. Conf. Very Large Data Bases (VLDB’94), pages 487–499, Santiago, Chile, Sept. 1994.

Mannila H., Toivonen H., Verkamo AI (1994) Efficient algorithms for discovering association rules. (KDD'94) Seattle, WA, pp 181-192.

Han J, Pei J, Yin Y (2000) Mining frequent patterns without candidate generation. In: Proceeding of the 2000 ACM-SIGMOD international conference on management of data (SIGMOD’00), Dallas, TX, pp 1–12

Agarwal R, Aggarwal CC, Prasad VVV (2001) A tree projection algorithm for generation of frequent itemsets. J Parallel Distribut Comput 61:350–371

121

مراجع


Liu J, Pan Y, Wang K, Han J (2002) Mining frequent item sets by opportunistic projection. In: Proceeding of the 2002 ACM SIGKDD international conference on knowledge discovery in databases (KDD’02), Edmonton, Canada, pp 239–248

Grahne G, Zhu J (2003) Efficiently using prefix-trees in mining frequent itemsets. In: Proceeding of the ICDM’03 international workshop on frequent itemset mining implementations (FIMI’03), Melbourne, FL, pp 123–132G. Buehrer, S. Parthasarathy, S. Tatikonda, T. Kurc and J. Saltz, "Toward terabyte pattern mining an architecture-conscious solution," in PPoPP , 2007, p. 2-12.

D. Chen, C. Lai, W. Hu, W.G. Chen, Y. Zhang and W. Zheng, "Tree partition based parallel frequent pattern mining on shared memory systems," in IEEE Parallel and Distributed Processing Symposium , 2006.

S. K. Tanbeer ,C. F. Ahmed ,B.-S. Jeong" ,Parallel and Distributed Algorithms for Frequent Pattern Mining in Large

Databases", IETE technical review, 2010. J. Dong, M. Han, BitTableFI: an efficient mining frequent itemsets algorithm, Knowledge Based Systems 20 (4) (2007) 329–335 W. Song, B. Yang, Z. Xu, Index-BitTableFI: An improved algorithm for mining frequent itemsets, Knowledge Based Systems 20 (4) (2007) 329–335

Z. Xu, D. Gu, S. Wei, An Efficient Matrix Algorithm for Mining Frequent Itemsets, (2009) International Conference on Computational Intelligence and Software Engineering, 2009. CiSE 2009. Schlegel B., Gemulla R., Lehner w. (2011) Memory-Efficient Frequent Itemset Mining, in: Proc. 14th International Conference on Extending Database Technology (EDBT), 2011.

http://tr.ietejournals.org/searchresult.asp?search=&author=Syed+Khairuzzaman+Tanbeer&journal=Y&but_search=Search&entries=10&pg=1&s=0

http://tr.ietejournals.org/searchresult.asp?search=&author=Chowdhury+Farhan+Ahmed&journal=Y&but_search=Search&entries=10&pg=1&s=0

http://tr.ietejournals.org/searchresult.asp?search=&author=Byeong%2DSoo+Jeong&journal=Y&but_search=Search&entries=10&pg=1&s=0

http://ieeexplore.ieee.org/xpl/mostRecentIssue.jsp?punumber=5362500

http://ieeexplore.ieee.org/xpl/mostRecentIssue.jsp?punumber=5362500

122

اصالحات صورت گرفته بر اساس راهنمايي هاي پيش دفاع


بيان فرمال مسائل با استفاده از ارائه تعاريف و قضايايجديد

بررسي دقيق تر سابقه به كارگيري آرايه هاي سيستاليك درپايگاه هاي داده و داده كاوي

تكميل و ارائه دقيق تر مفروضات مساله در ابتداي ارائهبيان پيچيدگي زماني روش هاي ارائه شده در ارائه كامل كردن نتايج آزمايشات با ارائه تحليل نتايج و بيان تاثير

پارامترهاي پايگاه هاي داده بيان دقيق نوآوري هاي رساله در ارائه و جداسازي آنها از

كارهاي پيشين ارائه مراجع مورد استفاده جديدتر در ارائهويرايش اماليي و انشايي پايان نامه افزودن دستاوردهاي پژوهشي و مقاالت مستخرج از رساله

به ارائهدسته بندي اساليدها و كاهش حجم اساليدهاي ارائه

123

سپاس


دانشجو: محمد کريم سهرابي 84131906 استاد راهنما: احمد عبداله...

Documents