utilising visual features as indicators of players engagement - machine learning documentation

136
Implemented and Designed By Mohammad Shaker & Ola Al-Nameh In Supervision of Eng. Zeina Dallal AI Department – 2013 Information Technology Engineering of Damascus, Syria Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Upload: mohammad-shaker

Post on 14-May-2015

336 views

Category:

Technology


6 download

DESCRIPTION

Conducted as a research study, this doc presents an approach for predicting users' level of engagement from visual cues within a game environment. We use a large data corpus collected from 58 participants playing the popular platform game Super Mario Bros. Neuroevolution preference learning and data mining techniques is used to construct accurate models of player experience that approximate the relationship between extracted features and reported engagement. The results obtained show that highly accurate models can be constructed (with accuracies up to 96.82%) and that players' visual behaviour towards the end of the game is the best for predicting engagement. The resulted paper (not this doc) is published in UMAP 14, named: "Utilising Visual Features as Indicators of Players Engagement in Super Mario Bros".

TRANSCRIPT

Page 1: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Implemented and Designed By

Mohammad Shaker & Ola Al-Nameh

In Supervision of

Eng. Zeina Dallal

AI Department – 2013

Information Technology Engineering of Damascus, Syria

Fusing Visual and Behavioral Cues for

Modeling User Experience in Games

Page 2: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 1

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

الفهرس

Abstract .................................................................... 9 بتجرد .1.1

11 ................................................................................. مقدمة .1.1

11 ...................................................................... مفتاحية كلمات .1.1

11 ..................................................................... مشابهة دراسات .2

11 ..................................................................... مشابهة دراسات .1.1

Galactic Arms Race (GAR)............. 11 رةالمج التسلح سباق لعبة .1.1

constraint-based المحتوى لتوليد مقيدة إجرائية طريق عن فضاء سفينة إنشاء تصميم .2.3

procedural content generation (PCG) ....................................................... 12

Procedural Content Generation إجرائي بشكل المحتوى توليد .1

(PCG) 12

12 ................................................................................. مقدمة .1.1

12 ...................................................... التلقائي وىالمحت توليد أقسام .1.1

12 .............................................. التطوير أثناء والبناء المباشر البناء .1.1

12 .................................... اإلختياري والمحتوى الضروري المحتوى .1.3

11 ............................................................................ المعامالت .1.2

11 ................................................. المحدد والتوليد العشوائي التوليد .1.2

11 ..................................البناءة ارزمياتوالخو اختبر-ابني خوارزمية .1.1

13 ....................................... البحثية الطرق باستخدام المولد المحتوى .1.3

13 ........................ بحثية خوارميات بإستخدام المولد المحتوى عن أمثلة .1.9

Pac-Man ................................ 13 بـ شبيهة أللعاب قواعد مجموعة .1.12

19 ................................................. اللوحة أللعاب قواعد مجموعة .1.11

19 .......................................................... السباق أللعاب مسارات .1.11

12 ....................................................... فضاء للعبة أسلحة تطوير .1.11

Super Mario Bros .............................. 12 للعبة المراحل تصميم .1.13

11 ............................................... الدراسة هذه في المدروسة اللعبة .3.15

12 ......................................... الالعب من المسترجعة المشاعر دراسة .3

Fun.................................................................... 12 اللعب متعة .4.1

Challenge .............................................................. 12 التحدي .4.2

Frustration ............................................................ 12 اإلحباط .4.3

Page 3: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 2

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Predictability ................................................. 12 التخمين قابلية .4.4

Boredom ...................................................... 12 والملل الضجر .3.2

Anxiety .................................................................. 12 الجزع .4.6

31 .............................................. كامل بشكل البحثية الدراسة مخطط .2

31 ............................................................ البحثية الدراسة مخطط .5.1

31 ................................... المحتوى توليد أجل من الالعب ةخبر نمذجة .6

Neuro-evolutionary التطورية العصبونية طريق عن التفضيل تعلم .6.6

Preference Learning through Player Modeling ..................................... 31

Reported player’s experience of اللعبة لعب بعد المعادة الالعب خبرة .6.2

playing the game ..................................................................................... 33

Reported player التجريبي والبروتوكول المعادة الالعب خبرة .6.6

experience and experimental protocol ................................................. 33

Game Pair ......................................................... 39 لعب زوج .6.6

21 .......................................................... النماذج لبناء نظرية أفكار .1

Cross-Validation ....................................... 21 التصالبي التحقق .1.1

21 ........................................................ التصالبي التحقق أهداف .1.1.1

23 ................................................... التصالبي التحقق عمل كيفية .1.1.1

k-fold ................................................ 23 الطيات معامل اختيار .1.1.1

Validation ....................................... 22 التحقق من أخرى أنماط .7.1.4

Non-Player Characters (NPC) ......... 22 العبية الغير الشخصيات .1.1

Preference learning for الالعب خبرة لنمذجة األفضليات طريق عن التعلم .8

modeling player experience ...................................................................... 21

Neuro-Evolutionary التطورية العصبونية التفضيل نمذجة .8.1

Preferece Learning .................................................................................... 21

Single Neuron ................................ 21 وحيد ببرسبترون التدريب .8.2

21 ............................................. المناسبة التدريب خوارزمية اختيار .3.1

Neuro-evolution for solving المسألة لحل التفضيالت خالل من التعلم تنفيذ .8.4

the problem ............................................................................................... 21

Methods Comparison Feature الميزات اختيار طرق مقارنة .8.5

Selection 23

Modeling of Player Experience الالعب خبرة تفضيالت نمذجة .8.6

Preferences 23

Predictive model ....................... 22 األفضل باللعبة المتنبأ النموذج .8.7

Page 4: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 3

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

22 .............................................................. الميزات اختيار إيقاف .3.3

Features Selection methods ......... 22 الميزات اختيار طرق أنواع .8.9

22 .................................................... الميزات واستخالص اختيار .3.12

22 ......................................................................... الهدف عتاب .3.11

الميزات اختيار خوارزمية nbest ............................................... 21

الميزات اختيار خوارزمية sfs ....................................................... 21

الميزات اختيار خوارزمية sffs .................................................. 21

الميزات اختيار خوارزمية PFS ................................................. 23

MLP ......... 29 طبقات بمتعدد متبع SLP برسبترون منهج اختيار سبب .3.11

12 .......................................................... الميزات اختيار مخطط .3.11

12 ............................................... اللعب وسمات بها المتحكم السمات .9

12 ....................................................................... السمات أنواع .9.6

Controllable features of the اللعبة في بها التحكم يمكن التي السمات .9.6.6

game 12

Gameplay characteristics ... 12 اللعبة ضمن اللعب خصائص .9.6.2

SHORE ....................................... 31 التعابير على التعرف برمجية .12

31 ............................................................................... مقدمة .10.1

SHORE ....................................................... 31 على التجارب .12.1

Data Collection ............................................... 91 البيانات جمع .11

91 ............................................................................... مقدمة .11.1

Features Extraction ......................... 91 السمات استخراج عملية .11.2

93 .................. الهامة األحداث من السمات استخراج – األولى المرحلة .11.1

92 ............................... الظاهرية السمات استخراج – الثانية المرحلة .11.3

91 ................................................................ اللعب أزواج ملف .11.2

121 .......................................................... المعطيات قاعدة تصميم .12

121 ............................................................................. مقدمة .10.1

121 ................................................................... المختارة النماذج .11

12.1. AllFrames .......................................................... 121

12.2. VIFramesAllAttempts .................... 121

12.3. VIFramesWindows .............................. 121

111 .................................................. النماذج من المستحصلة النتائج .13

Page 5: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 4

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

111 .......................................................... الميزات اختيار عملية .13.1

113 ..................................................... المزايا اختيار عن التوقف .13.1

Topology Optimization ....... 112 الشبكة طبولوجي تحسين عملية .14.3

113 ................................... النموذج حسب اختيارها تم التي الميزات .13.3

119 .................................................................. نموذج كل أداء .13.2

119 .................................................................... األداء مناقشة .13.2

111 ........................................................ النماذج واختبار بناء زمن .2

Raw Features ....................... 111 األولية السمات استخالص تطبيق .2.1

لعملية القابل النهائي بشكلها السمات وتجهيز المعطيات قاعدة بناء تطبيق .2.1

111 التحليل

113 ............................................................... التفضيل نماذج بناء .2.1

113 ................................................................... المستقبلية اآلفاق .13

Adaptive Game Model ..................... 113 التكيفي اللعبة نموذج .14.1

Adaptive content generation للمراحل التكيفي التوليد مراحل .14.2

113

111 ............................................................................ المراجع .12

Page 6: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 5

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 7: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 6

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 8: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 7

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

الفصل األول مقدمة المشروع

Page 9: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 8

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 10: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 9

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Abstractبتجرد .1.1

في إيجاد صلة الوصل بين تعابير الالعب هذه الدراسة تبحث

وحركات رأسه الغير عمدية وبين المحتوى المدروس للعبة بغية

لكل العب إلى بناء نموذج محتوى تكيفي تبعا الوصول في النهاية

نموذج التفضيل باالعتماد على تجربة الالعب استخدام تم على حدا.

من قبلنا اعتمادا على معطيات قاعدة معطيات ءبناتم في اللعب.

لالعبين قد خاضوا تجربة اللعب بتسجيل فيديو لوجوههم أثناء اللعب

ات الهامة فيما يخص طريقة لعبهم باإلضافة لتسجيل جميع المعطي

اء النماذج ومقارنتها للوصول إلى نموذج يتعرف على ومن ثم بن

تمهيدا لتوليد محتوى تكيفي لية المرحلة من الناحية الشعوريةأفض

يخص كل العب على حدا.

Page 11: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 10

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 12: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 11

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

مقدمة .1.1

Adaptiveالتكيفي توليد محتوى األلعاب بشكل والصناعي في زاد االهتمام األكاديمي

Gaming خالل السنوات القليلة الماضية حيث أثبتت العديد من البحوث والدراسات بشكل كبير

[. نقدم في هذه 1إدراج التكيف في ديناميكيات اللعبة يمكن أن يعزز من تجربة الالعب ] أن

الدراسة البحثية نموذجا يدرس تفضيالت الالعب أثناء اللعب تبعا لمحتوى معين وخصائص

ولكن بشكل زائد عن دراستنا السابقة أللعاب الرماية من اللعب التي قام بها الالعب أثناء لعبه

وذلك بدراسة تأثير تعابير الوجهة في حالة First Person Shooter Gamesظور الالعب من

.Marioالشخص الشعورية ضمن اللعبة وذلك للعبة

بدأت بعض األلعاب التجارية تتضمن بعض مبادئ المحتوى التكيفي، عن طريق تكييف بعض

( التي يتم difficultyعبة )من خصائص اللعبة اعتمادا على أداء الالعب. مثال صعوبة الل

، Max Payneتصميمها تبعا لتقدير مهارة الالعب وذلك عن طريق تعديل عدد األعداء في لعبة

أو Mario Kart( في لعبة power upsأو تعديل احتمالية الحصول على رافعات الطاقة )

.Left 4 Dead [1]( في لعبة spawn pointsأماكن التولد )

األلعاب التي تصمم نفسها بحسب تجربة الالعب يكمن في تطبيق اآلليات المفتاح في تصميم

التكيفية التي تقرر إذا، كيف، وكم مقدار يجب أن يتم تغيير محتوى اللعبة )ميزات معينة قابلة

الة تتمحور حول تجربة للتحكم في اللعبة نفسها(. الخطوة األولى نحو تصميم لعبة تكيفية فع

( والتركيز المعرفي لالعب وتطوير emotional stateلحالة الشعورية )الالعب هي تقييم ا

من أجل هذا الغرض يستحسن أن يتم تجميع عدد من ( لتجربة الالعب.predictorsمتنبئات )

مدخالت الالعب )حركات اللعب مثال ( الشتقاق مؤشرات لبعض جوانب تجربة اللعب أو الالعب

(. كذلك satisfaction( مستوى الرضى )frustrationاط )مثل مهارة الالعب، مستوى االحب

( تحوي على أسئلة ذات طبيعة surveyيمكن لالعبين إخبار تجربتهم عن طريق إحصائية )

(.preference( أو تفضيلية )scalingتحجيمية )

-neuroتعلم توقع تجربة الالعب عن طريق تعلم التفضيل العصبوني التطوري )

evolutionary preference learning أعطى نتائج دقيقة للنمذجة الحاسوبية لتجربة الالعب )

نموذج الالعب يمكن أن يصنف التفاعل بين الالعب واللعبة إلى عدد من أنماط سلوكيات [.1]

عب تم توليده بواسطة التنظيم [ تقول أن تضمين نموذج لال 1الالعب المختلفة. النظرية في ]

( للمتعلم التفضيلي العصبوني التطوري يمكن أن تؤدي إلى self-organizationالذاتي )

تقديرات أكثر دقة لتفضيالت الالعب. لتجربة هذه النظرية تم جمع بيانات لعب وتفضيالت

Page 13: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 12

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

شخص 112( من pairwise emotional preferencesشعورية تعتمد على الزوجية )

نا هذه.ثالثية األبعاد في دراست FPSيلعبون لعبة الشخص األول

كلمات مفتاحية .1.1

، تفضيالت Player Modeling، نمذجة الالعب NeuroEvolutionالتطور العصبي

Preferences التكيف ،Adaptive توليد المحتوى بشكل إجرائي ،PCG ميزات ،Features ،

، Gameplay features، ميزات لعب الالعب Controllable featuresميزات قابلة للتعديل

.Clusters، العناقيد Decision Treesرار أشجار الق

Page 14: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 13

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 15: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 14

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 16: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 15

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

الفصل الثاني

دراسات مشابهة

Page 17: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 16

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 18: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 17

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

دراسات مشابهة .1

دراسات مشابهة .1.1

)النماذج content[ فإنه في معظم ألعاب الفيديو الحديثة فإن المحتوى 1كما ورد في هذه ]

Models ا( يتم شحنها مع اللعبة بشكل ثابت على سبيل المثال، المراحل، األسلحة، وغيره

على Randomizingومصمم مسبقا بشكل ثابت ال تتغير، أو في أحسن األحوال يوجد عشوائية

يتغير ويتجدد بشكل content لكن، وفي حال كان محتوى اللعبة مجموعة ضيقة من المعامالت.

كل أفضل ولمدة أطول.مع اللعبة بش get engagedيمكن أن يندمجو دائم، فإن الالعبين

[ يوجد خوارزميات إنشاء المحتوى عن طريق 1لتحقيق وتخيل هذا الطموح، فإنه وحسب ]

content-generating NeuroEvolution ofالتطور العصبي للطبولوجيا المزادة

Augmenting Topologies (cgNEAT) algorithm .

على محتوى اللعبة اعتمادا على evolvingير تتحقق هذه الخوارزمية بأنها تقوم بالتعديل والتطو

cgNEATعلى مدار لعب اللعبة. تعتبر خوارزمية player preferencesتفضيالت الالعب

(.Stanley and Miikkulainen 2002األصلية ) NEATتطويرا لخوارزمية

Galactic Arms Race (GAR)لعبة سباق التسلح المجرة .1.1

. cgNEAT[ فإن هذه اللعبة تستخدم خوارزمية 1المقدمة في ]هذه اللعبة وحسب الدراسة

السفن الفضائية ليقاتلوا طيارات األعداء للحصول على أسلحة جديدة GARيستخدم الالعبون في

اكتشاف GARوالتي تطورت من اللعبة، خالل اللعبة. توضح األشكال أدناه كيف يمكن لالعبين

موجودة في اللعبة بشكل أساسي، ولكن أيضا على مجموعة واسعة من األسلحة والتي ليست

ل في الماضي. extendingأساس وتمديد محتوى جديد من محتوى سابق فض

هو أنه من الممكن اآلن إنشاء ألعاب تولد المحتوى cgNEATاآلثار المترتبة على خوارزمية

ى بشكل ثابت، مزيدة بذلك الخاص بها بنفسها، مخفضة بذلك إلى حد كبير من تكلفة إنشاء المحتو

قيمة اللعبة بحد ذاتها.

تبين األشكال التالية بعض المفاهيم مع شرح كل منها.

Page 19: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 18

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

، فإنه من المرجح أن يعثر GAR. كما تتطور أسلحة في أمثلة تطور السالح تبين هذه األشكال

الالعبون على أسلحة ذات صفات مماثلة لتلك التي قاموا بتفضيلها في الماضي.

ي هذا المثال من اللعب الفعلي، فإن الالعب كثيرا ما أطلق سالح انتشار فSpread

weapon ( كما في الشكلa.)

في وقت الحق من اللعبة، حدث تطور جديد في سالح االنتشار وأحدثت عليه تعديالت

variations (b، c.)وتغييرات

( نوع آخر من أسلحة االنتشار مثيرة لالهتمامdتقوم بإط ) الق قذيفتين )إطالق قذائف

الخارجي( وقذيفة سريعة داخلية.

( في وقت الحق من نسل هذا السالحe، f يكون نمطه بشكل مبالغ في، حيث أن فرق )

السرعة بين نوعي القذائف الداخلي والخارجي بشكل كبير، وبشكل متعدد من نمط اللون

مثلة لتوضيح كيفية تطوير للقذيفة الواحدة كما تم تعديل عرض االنتشار. هذه األ

لمحتوى بناء المرحلة التالية بناء على تفضيالت الالعب في cgNEATخوارزمية

المراحل الماضية.

Page 20: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 19

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

العديد GAR. يكتشف العبوا gameplayتطور األسلحة خالل لعب الالعب يبين هذه الشكل

نفسها. يظهر الشكل بجانب كل من األسلحة المصممة ديناميكيا أثناء اللعب، وذلك من قبل اللعبة

:صورة عدد أجيال االستنساخ التي اتخذت لتطوير كل سالح. مثال

( في الشكلa، b ) تنبعث من السالح عدة انماط من جسيمات الني تكون فعالة لمحاربة

العديد من األعداء في آن واحد.

( يبين الشكلcنمط سالح يبعث نمط محدد والذي هو واسع في البدا ) ية، من أجل صد

أسلحة األعداء، ولكن يتقاطع في وقت الحق ليركز الضرر على جسم واحد بعد مسافة

( يخلق جدار دفاعي من الجسيمات أمام الالعب.dمعينة.يبين الشكل )

( الشكلe يطلق نمط على شكل موجة والتي يمكنها الدوران على عقبات ضخمة مثل )

النيازك.

( الشكلf يبين إنشاء خط ) دفاعي من الجزيئات في كال الجانبين من العب، مما أسفر

لالعب. عن خط دفاعي

على توليد مجموعة من األسلحة بشكل تكتيكي cgNEATهذه النتائج تثبت قدرة خوارزمية

وجمالي بشكل متنوع ومفيد بشكل حقيقي وأصيل!

Page 21: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 20

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

-constraintتصميم إنشاء سفينة فضاء عن طريق إجرائية مقيدة لتوليد المحتوى .1.1

based procedural content generation (PCG)

constraint-based proceduralإجرائية مقيدة لتوليد المحتوى [3تعرض الدراسة في ]

content generation (PCG)

إلنشاء تصميم لسفينة فضاء )شكل جسم السفينة

وسمات سفينة الفضاء مثل األسلحة وأنواع الدافع

النظر عن الفيزياء واستراتيجيات وطبولوجيا( بغض

القيادة. وفقا إلطار العمل المقترح، فإن المصمم يختار

مجموعة من المتطلبات لسفينة الفضاء والتي يحاول

من تحقيقها constraint optimizerمحسن القيود

وإرضاء القيود.

النتائج التي تم الحصول عليها في عدد من االختبارات

من القيود واألهداف تبين أن سفينة باستخدام مجموعة

الفضاء ولدت أداء جيدا في الحركة والقتال والبقاء

visuallyعلى قيد الحياة، كما أنها مقبولة بصريا

appealing.

في الشكل على اليسار توضيح توليد سفينة فضاء. كل

لون يمثل نمط محدد كاللون األحمر يمثل سالحا

فع لسفينة الفضاء.واللون األزرق يمثل دا

يبين الشكل التالي لقطة للمحاكاة، تظهر كل المكونات.

تظهر فيها سفينة الفضاء المعدلة عن طريق اإلجرائية

PCG ،باللون األصفر، وسفينة العدو باللون األحمر

)وهما obstaclesوكوكبين يمثالن عوارض

الدائرتان( والهدف الممثل باللون األبيض والذي تتجه

سفينة الفضاء. نحوه

Page 22: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 21

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 23: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 22

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 24: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 23

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

الفصل الثالث

توليد المحتوى بشكل إجرائي

Procedural Content Generation (PCG)

Page 25: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 24

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 26: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 25

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Procedural Content Generation (PCG)توليد المحتوى بشكل إجرائي .1

مقدمة .1.1

ع أجزاء اللعبة . والمقصود بالمحتوى هنا جميةهو بناء محتوى اللعبة بشكل تلقائي بطرق إجرائي

التي تؤثر على تجربة الالعب مثل التضاريس، الخرائط، المراحل ، القصص، الحارات،

األهداف الواجب تحقيقها ، قواعد اللعبة، منظور الكميرا، األسلحة المتاحة.

:PCGيوجد عدة أسباب تجعل من مصممي األلعاب يهتمون بـ

إستهالك الذاكرة .1

لتي تعتمد فيمكن ضغط محتوى األلعاب ا

عن طريق جعل هذا المحتوى PCGعلى الـ

غير معلوم، وال يتم توليده إال عند الحاجة،

Eliteومثال على ذلك لعبة الفضاء

(Acornsoft 1984) التي استاطعت إدارة

مئات مجموعات النجوم بإستهالك ذاكرة ال

يتعدى عشرات الكيلوبايتات عن طريق تمثيل

أرقام. كل نجم او كوكب بمجموعة

توفير التكاليف المالية إلنشاء المحتوى بشكل يدوي .1

إلنشاء SpeedTree[5]العديد من األلعاب المعاصرة تقوم بإستخدام تطبيقات مثل

مناطق ضخمة يستطيع الالعب التجول فيها عن طريق تغيير مجموعة معامالت.

بناء أنماط جديدة من األلعاب .1

ألعاب تغير محتواها بشكل كبير وملحوظ وبإداء جيد لوقت لعله إن كان بإمكاننا بناء

ألمكن بناء ألعاب ال يوجد نهاية لها. إن أمكن بناء مثل هذا النمط (Real timeالتنفيذ)

من األلعاب وتعديل المحتوى الناتج ليالئم ذوق العب معين )أو نمط لعبه( أو حتى لزيادة

النتيجة هي ألعاب يمكن إعادة لعبها بشكل تجربة الالعب )التحدي، االندماجية( ستكون

النهائي لقدرتها على التكييف وتغيير المحتوى بشكل دائم.

Page 27: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 26

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

تجاوز مخيلة المصممين .4

محتوى األلعاب هو رهين لمخيلة المصممين، ولكن بتوليد المحتوى بشكل خوارزمي

حصل على عشووائي )ال يمكن اعتباره عشوائي بالمعنى الحرفي( ممنهج فإننا قد ن

محتوى لم نكن نتوقعه.

أقسام توليد المحتوى التلقائي .1.1

بأشكاله المختلفة هو ميزة أستطاعت العديد من األلعاب تحقيقها منذ مدة، PCGبالرغم من أن الـ

إال انه اليوجد مجتمع أكاديمي متخصص للبحث في هذا المجال. لكن هذا الواقع بدء بالتغيير

، ورشة mailing List[6] ،IEEE CIS Task Force [7]يد من فمؤخرا حيث تم إيجاد العد

[ مخصص لهذا الموضوع، لكنه اليوجد كتب متخصصة تناقش هذا 9[، وويكي ]3عمل ]

المجال.

.PCGالقسم التالي يسلط الضوء على العديد من المفاهيم األساسية في

البناء المباشر والبناء أثناء التطوير .1.1

ا نريد توليد المحتوى بشكل مباشر وفوري أثناء اللعب، أو أثناء مرحلة يجب تحديد فيما إذا كن

تطوير اللعبة. فمثال على التوليد المباشر عندما يدخل العب إلى بناء، تقوم اللعبة بشكل مباشر

بإنشاء البنية الداخلية للبناء التي لم تكن موجودة من قبل. بينما نقصد بالتوليد أثناء تطوير اللعبة

ارزمية التوليد تقترح على المصمم بنية معينة للمحتوى و يقوم هو بالتعديل عليه أثناء أن خو

مرحلة تطوير اللعبة. يوجد حل وسط بين األسلوبين. فمن الممكن أن يقوم مخدم بأقتراح خرائط

جديدة لالعب أو مجموعة العبين بناء على معلومات تم جمعها مسبقا عن نمط لعبهم.

والمحتوى اإلختياري المحتوى الضروري .1.4

يمكن تصنيف المحتوى المولد فيما إذا كان ضروريا أو إختياريا . المحتوى الضروري هو

المطلوب تواجده ليتمكن الالعبون من إتمام اللعبة والمهام الواجب تحقيقها مثل المعالم الواجب

ما المحتوى اإلختياري هو زيارتها أو الوحوش الواجب قتلها، أو القواعد التي ال بد أن تتواجد. في

الذي يستطيع الالعب أن يبتعد عنه وال يتفاعل معه. مثل األسلحة او المنازل أو المعالم التي يعد

دخولها إختياريا . الفارق هنا بين المحتويين أن المحتوى الضروري يجب أن يكون صحيحا دائما .

قيق هدف معين ولكن لسبب ما ال يستطيع أي من غير المقبول أن يتم توليد معلم يجب زيارته لتتح

Page 28: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 27

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

الالعب دخوله. بينما يمكن أن نسمح للخوارزمية أن تقوم بتوليد أسلحة غير قابلة لالستخدام أو

تصميم غير منطقي لمبنى إذا كان بإستطاعة الالعب ببساطة أن يقوم بإلقاء السالح جانبا وإختيار

ه.غيره أو الخروج من المبنى الغريب وزيارة غير

المعامالت .1.3

يمكن التمييز بين خوارزمييتي توليد محتوى عن طريق األخذ بعين اإلعتبار إلى أي حد يمكن

التالعب بمعامالت كل خورازمية. جميع خوارزميات توليد المحتوى تقوم بتوليد محتوى موسع

توليد لخوارزمية (seed)إنطالقا من محتوى صغير ومضغوط. فيمكن لخوارزمية أن تأخذ بذرة

األرقام العشوائية التي تستخدمها، فيما يمكن لخوارزمية أخرى أن تقبل شعاع متعدد األبعاد

كوسيط يوصف المحتوى الواجب بناؤه.

التوليد العشوائي والتوليد المحدد .1.3

نستطيع أن نصنف خوارزميات بناء المحتوى بأخذ عشوائية المحتوى بعين األعتبار. المقصود

فس المعامالت لنفس الخوارزميات وتنفيذها اكثر من مرة فهل المحتوى الناتج هنا أنه بتمرير ن

سيكون متطابق أم مختلف. فإن كانت الخوازرمية محددة فبتمرير نفس المعامالت المتعلقة

بتصميم الخوارزمية سنحصل على نفس الناتج بغض النظر عن عدد مرات التنفيذ عى عكس

عشوائية )مثل الخوارزميات الجينية(. الحال فيما إذا كانت الخوارزمية

اختبر والخوارزميات البناءة-خوارزمية ابني .1.3

المعيار األخير الذي يمكن استخدامه للتميز بين خوارزميتين هو الخوارزمية البناءة،

اختبر.-والخوارزمية التي تعتمد مبدأ ابني

تنتهي عند ذلك. ولكن عليها التحقق نعتبر بأن خوارزمية ما بناءة إذا كانت تقوم بتوليد المحتوى و

إختبر تقوم ببناء -فيما إذا كان المحتوى صحيحا أو مقبوال أثناء عملية البناء. خوارزمية ابني

محتوى معين، وثم تقوم بالتحقق فيما إذا كان يوافق مجموعة شروط فمثال تتحقق فيما إذا كان

فيما إذا كانت األشجار تحقق صفات الطريق بين معلم ما والمدخل والمخرج بطول معين، أو

ضمن مجال معطى. في حال الفشل فإنها تقوم بإعادة توليد جميع أو جزء من المحتوى الحالي

وتكرر العملية حتى نحصل على محتوى مقبول.

Page 29: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 28

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

المحتوى المولد باستخدام الطرق البحثية .1.3

اختبر ويحقق الشروط التالية:-وهو حالة خاصة من طريقة ابني

تابع إختبار يقوم بتحديد جودة محتوى معطى. وذلك عن طريق قيمة وحيدة أو يوجد

Fitness)شعاع من القيم الحقيقية. مثل هذا التابع يدعى بالعادة بـ تابع الكفاءة

Function) .والرقم الذي يمنحه لحل معطى اسمه بالكفاءة

ابق. هذه الطريقة بناء محتوى جديد يعتمد بشكل أساسي على الكفاءة المعطاة لحل س

تهدف إلى إنشاء المحتوى ذو كفاءة العالية.

( Evolutionary Algorithmجميع األمثلة التي سنردها الحقا تستخدم خوارزميات تطويرية )

كأداة للبحث عن المحتوى. تعتمد الخوارزميات التطويرية على مجموعة من الحلول المحتملة

يم هذه الحلول باستخدام تابع الكفاءة ويتم تريتيبها وفقا مخزنة في الذاكرة. في كل جيل يتم تقي

لكفاءتها. أسوء الحلول يتم حذفها من المجموعة واستبدالها بنسخ من الحلول الجيدة، باستثناء تلك

التي تم تعديلها بشكل عشوائي )تعرضت لطفرات( او تم دمجها مع حلول اخرى. ليس من

طويرية بشكل حصري. فمن الممكن إستخدام الضرورة أن يتم استخدام خوارزميات ت

خوارزميات بحث اخرى. ومن الجدير ذكره ان طريقة تمثيل الحلول هي نفسها غالبا بغض

النظر عن خوارزمية البحث المستخدمة.

أمثلة عن المحتوى المولد بإستخدام خوارميات بحثية .1.3

م خوارزميات بحثية ونحاول سنتعرض في هذا القسم إلى مجموعة من األمثلة المولدة بإستخدا

إسقاط ما تحدثنا عنه سابقا عليها.

Pac-Manمجموعة قواعد أللعاب شبيهة بـ .1.13

ببناء تجربة. تم بناء (Togelius and Schmidhbuer)[. قام 9حسب الدراسة المقدمة في ]

للعبة شبكة. حيث يقم الالعب بتحريك عميل Offlineمجموعة قواعد )محتوى ضروري( بشكل

. الشبكة تحتوي على مجموعة جدران وأغراض من ألوان مختلفة Pac-Manطريقة تشبه لعبة ب

يمكن فهمها على أنها قطع يجب التقاطها، أو شخصيات صديقة أو معادية على حسب القواعد

المطورة. تم تمثيل مجموعة القواعد على شكل شعاع معامالت ذو حجم ثابت يمثل تأثير

مع بعضها أو مع العميل كما أنه يوصف سلوكها. يمكن تمثيل مجموعة األغراض عندما تتصادم

Page 30: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 29

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

جيدة من األلعاب بمثل هذا الطريقة. الجينوتايب كان من النوع المحدد باستثناء التموضعات

اإلبتدائية. تابع التقييم كان من النوع المحاكي المرن.

مجموعة قواعد أللعاب اللوحة .1.11

قام ببناء نظام لتطوير القواعد الضرورية بشكل Browne [ فقد قام 12حسب الدراسة ]

Offline لأللعاب اللوحية باستخدام البرمجة الجينية. تم تمثيل قواعد األلعاب بشكل مباشر

( باستخدام لغة وصفية. هذه اللغة الوصفية تسمح بتمثيل Expression Treesكأشجار تعبيرات )

فيها ألعاب شهيرة. الخوارزمية التي استخدمها كانت معدلة، القواعد لعدد من األلعاب اللوحية بما

فاألبناء ذوو الكفاءة المنخفضة لم يتم التخلص منهم بشكل كامل وإنما حافظ عليهم ومنحهم أولوية

منخفضة وذلك من أجل الحفاظ على تنوع مجموعة الحلول. تابع التقييم كان خليط من تابع تقييم

ثابت. مباشر وتابع تقييم محاكي

مسارات أللعاب السباق .1.11

يقوم بتوليد online/offlineببناء نظام Togelius et al[، فقد قام11حسب الدراسة ]

مسارات )قد يكون محتوى ضروري أو غير ضروري حسب تصميم اللعبة( من أجل ألعاب

ثم يتم السباق. تم تمثيل المسارات بشكل مباشر بإستخدام شعاع معامالت ذو طول ثابت. ومن

( التي تعرف مسار Bezier)مجموعة من منحيات b- splinesترجمة هذا الشعاع بإستخدام

الحلبة. تابع التقييم المستخدم من النوع المحاكي الجامد ويراعي تفضيالت الالعب إلنشاء محتوى

التحكم يتماشى مع ذوقه. كل محتوى مطور محتمل تم تقييمه باستخدام عميل على شكل سيارة يتم

فيها باستخدام شبكة عصبونية تم تدريبها مسبقا لتحاكي سلوك قيادة اإلنسان للسيارة. كفاءة المسار

تعتمد على أداء السيارة على المضمار: الفرق بين السرعة العظمى والصغرى، مقدار التقدم

المحرز على المضمار.

Page 31: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 30

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

تطوير أسلحة للعبة فضاء .1.11

اء لعبة متعددة الالعبين باستخدام خوارزمية بناء محتوى بحثية. ببن Hastings et al [3] قام

في اللعبة المطورة على الالعبين قيادة مركبة فضاء وخوض مجموعة من المواجهات مع أعداء

وجمع أسلحة )السالح هو محتوى إختياري ولكن حيازة مجموعة جيدة من األسلحة أمر

األسلحة كانت ممثلة بإستخدام تمثيل غير مباشر ضروري من أجل تحقيق التقدم في اللعبة(.

كمجموعة أشعة متغيرة األطوال، ويتم تفسير هذه األشعة على أنها أوزان وبنية شبكة عصبونية

. (Particle Engine)والتي بدورها تتحكم بـمحرك الجزئيات الخاص بالسالح

مد على عدد المرات التي قام تابع الكفاءة المستخدم من النوع التفاعلي. كفاءة كل سالح تعت

المستخدمون بالولوج إلى المخدم الخاص باللعبة واختيار هذا السالح، وإلى الفترة التي بقي فيها

هذا السالح ضمن ترسانة الالعب دون إستخدام.

Super Mario Brosتصميم المراحل للعبة .1.14

المصدر ماريو ليجعلها تغير بتعديل على اللعبة مفتوحة في دراسته Pedersen et al [12]قام

على شكل very indirectlyمحتواها لتتماشى مع رغبات الالعب. تم تمثيل المراحل بشكل

ف عدد الحفر وتموضعها في ضمن المرحلة. تقوم الخوارزمية شعاع معامالت قصير يوص

باستخدام هذه المعلومات لبناء مرحلة كاملة بشكل عشوائي.

ومخصص. استخدم شبكات عصبونية تقوم بإستخدام data-drivenتابع التقييم مباشر

المعامالت الموصفة للعبة ومعامالت موصفة ألسلوب الالعب للتنبؤ بمشاعر الالعب )المتعة،

التحدي، اإلحباط، التعب، الملل( ويتم إستخدام خرج الشبكات العصبونيات كأحد المعايير ضمن

صبونية باستحدام عينات تم تجميعها من مجموعة العبين.تابع الكفاءة. تم تدريب الشبكات الع

Page 32: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 31

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

في هذه الدراسة اللعبة المدروسة .1.13

Super Mario Brosكما تكلمنا سابقا فإن اللعبة المدروسة في هذه الدراسة هي لعبة ماريو

. يتم اختيار لعبة ماريو في كثير من الدراسات Pedersen [12]من قبل Javaوالمطورة بنسخة

حثية لما لها من خصائص تجعلها ممتازة كلعبة كالسيكية يمكن استخراج عن طريقها العديد الب

من الدراسات والمعلومات اإلحصائية.

Page 33: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 32

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 34: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 33

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

الفصل الرابع

المشاعر المسترجعة من الالعب

Page 35: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 34

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 36: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 35

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

دراسة المشاعر المسترجعة من الالعب .4

Funمتعة اللعب .4.4

statistically significant correlationsحوظ يتم الحصول على الترابط اإلحصائي المل

%( من خالل عدة ميزات. 1)والذي يختلف من دراسة إلى أخرى وغالبا ما يكون في حدود الـ

fastوجود مثل هذا الترابط يرسم صورة عن مدى استمتاع الالعب من لعبة سريعة الرتب

paced game والتي تتضمن غالبا تفاعل وتقدمprogress تمر لالعب، والكثير من مس

الركض، وعدد األعداء الذين يتم قتلهم والقضاء عليهم.

أنه مفهوم متعة اللعب يمكن أن [1]من الممكن أن يقول البعض حسب المقارنة الواردة في

أثناء اللعب progress، والذي يقول بأن الالعب يقوم بتقدم flowيوضع ضمن مفهوم االنسياب

ولكن مفهوم االنسياب يتضمن نسبة معينة شيئا من التحدي unhinderedغير متواني

Challenge الذي سيتم شرحه الحقا ( وبالتالي ال يوجد أي ميزة(feature قد تميز التحدي في

من المتحتمل أن يستمتع الالعبون باللعبة عندما تكون سهلة، وعلى األقل مثال عندما هذه الحالة.

فإنه غالبا ما يكون معيار متعة [1]ن اللعبة. حسب الدراسة المقدمة في يلعبون مرحلة واحدة م

complex chains of eventsمتأثر بعوامل كثيرة ويكون بتسلسل معقد لألحداث funاللعب

واالستمتاع gameplay featuresويتصل بنظرية تدعم وجود العالقة بين ميزات اللعب

enjoyment.

Challengeالتحدي .4.4

ترتبط بشكل وثيق وكبير مع التحدي. كوجد عدد كبير من األعداء، featuresاك عدة ميزات هن

وقوة هؤالء األعداء، كما يؤثر عدد كائنات زيادة الطاقة أو الدروع في المرحلة الواحدة على

مستوى التحدي فيها.

Frustrationاإلحباط .4.4

بشكل أن الالعب يقف بشكل متكرر أثناء [1]وتكون غالبا في األلعاب بشكل عام اعتمادا على

اللعب وذلك عندما يفكر في كيفية تجاوز عقبة ما في طريقه، أو في حالة عدم الفوز بالمرحلة

والخسارة فيها جراء مثال الموت عدد كبير من المرات وعدم قتل أي من األعداء على مدار لعبة

كاملة.

Page 37: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 36

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Predictabilityقابلية التخمين .4.4

عندما يتم الالعب مرحلة ما بنجاح، وذلك يدل على وجود نسبة [1]مشاعر حسب توجد هذه ال

جيدة من الخبرة لديه، فهو قام بالفوز بالمرحلة اعتمادا على خبرته التي قام بجمعها من خالل

معرفته للمرحلة غالبا وبطريقة اللعب المناسبة منها لتحقيق الفوز.

Boredomالضجر والملل .4.4

في هيئة وجود مهام سهلة جدا أحيانا لالعب كطلب القفز مرارا على حفر بعرض يكون الضجر

مثال أن هناك سلوك خطي Marioفي لعبة ماريو أنه [1]صغير جدا . بينت الدراسة في

للنموذج يربط بين الملل وميزة واحدة تتحكم فيه.

Anxietyالجزع .4.4

ع تكون غالبا مترابطة مع قابلية بطة مع الجز التي تكون مترا السماتفإن جميع [1]حسب

، ولكن غالبا قيم العالقات تكون معكوسة، والتي تعني بأن الالعب Predictabilityالتخمين

غالبا يكون أكثر جزعا كلما كانت المرحلة أقل قابلية للتخمين.

Page 38: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 37

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 39: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 38

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 40: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 39

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

الخامسالفصل

مخطط الدراسة البحثية بشكل كامل

Page 41: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 40

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 42: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 41

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

طط الدراسة البحثية بشكل كاملمخ .4

مخطط الدراسة البحثية .4.4 يتألف النظام من المخططات األربعة التالية،. سيتم شرح كل مرحلة بالتفصيل الحقا .

س

Controllable المتحكمة السماتتتألف المرحلة األولى من توليد المراحل باالعتماد على

features تكون المرحلة التانية هي مرحلة جمع المعطيات حيث تقدم لعبتان لالعب ويطلب منه .

بيان أيهما أفضل من النواح الشعورية الثالث وبيان رأيه في كل مرحلة على حدا. المرحلة الثالثة

Phase-3: Preference Modelling

Phase-4: Adaptive Modeler

Controllable

features

Gameplay

features

Prediction

of

player’s

emotion

Enforced

Controllable

features

Gameplay

features

Exhaus

tive

Prediction

of

player’s

emotion

Phase-1: Levels Generation

Level

Generator

Phase-2: Data Collection

Levels

A

B

Gameplay

Features

Visual

BehaviourIn-game

Events

Questionnaire

4-AFS

Level

Rating

Controllable

Features

Page 43: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 42

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

اعتمادا على خواص والرابعة هي لبناء نموذج يتنبأ بالنواح الشعورية المسترجعة من الالعب

. يمكن قراءة المزيد عن هذين النموذجين في دراسة بحثية Gameplay featuresاللعب له

أخرى لنا.

.Engagementسيتم هنا بناء النماذج جميعها للحالة الشعورية: االندماجية

Page 44: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 43

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 45: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 44

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 46: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 45

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

السادسالفصل

نمذجة خبرة الالعب من أجل توليد المحتوى

Page 47: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 46

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 48: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 47

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

ة الالعب من أجل توليد المحتوىنمذجة خبر .4

Neuro-evolutionaryتعلم التفضيل عن طريق العصبونية التطورية .4.4

Preference Learning through Player Modeling

لتعلم التفضيل من الالعب. [1]يوضح الشكل السابق المكونات الرئيسية للطريقة المقترحة في

ذجة الالعب، بينما عملية تعلم التفضيل تظهر في القسم القسم األعلى من الشكل يوضح زيادة نم

( من مجموعة من features) السماتاألسفل. في هذه المقاربة، يتم استخراج مجموعة من

( ويتم معالجة gameplay featuresبيانات اللعبة المسجلة لالعبين والتي هي ميزات اللعب )

( الختيار feature selection algorithmعن طريق خوارزمية اختيار ميزات ) السماتهذه

األكثر مالئمة التي تعطي أعلى أداء عند تطبيق النموذج التفضيلي السماتمجموعة

(preference model حيث أن النموذج التفضيلي يتعلم أن يقابل بين هذه المجموعة من ،)

وبيانات التفضيل التي يتم اإلخبار عنها من العبي اللعبة. السمات

يتم اختيار مجموعة أخرى من ميزات اللعب إلنشاء نموذج [1]نموذج الموسع المقترح في في ال

لالعب والذي يغذي النموذج التفضيلي بتصنيفات الالعب، يؤمن إنشاء هذه التوسعة متنبئ

( مع مؤشر صريح عن سلوك الالعب أو اسلوبه.preference predictorللتفضيل )

Emergent self-organizingام خرائط التنظيم الذاتي المنبثقة )تم استخد [1]في هذه الدراسة

maps أو )ESOM كاختصار لنمذجة الالعبين والتي لن نستخدمها هنا وسنضعها كدراسة

Page 49: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 48

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

نموذج التفضيل النهائي في الدراسة مستقبلية، و العصبونية التطورية لتعلم تفضيالت الالعب.

Non-linearلطور هو طبقة بيرسيبترون واحدة غير خطية )السابقة بعد انتهاء المقاربة ثنائية ا

SLP تتوقع تفضيالت تدربت عليها من مجموعة ميزات لعاب مختارة ونمط الالعب المعطى )

تم اختيار التي تستخدم مجموعة أخرى من ميزات اللعب لتصنيف الالعبين. ESOMبواسطة

( SFSالختيار التسلسلي األمامي )عن طريق ا ESOMو SLPميزات إحصائية مناسبة من أجل

يختلف النموذج السابق عن درستنا، وسنذكر النموذج المأخوذ .السماتكطريقة الختيار

بالتفصيل فيما يلي.

Reported player’sخبرة الالعب المعادة بعد لعب اللعبة .4.4

experience of playing the game

ت ذات خيارت محددة مسبقا )قسرية( تسأل اخيار 3مؤلف من خالل استبيانوتقاس من

( )مختلفتين بالمميزات التي يمكن Game Pairاللعبة )ن لعب اثنين من أزواج أبعد لالعب

( وذلك إلعطاء رأيه بزوج اللعب الذي قام بلعبه Controllable featuresالتحكم بها في اللعبة

لعبة. وسيتم شرح البروتكوكول المقيم.اعتمادا على المشاعر التي قد آتته عندما لعب ال

Reported playerخبرة الالعب المعادة والبروتوكول التجريبي .4.4

experience and experimental protocol

والتي تقوم على أن يلعب الالعب زوجين [1]حسب [19]قمنا بأخذ نفس التجريبية المقترحة في

جابة عن أربع أسئلة ذات خيارات محددة وذلك تبعا وبعدها يقوم الالعب باإل من أزواج اللعبة

أربع تباديل محددة ( والمسمى ببرتوكول Emotional Preferenceللمشاعر التي خاضها )

( والذي تكون خياراته على الشكل:alternative forced choice (4-AFS)-4)الخيارات

اللعبةA[B] كانت أكثرE من اللعبةB[A] تبديلين لخيارين محددين -. )أو بالعكس

حصرا(

كلتا اللعبتين كانتاE.

كلتا اللعبتين كانتا غيرE.

التداخلحتوي على تأخذ قيما ت تحت التحقيق و (Emotion) هي حالة وجدانية E حيث

( في دراستنا Frustrationوإحباط )، (Challenge) يا ، وتحد (Engagement"االندماجية" )

Page 50: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 49

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

يتعلق لعبة وشعبيتها عندماالالعب بحول مدى صلة لعب الثالثل اهذه الدويستند اختيار هذه.

.[12]تخص األلعاب كما تم إجراؤه في دراسات باألمر

Game Pairزوج لعب .4.4

ومن ثم يقوم بإعطاء A،Bيتألف نمط عملية اللعب التي قمنا بها بأن يلعب الالعب لعبيتين

reporting ه للعبة.للمشاعر التي خاضها أثناء لعب

نقوم بتوليد مرحلتين، كل مرحلة كما رأينا في توليد المراحل اعتمادا على شعاع ميزات

feature vector الموافقة بداخله. السماتوالذي يقوم ببناء مرحلة استنادا إلى قيم

Page 51: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 50

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 52: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 51

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

الفصل السابع

أفكار نظربة لبناء النماذج

Page 53: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 52

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 54: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 53

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

أفكار نظرية لبناء النماذج .3

Cross-Validationالتصالبي التحقق .3.1

فإنه عبارة عن إسلوب [ 12، حسب الدراسة ]Rotation estimationوالذي يطلق عليه أحيانا

إحصائي لتقييم ومقارنة خوارزميات التعلم وذلك من خالل تقسيم البيانات إلى جزأين: األول

موذج. في التحقق التصالبي يستخدم لتعليم أو تدريب نموذج واآلخر يستخدم للتحقق من صحة الن

بتكرارات cross-overفإن مجموعات التدريب والتحقق يجب أن تتصالب typicalاالعتيادي

لها فرصة في data pointبحيث أن كل نقطة معطيات successiveمتتالية roundsومرات

أيضا . validated againstأن تكون غير محققة

. األشكال األخرى من k-fold cross-validationالبي هو الشكل الرئيسي في التحقق التص

أو تحتوي على عدد من k-fold cross-validationالتحقق التصالبي هي حاالت خاصة من

.k-fold cross-validationمن roundsالمرات

أهداف التحقق التصالبي .3.1.1

هناك هدفان محتمالن للتحقق التصالبي:

م لمعرفة مدى أداء نموذج متعلlearned model من معطيات جاهزة وموجودة

باستخدام خوارزمية واحدة. بكالم آخر لإلحاطة بمدى قابلية الخوارزمية للتعميم

generalizability .

لمقارنة أداء خوارزميتين مختلفتين إليجاد الخوارزمية األفضل من أجل معطيات جاهزة

parametersأكثر من المعامالت وموجودة، أو بشكل أخر، لمقارنة أداء اثنين أو

.parameterized modelلنموذج مقاد بالمعامالت

نالحظ أن الهدفين السابقين مرتبطان بشكل كبير ببعضهما حيث أن الهدف الثاني محقق بشكل

الممكنة لألداء. estimatesضمني في حال معرفة أحد التقاريب

Page 55: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 54

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

كيفية عمل التحقق التصالبي .3.1.1

قسم متساوي )أو تقريبا kفإن المعطيات تقسم أوال إلى k-fold cross-validationفي

.foldمتساوي( أو ما نطلق عليه بـ "طية"

من التدريب والتحقق بحيث يكون ضمن كل iterationدورة kوبشكل مماثل فإنه يتم

iteration طيةfold مختلفة من المعطيات يطبق عليه التحققvalidation و الـ k-1 طية

.learningالباقية تستخدم للتعلم

. الجزأ األغمق من المعطيات يعبر fold cross-validation-3الشكل التالي يوضح مثاال على

. validationعن التدريب واألخف عمقا لونيا يعبر عن معطيات التحقق من الصحة

طية. التطابق kمة إلى بأن تكون مقس stratifiedيتم عادة تحقيق تطابق المعطيات

stratification هو عملية إعادة ترتيب المعطيات بحيث تضمن هذه العملية بأن كل طية تعبر

بشكل جيد عن كامل المعطيات.

%50يعبر عن classحيث أن كل صف binary classificationفي مثال التصنيف الثنائي

وترتيبها ضمن كل طية بحيث أن كل صف من المعطيات، فإنه من األفضل تقسيم المعطيات

.instancesيتألف من نصف العينات

k-foldاختيار معامل الطيات .3.1.1

machine learningفإنه في تطبيقات تعليم اآللة [ 12]غالبا وحسب الدراسة الواردة في

fold-10طيات 12فإنه يكون للتحق التصالبي data miningوالتنقيب عن المعطيات

cross-validation .في أغلب الحاالت

Page 56: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 55

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Validationأنماط أخرى من التحقق .3.1.4

-Leave-Oneو Hold-Out Validationيوجد العديد من الطرق األخرى في التحقق مثل

Out Cross-Validation وRepeated K-Fold Cross-Validation والتي يمكن أيجاد

يلي:وفق ما [12مقارنة فيما بينها من خالل الدراسة ]

طريقة التحقق

Validation method

Consالسيئات Prosالحسنات

Resubstitution

Validation

ظهور ظاهرة التدريب الزائد وحفظ بسيطة

over-fittingالشبكة لنمط واحد

Hold-out Validation عملية التدريب

واالختبار منفصلة

عن بعضها البعض

عدد قليل من عمليات التدريب،

كبير varianceبار، انحياز االخت

k-fold cross validation تقريب وتخمين دقيق

لألداء

تقريب وتخمين عدد قليل من عينات

معطيات تدريب معادة أكثر األداء،

انحياز ،overlappedمن مرة

variance بشكل أدنى أو أعلى بكثير

من الحد المثالي

Leave-One-Out cross-

validation

غير تخمين أداء

unbiasedموروب

انحياز كبير جدا

Repeated k-fold cross-

validation

عدد كبير من تقريبات

األداء

،overlappedتدريب متكرر

بشكل أدنى أو varianceانحياز

أعلى بكثير من الحد المثالي

Page 57: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 56

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Non-Player Characters (NPC)الشخصيات الغير العبية .3.1

للبشر يتطلب عدة صفات حتى يتاح للبشر أن Descriptionsصف فإن الو [11]كما ورد في

. الشخصيات الغير العبية هي الشخصيات التي ال believableيصفوا الشيء بأنه قابل للتصديق

يمكن أن يتحكم فيها الالعب. في مجال األلعاب تعتبر الشخصيات الغير العبية بأنها الشخصيات

حاسب من خالل إضافة سلوك عليها عن طريق الذكاء الصنعي.التي يتم التحكم بها عن طريق ال

تكمن جودة الشخصيات الغير العبية بمدى قابليتها للتصديق إشارة إلى خيارات التصميم التي

في believableوالتي يمكن تصديقها NPCيمكن تقديمها عند تصميم شخصيات غير العبية

األلعاب عديدة ولكن ليست كلها بنفس الجودة.

Page 58: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 57

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 59: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 58

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 60: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 59

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

:الثامنالفصل

في اللعب لالعباتجربة لنمذجة الكشف عن األفضلية

Preference Learning for Modeling Player

Experience

Page 61: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 60

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 62: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 61

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Preference learning forالتعلم عن طريق األفضليات لنمذجة خبرة الالعب .3

modeling player experience

استنادا إلى البيانات التي تم جمعها في العملية التي وصفناها أعاله، فإننا نريد تقريب تابع

(functionومم )يزات لعب الالعب ( من خالل المميزات القابلة للتعديل )مثل: صعوبة األعداء

)مثل: عدد الطلقات التي أطلقها الالعب وأصابت أعداءه( والمشاعر التي شعرها وهو يلعب

Neuroevolutionary) اللعبة )مثل: اإلحباط( وذلك باستخدام تفضيالت التعلم باستخدام

preference learning.)

[ التي تقوم 1الطريقة القائمة في ]تقوم طريقة التعلم والتي استخدمناها في هذه الدراسة على نفس

، بدءا من العثور على ارتباطات خطية Bottom Upعلى المضي بطريقة من أسفل إلى أعلى

(linear correlations وصوال بعد ذلك إلى نماذج غير خطية بسيطة، وأخيرا إلى النماذج ،)

نات ذات ضجيج ع أن تكون العيمن المتوق .الخطية األكثر تعقيدا ولكن أيضا أكثر فعالية ودقة

عالي جدا بالنسبة للتابع المأخوذ تبعا للميزات المختارة، وذلك بسبب أنها مأخوذة تبعا لتقييم

شخصي لالعب والمميزات التي يحبها تبعا لذوقه الخاص واألسلوب الذي يختلف فيه العب عن

هذا يجعل من تدريب آخر. جنبا إلى جنب مع كمية محدودة من البيانات وعينات التدريب، فإن

النموذج على العينات نفسها عدد كبير من المرات وظهور ظاهرة "زيادة التدريب والحفظ

( خطرا محتمال متطلبا ذلك منا أن نجد مقاربا ذو overfittingالخصوصي للمعطيات" )

فضيالت التي اعتمادية عالية للتابع المأخوذ )تابع المميزات القابلة للتعديل، لعب الالعب، الت

اختارها الالعب بعد لعبه اللعبة(. يقودنا ذلك إلى بناء تابع غير خطي كخطوة أساسية لبناء مثل

خيارا جيدا لبناء مثل هذا التابع فقد تم (ANN)هذا النموذج وحيث تمثل الشبكة العصبونية

النظام من الالعب ( بين المؤثرات التي استرجعها mappingاختيارها كأداة لتقريب التقابل )

(reported affects ( وعينات الدخل )تعبر عينات الدخل عن زوج لعب بكل ما فيه من صفات

لكل زوج(. Bواللعبة Aمتحكمة للمرحلة وصفات لعب الالعب في المرحلة وذلكك للعبة

و الشبكة Simple Perceptronبهذا فالشبكة العصبونية البسيطة المكونة من مكون بسيط

يتم تعديلهما وزيادة معدل تعلمهما للعالقة بين مدخالت الشبكة MLPعصبونية المعقدة ال

( ومخرجات الشبكة العصبونية )النسبة المئوية المسترجعة featuresالعصبونية )الخصائص

.Game pairللمشاعر واألحاسيس( لكل زوج من األلعاب

Page 63: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 62

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Neuro-Evolutionary Prefereceنمذجة التفضيل العصبونية التطورية .3.1

Learning

حيث تم استخدام شبكة عصبونية وحيدة الطبقة والتي تقارب تابع مفترض غير معروف وال

خطي يقوم بمقابلة ميزات اللعب اإلحصائية المختارة وعناقيد من سلوك اللعب مع الحالة

ويد كتابع تفعيل الشعورية التي تم تبليغها، هذه الشبكة لها عصبون خرج وحيد يستخدم تابع السيغم

( والذي قيمه في normalizedلمطابقة الدخل المطبع ) [5 ,5-]واألوزان تأخذ قيم من المجال

عينات التدريب هي عبارة عن ميزات اللعب المختارة ونمط الالعب كدخل [0,1]المجال

ال يؤمن للشبكة، والتفضيل المقابل المبلغ من الالعب كخرج، مع العلم أن التفضيل المبلغ عنه

خرج بحد ذاته ولكن يحدد أي لعبة مفضلة من كل زوج لعبه الالعب.

Single Neuronالتدريب ببرسبترون وحيد .3.1

ضمن الشبكة مع أوزان Sigmoid Activation Functionيتم استخدام تابع اللوجستي

.[1 ,0]للمجال Normalizedمناسبة وذلك لتطابق الدخل والذي أجريت عليه عمليه تنظيم

اختيار خوارزمية التدريب المناسبة .3.1

بما أنه ال يوجد خرج معروف ومحدد للشبكة العصبونية )وبالتالي ال يوجد تابع خطأ معروف

Back-propagationلخرج الشبكة العصبونية( فإن خوارزميات مثل التراجع التسلسلي الخلفي

التعلم بالتفضيالت باستخدام الشبكات غير مفيدة وال يمكن استخدامها هنا. يتم التعلم عن طريق

preference learning using artificial evolution of neuralالعصبونية

networks [21] ,[2]مثل الدراسة التي أجريت في.

في مقارنة بين خوارزميات التعلم لحل مشكلة مشابهة لمشكلة هذه الدراسة فإن خوارزميات

قد كانت أكثر فعالية من عدد من الطرق األخرى Neuro-evolutionتطور النيورونات

.Bayesian learningالمقترحة والتي تتضمن العديد من خوارزميات التفاضل والتعلم البايزي

Page 64: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 63

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Neuro-evolution for solvingتنفيذ التعلم من خالل التفضيالت لحل المسألة .3.4

the problem

والذي يقيس Fitness Functionباستخدام تابع كفاءة GA تم تنفيذ خوارزمية األجيال الجينية

والخرج المقابل مو نموذج Emotional Preferencesمشاعر الشخص المأخوذة الفرق بين

.ANN Modelالشبكة العصونية

على وجه التحديد أكثر، فأن تابع الكفاءة يكون بالشكل:

𝑔(𝑒, 𝜖) =1

1 + 𝑒−𝜖𝑒(𝑓𝑘)

بحيث أن:

𝑒 = 𝑒(𝐴) − 𝑒(𝐵)

.Game Pairلزوج لعب واحد Bو اللعبة Aهو الفرق بين خرج الشبكة العصبونية للعبة

حسب: 𝜖وتكون قيم

𝐴 > 𝐵 𝜖 = 30

𝐴 < 𝐵 𝜖 = 5

قد تم اختياره تبعا لتطبيقات سابقة ناجحة ضمن نموذج 𝜖إن شكل تابع الكفاءة والقيم المختارة لـ

[.11[ و ]11[ و ]1كما ورد في ] neuro-evolutionالتطور العصبي

جيل. الطريقة 122وتشغيل لمدة Individualsفرد 1222من Populationتم استخدم تزاوج

Probabilistic rank-basedالتي تم اتباعها هي اختيار قائمة على رتبة االحتمالية الموافقة

selection ونوا آباءا .مع احتمالية أكبر لألفراد ذو الرتبة األعلى ليك

متماثل ومنتظم crossoverمن خالل تخالط reproductionتم استخدام إعادة إنتاج

uniform يتبعه تغير إحيائيmutation 5باحتمالية%.

Page 65: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 64

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Methods Comparison Feature Selectionمقارنة طرق اختيار الميزات .3.3

ما يمكن وذلك من أجل features نريد أن يعتمد النموذج الموضوع على أقل عدد من الميزات

تسهيل عملية تحليل وتقديم ما يفيد أكثر في تأسيس مستقبل األلعاب ومقاصدها مثال المحتوى

content .

هناك ما يدل على ضرورة خفض الميزات غير الضرورية بما يؤدي إلى تحسين جودة التعليم

[.11[ و ]1والتدريب للشبكات العصبونية كما رأينا في ]

من الميزات subsetبالتالي يتم اختيار الطريقة التي تعمل على إيجاد أفضل مجموعة

features والتي تعطي أعلى دقة للنموذجmodel واألقل تكلفة بالنسبة لألداء

Computational effort .في البحث عن جميع التباديل الممكنة لمجموعة من الميزات

Modeling of Player Experienceنمذجة تفضيالت خبرة الالعب .3.3

Preferences

يعرض هذا القسم العملية التي قمنا بها على مرحلتين وذلك استنادا إلى نفس الطريقة المتبعة في

والتي تستخدم لنمذجة تفضيالت خبرة الالعب. أوال ، علينا االستفادة من عدة شبكة [ 1]الدراسة

رفة الفصل الخطي وذلك لتقريب تفضيالت وذلك لمع SLPعصبونية ذات الطبقة الواحدة

لالعبين. في هذه المرحلة يتم استخدام جميع ألعاب emotional preferencesالمشاعر

. يكون المظهر العام على شكل زوج من Controllableالالعبين وجميع الميزات القابلة للتحكم

لى )ميزات اللعب + القابلة حيث يوجد شعاعين دخل أولهما للعبة األو Game Pairsاأللعاب

للتعديل( واآلخر كذلك ولكن للعبة الثانية. يتم تدريب الشبكة العصبونية بإدخال شعاعي الدخل

هي حالة مشاعر E)حيث Eهذين للتوقع بنتيجة شعاع دخل جديد فيما إذا كان يحقق حالة

الفضلى، ننتقل SLP نماذج مدروسة كما تكلمنا سابقا ( أم ال. بعد معرفة الميزات التي تساهم في

MLPs بعدها لتحسين البنية من خالل الشبكات العصبونية متعددة الطبقات للفصل الالخطي

. Neuro evolutionary preference learningباستخدام التطوير العصبي لتعلم التفضيالت

تجربة الالعب ضمن استنادا ل levelsالهدف النهائي من هذه الدراسة هو السيطرة لتوليد مراحل

وميكانيكية اللعبة level featuresاللعبة. على هذا األساس، فإنه يتم تعديل خصائص المرحلة

game mechanics ديناميكياdynamically وذلك ألمثلةoptimizing خبرة الالعب

player experience والذي هو خرج الشبكة العصبونية )أي أن الالعب شعر بحالةE بنسبة

% مثال (. نكون هنا قد وصلنا الختيار الميزات األفضل وبذلك تم بناء أول نموذج وهو 32

Page 66: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 65

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Preference Model والذي يقوم بإخبارنا لمرحلة ما فيما إذا كانت محققة لحالةE بنسبة معينة

)هي الخرج(.

Predictive modelالنموذج المتنبأ باللعبة األفضل .3.3

تم تحقيقها من خالل اختيار الميزات األفضل والتي تعتمد بشكل كبير إن جودة النموذج المتنبأ ي

inputجدا على مجموعة الميزات التي يختارها هذا النموذج من مجموعة ميزات دخل لديه

features.

نتناول هنا مجموعة الطرق التي يمكن استخدامها في تحديد الميزات األفضل والطريقة التي تم

أن أي طريقة من -[1]وكما ورد في -بناء النموذج المتنبأ لكن يجب مالحظة اعتمادها أخيرا في

الطرق التي التالية يمكن أن ال تؤدي إلى حل أمثلي لمجموعة من المزايا وذلك ألنه ال يوجد أي

-Hillطريقة تبحث في كامل فضاء الحل وإنما تعتمد الطرق جميعها على مبدأ تسلق التل

climbing .

أقسام بشكل 1فإنه يتم تقسيم المعطيات إلى input featureن فعالية كل ميزة دخل للتحقق م

هو للتحقق 1/3للتدريب والثلث المتبقي 2/3بحيث يكون ثلثي المعطيات randomعشوائي

.validationمن صحة الحل

classificationيتم قياسه عن طريق متوسط صحة تصنيف المعطيات modelأداء كل نموذج

accuracy وذلك من خالل عدد من تكرارات التجربةruns من 1. عدد هذه التكرارات هنا هو

معطيات مختلفة غير مترابطة 1وذلك على fold cross-validation-3خالل تقنية

independent لمعطيات تدريب وتحقق وقد تكلمنا عنcross-validation .فيما سبق

إيقاف اختيار الميزات .3.3

ا أننا مهتمون بشكل كبير بالوصول ألصغر مجموعة محتملة من الميزات والتي تحقق أكبر بم

فإننا نوقف اختيار ميزات أخرى في حال كان إضافة ميزة مختارة جديدة performanceأداء

للنموذج تؤدي إلى قيمة أقل أو مساوية ألداء النموذج سابقا عندما لم تكن موجودة ضمنه وذلك

.validation setعطيات التحقق من صحة الحل لمجموعة م

Page 67: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 66

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Features Selection methodsأنواع طرق اختيار الميزات .3.3

( يتمثل بإيجاد مجموعة جزئية من Features Selectionإن هدف "اختيار الميزات" )

كن مجموعة الميزات الكلية وتحوي العدد األقل من الميزات ذات التأثير األكبر على النتيجة، ول

يجب أن نراعي أن المجموعة المختارة يجب أن تحقق الدقة المطلوبة.

الهدف األساسي من استخدام هذه التقنية كمرحلة أساسية من مراحل كل مشروع يعتمد على

الميزات هو تخفيف المعالجة وسعة التخزين، حيث أن عدد الميزات المنتقاة له أثر كبير على

هر األخطاء المتعلقة بالتقدير الزائد ألهمية ميزة ما في العمل.تقييم الوضع الحالي، ويظ

إزالة هذه -بإحدى خوارزميات "اختيار الميزات"–إن بالغنا في تقدير ميزة ما، فنستطيع

الميزة، لكن يجب أن نالحظ هنا أن التقدير المنخفض لميزة ما قد يكون خطأ وهكذا خطأ ال يظهر

هذه المرحلة، بل ينعكس هكذا خطأ على النتائج. وال يمكن إصالحه في

اختيار واستخالص الميزات .3.13

(، لكن كال النوعين Features Extractionإن اختيار الميزات يختلف عن استخالصها )

( التي نأخذها بعين االعتبار Dimension Reductionيتم تصنيفهما كاختزال لعدد المتحوالت )

في دراستنا.

ات عديدة لتحسين اختزال عدد المتحوالت وكان أحدها يدمج بين اختزال عدد لقد ظهرت تقني

( للحصول عل نتائج أفضل.Unsupervised Learningالمتحوالت وبين التعليم دون مراقب )

تابع الهدف .3.11

( يقوم بتقييم Objective Functionكل خوارزميات اختيار الميزات تستخدم تابع هدف )

ة التي تقدم له ويعيد نتيجة تعطي تصورا لمدى "جودة" المجموعة الجزئية المجموعات الجزئي

المختارة.

لتوابع الهدف نوعان أساسيان:

(: يعتمد على محتوى المجموعة الجزئية ويعتمد طرق عديدة منها قياسات Filterالمنقي ) -

ا بالنتيجة( ومدى ترابط نظرية المعلومات )المجموعة الجيدة تحوي الميزات األكثر ارتباط

الصفوف وغيرها.

Page 68: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 67

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

(: يعتمد في عمله على دقة النتائج المقدمة من قبل المجموعة الجزئية Wrapperالمغلف ) -

)حيث يستخدم بيانات التجريب في عمله(.

خوارزمية اختيار الميزاتnbest

المقابل لكل منها. تكون الميزات المستخدمة وذلك تبعا ألداء النموذج rankingتقوم بترتيب

ميزة لهذا nوالتي تحوي على أول nمجموعة الميزات المختارة هي المجموعة من حجم

.rankالترتيب

ألغراض المقارنة، وهي الطريقة األكثر شعبية ضمن طريق اختيار nbestتستخدم طريقة

الميزات.

خوارزمية اختيار الميزاتsfs

حيث تضاف ميزة جديدة bottom-upالبحث من أسفل إلى أعلى

في كل مرة واحدة تلو األخرى.

الميزة التي ستضاف سوف تختار من مجموعة من الميزات

المتبقية وذلك بحيث أن مجموعة الميزات الجديدة سوف تنتج أعلى

قيمة من األداء مما لو أختيرت أي ميزة أخرى من المزايا المتبقية.

طائفة مجال واسعة من مشكالت طب قت بنجاح على sfsطريقة

اختيار الميزات وأنتجت قيما عالية األداء على مجموعة ميزات

[.13[]1[ و ]11][2]أصغيرية وذلك حسب

خوارزمية اختيار الميزاتsffs

[ وغيرها أظهرت فوائد البحث العائم التسلسلي على 11][2]دراسات عدة مثل تلك الواردة في

القياسي. خوارزميات البحث العائم يمكن تصنيفها إلى أمامية وخلفية البحث التسلسلي العادي

البحث.

( تؤدي نفس تسلسل خطوات sffs) forwardخوارزمية تسلسل البحث العائم التقدمي

تتحقق فيما إذا sffs، فإن خوارزمية sfs. ولكن، في كل مرة تؤديها خوارزمية sfsخوارزمية

ل أخراج مهمة من مجموعة المهمات الحالية )أي تنفيذ خطوة كان األداء يمكن زيادته في حا

(. sequential backward selectionتسلسلية تراجعية للوراء

Page 69: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 68

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

خوارزمية اختيار الميزاتPFS

مزيج مختلف من aggressive-searchالطريقة الرابعة هي عبارة عن طريقة بحث هجومية

sequential backwardخلفي التسلسلي واالختيار ال neural pruningالقطع العصبي

selection .

قد استخدم بمثابة منهج مناسب الختيار عناصر Rosenblatt’s perceptronإن برسبترون

مجموعات ميزات فرعية.

[ لتتناسب مع مشكالت تعلم 12[ على تعديل خوارزمية أخرى في ]1تقوم الخوارزمية في ]

خرج وحيد. إن neuronهو على نيرون activationل التفضيالت، وكانت تستخدم تابع تفعي

شعاع دخل الشبكة العصبونية البدائي له حجم بعدد الميزات المراد دراستها.

[ على ما يلي:1تقوم الطريقة حسب الدراسة ]

وذلك لتدريب البرسبترون على artificial evolutionاستخدام التطور االصطناعي .1

يتم perceptron. أداء البرسبترون perceptron pairwise التفضيالت الثنائية الزوج

. شعاع الدخل البدائي fold cross-validation-3مرات 1من خالل تقييم على

initial يضم جميع الميزات المستخرجة .

والتي توافق قيم األوزان التي تكون أقل من الحد إلغاء كافة الميزات .1

{ } − { }

.weight vectorهو شعاع األوزان حيث

= في حال . وإال يتم استعمال ما تبقى من ميزات والعودة 3يتم المتابعة للخطوة

.1للخطوة

تقييم جميع مجموعات الميزات الجزئية والتي حصلت باستخدام التطور العصبي عن .1

.neuro-evolutionطريق تعلم التفضيالت

Page 70: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 69

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

MLPمتبع بمتعدد طبقات SLPج برسبترون سبب اختيار منه .3.11

األساس المنطقي خلف هذه المقاربة ثنائية الطور يكمن في ثالث أشياء هي:

SLPتعبيرية نماذج .1

المعقدة( يسمح لنا بمراقبة MLPاستخدام نماذج غير خطية بسيطة )عوضا عن استخدام

لتي تساهم في كل حالة أوضح لشخصية الالعب، وميزات المرحلة، وميكانيكيات اللعبة ا

شعورية تمت دراستها. هذا النقاش مهم لفهم أعمق للتابع غير المعروف الكامن بين

ميزات اللعب والميزات المتحكم بها والمشاعر المبلغ عنها. الشبكات متعددة الطبقات لها

قدرة تعبيرية أكبر وتستطيع تعلم نماذج أكثر دقة وبالتالي ممكن لبعض مجموعات

ولكن لن يتم إيجادها MLP( أن يتم إيجادها بواسطة XORات )التي تشبه عالقة الميز

ولكن بطبيعة الحال هذه تضحية يجب أن نقوم بها ألن SLPفي االختيار باالعتماد على

مكلف حسابيا . لو كان لدينا وقت حسابي غير MLPالقيام باختيار الميزات مباشرة على

بشكل كامل وكان MLP ختيار الميزات باستخدام محدود لكان باإلمكان تطبيق ا

( على فضاء مجموعة exhaustive searchباالمكان استخدام البحث المستنزف )

التي تم استخدامها.المحلية heuristicsبدال من تجريبية الميزات،

الجهد الحسابي .1

ة طبولوجيا ثم أمثل SLPمن المفضل حسابيا أن يتم تطبيق اختيار الميزات باستخدام

MLP باستخدام مجموعة الميزات المختارة بدال من أمثلة كال الدخل )الميزات

[ 1. لدعم هذه الفرضية تم األخذ بالدراسة الواردة في ]MLPالمختارة( وطبولوجيا

حيث تم قياس زمن التنفيذ للطورين في عملية نمذجة المتعة، حيث أن الوقت المستغرق

ثانية على 231.3 -ها أكثر طريقة مكلفة في اختيار الميزاتكون-( SFFS)أو SFSفي

SLP من أجل عشر ميزات فقط، والوقت الكلي لتجربة جميع تشكيالتMLP الممكنة

نيورون كحد أقصى 12لمرة تشغيل واحدة من أجل طبقتين مخفيتين األولى تحوي

لمطلوب للعملية وبالتالي عدد الثواني ا 391311.3نيورونات هو 12والثانية تحوي

ثانية. لو كان يتم أمثلة الدخل 393221.1= 391311.3+ 231.3ككل هو

ثانية. هذه التجارب 122129.1والطبولوجيا معا في مرحلة واحدة سيكون الوقت هو

بت. 23على نظام ويندوز 3GB Ramو Ghz 1.21تمت على معالج

Page 71: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 70

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

التمثيل الكامل .1

نة في النموذج. هذا اإلجبار يعطي حيث يتم إجبار الميزات المتحكم بها لتكون متضم

المصمم كل المرونة التي يتيحها فضاء المتحوالت لتصميم تجربة مالئمة لالعب عن

طريق توليد محتوى مخصص لالعب.

مخطط اختيار الميزات .3.11

تتبع المخطط التالي. باالعتماد على الشرح المفصل السابق فإن عملية اختيار الميزات

Phase-1: Feature Selection with SLP

Accuracy (3-fold CV)

SFS Features selection

SLP

Phase-2: Feature Selection with MLP

Phase-3: Topology Optimization

Final Optimized Model

Selected

Features

Subset MLP Topology

Optimization Final Features

Subset in

MLP

Topology

SFS Features selection

Page 72: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 71

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 73: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 72

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 74: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 73

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

لتاسعاالفصل

السمات المتحكم بها وسمات اللعب

Controllable and Gameplay Features

Page 75: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 74

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 76: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 75

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

السمات المتحكم بها وسمات اللعب .9

السماتأنواع .9.4

المراد إنشائه على نموذج تدريب على البيانات حدث نحن بحاجة لجمعتيمكن أن نمذجة قبل أي

فيما يلي.ثالثة أنواع من البيانات سنذكرها

Controllable features of في اللعبةبها يمكن التحكم التي السمات .9.4.4

the game

، (Levelمن اللعبة ) تستخدم في توليد مستوى( التي Parametersوالتي تعني المعامالت )

المستوى. وقد تم إيجاد ومقارنة جميع التباديل الممكنة ضمن والتي تؤثر على نوع وصعوبة

.وتوليد المراحل على هذا األساس وشرحت سابقا عند توليد المراحل لعبةال

كما سنرى الحقا هو عبارة عن إجرائية تعمل من األسفل إلى SFSاالختيار التسلسلي األمامي

الحالية. السمات( حيث يتم إضافة ميزة واحدة في كل مرة إلى مجموعة buttom-upاألعلى )

المتبقية التي السماتالمجموعة الجزئية من وعة يتم اختيارها منالميزة التي تضاف إلى المجم

السماتأعلى تابع أداء من بين جميع السماتلم يتم اختيارها بحيث تولد المجموعة الجديدة من

يتفاوت من أجل اآلليتين اللتين تم اختبارهما. SFSالمرشحة لإلضافة. تابع األداء في

لتحديد مدى جودة مجموعة ESOMتكميمية والطبوغرافية في [ استخدام األخطاء ال1تم في ]

( من أجل cross validationالمقترحة، بينما تم أخذ متوسط أداء التأكد التصالبي ) السمات

في دراستنا. SLPالطيات غير المرئية من البيانات كأداة لقياس أداء

السماتألكثر مالئمة( من هي مرحلة جوهرية إليجاد العدد األقل )ا السماتمرحلة اختيار

والتي تعطي أعلى توقع لنموذج التفضيل حيث نريد أن نبقي على حجم النموذج صغير كفاية

نريد أن نبقي على النموذج يحوي على أقل (.real timeليكون فعال في الزمن الحقيقي )

ستقبلية ميزات قدر اإلمكان لكي يكون أسهل للتحليل وليكون مفيدا في الخوض بتحقيقات م

آلليات زمن حقيقي تكيفية تصمم اللعبة عن طريق تجربة العب التي تحتاج إلى الالعب.

أيضا يوجد دالئل على أن استبعاد الدخل الغير ضروري يحسن من جودة التعلم في العصبونية

الجزئية التي تعطي السماتإليجاد مجموعة السماتلذلك يتم استخدام اختيار [ 1التطورية ]

السماتموذج األعلى دقة وتحفظ من الجهد الحسابي والبحث المضني على جميع تراكيب الن

الممكنة.

Page 77: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 76

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

بالتفصيل حيث تم مثال استخدام Marioللعبة السماتبالبحث في اختيارات [11]قامت الدراسة

القابلة السماتلطبولوجيا المرحلة ضمن Patternخوارزميات لدراسة تكرار صيغة معينة

م ومعرفة مدى اربتاطها بالمشاعر التي يشعر بها الشخص أثناء لعبه. تنجح هذه للتحك

. 2Dوكانت ثنائية البعد Marioالخوارزمية في الدراسة المذكورة ألن اللعبة المدروسة كانت

فدراسة تكرار صيغة معينة لطبولوجيا مرحلة ما لن يكون 3Dأما في الفضاء الثالثي البعد

عوامل أخرى كثيرة ضمن البيئة ثالثية البعد.بذات فائدة لدخول

السماتببناء المراحل. حيث تقوم هذه -عن طريقها-هي التي نتحكم بها، ونقوم السماتهذه

يلعب دورا كبيرا في السماتإن اختيار هذه بتوصيف المرحلة وتميز المرحلة عن األخرى.

ا يجب معرفة ما يجعل مرحلة ما مختلفة عن مراحل الحقة تتعلق ببناء مراحل مالئمة لالعب، لذ

أخرى في هكذا نوع من األلعاب. للقيام بهكذا نوع من الخيارات يجب استشارة عدد من الالعبين

المحترفين )ذوي الخبرة( في هكذا نوع من األلعاب.

م بها المتحكمة أو المتحك السماتيسمى ب PCGالدخل )المعامالت( الذي تستقبله خوارزمية الـ

(Controllable Features.وتوصف هذه المعامالت شكل المحتوى الناتج ) ختيار هنا قد تم ا

المعامالت بشكل مدروس جدا سنوضحها في الجدول التالي:

الشرح المتحكم بها الصفة

1 Gaps count )عدد الفراغات )التي يجب القفز لتجاوزها

1 Gap width قفز لتجاوزها(عرض الفراغات )التي يجب ال

1 Enemies count عدد األعداء

4 Enemies placement (gaps،

boxes، random)

تموضع األعداء )حول الفراغات، حول

الصناديق، عشوائيا (

3 Powerups count عدد صناديق التكبير لماريو

3 Boxes count عدد الصناديق

Gameplay characteristics ضمن اللعبة خصائص اللعب .9.4.4

وما هي لعبةال يلعب لالعب أنتم في دراسة سابقة لماريو دراسة وشرح كيفية يمكن

الخصائص ال يمكن التحكم هذهاألكثر أهمية في وضع نموذج لدراسة سلوك الالعب. السمات

تعتمد فقط على بها، وذلك ألنها تختلف تبعا لالعب عدا أنها تنتج من طريقة لعبه بحد ذاته و

لعبه، ولكن ذلك ال يعني أنه ال يمكن أن يتحكم فيها نهائيا أو بشكل مباشر، سلوب وأ تهمهار

Page 78: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 77

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

معين من اللعبة في مستوى وإنما يمكن التحكم بها بشكل غير مباشر عن طريق تغيير مالمح

في دراسات سابقة. يهمنا هنا وضع صفات جديدة لم يتم السماتة. يمكن الرجوع لتلك لعبال

تبار في أي دراسة سابقة من قبل وهي دراسة التعابير الظاهرية وسلوك أخذها بعين االع

نذكرها فيما يلي: الشخص الحركي عند لعبه اللعبة.

الشرح الصفة

1. Face x position AVG على محور الـ متوسط موقع الوجهx

2. Face y position AVG على محور الـ متوسط موقع الوجهy

3. Left eye closed % AVG النسبة المئوية لدرجة فتح العين متوسط

اليسرى

4. Right eye closed % AVG النسبة المئوية لدرجة فتح العين متوسط

اليمنى

5. Mouth open % AVG النسبة المئوية لدرجة فتح الفممتوسط

6. Happy % AVG مقدار سعادة الشخصمتوسط

7. Sad% AVG مقدار حزن الشخصمتوسط

8. Angry% AVG مقدار غضب الشخصمتوسط

9. Surprised% AVG مقدار تفاجؤ الشخصمتوسط

10. Face x position STD على محور موقع الوجهلاالنحراف المعياري

xالـ

11. Face y position STD على موقع الوجهلاالنحراف المعياري

yمحور الـ

12. Left eye closed % STD لدرجة لنسبة المئوية لاالنحراف المعياري

فتح العين اليسرى

13. Right eye closed % STD لنسبة المئوية لدرجة لاالنحراف المعياري

فتح العين اليمنى

14. Mouth open % STD لنسبة المئوية لدرجة لاالنحراف المعياري

فتح الفم

15. Happy% STD لمقدار سعادة الشخص االنحراف المعياري

16. Sad% STD ر حزن الشخصلمقدا االنحراف المعياري

17. Angry% STD لمقدار غضب الشخص االنحراف المعياري

18. Surprised% STD لمقدار تفاجؤ الشخص االنحراف المعياري

Page 79: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 78

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

للثانية frameإطار صورة 2قد تم جمعها على كامل اللعبة ولكن على مستوى السماتهذه

تبار فقط عند حدوت أحداث في االع السماتالواحدة. سنوضح بعد قليل نموذج آخر يأخذ هذه

كأن يموت ماريو أو يصاب من قبل األعداء حيث نريد Special Eventsخاصة عند اللعب

يوجد أيضا نموذج آخر التعرف على وجه الالعب والتأثيرات على حالته الحركية والوجهية.

حدا للحصول يقوم على تقسيم المرحلة إلى نوافذ يتم دراسة الحاالت الشعورية عليها كل على

على نموذج توقع أفضل.

Page 80: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 79

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 81: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 80

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 82: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 81

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

عاشرالالفصل

SHOREبرمجية التعرف على التعابير

Sophisticated High-speed Object Recognition Engine

Page 83: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 82

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 84: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 83

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

SHOREالتعرف على التعابير برمجية .13

مقدمة .13.1

يع" والتي هي اختصار لـ "محرك التعرف على األغراض بشكل دقيق وسر SHOREتعد مكتبة

Sophisticated High-speed Object Recognition Engine من أفضل المكاتب

الموجودة حاليا في العالم للتعرف على األشكال والتعابير وعدة صفات آخرى. تتميز هذه المكتبة

بقدرتها على التعرف ومعالجة شكل أو عدة أشكال في وقت واحد وبعدة أبعاد وضمن مختلف

يمكن معرفة المزيد عن .Runtimeسريع جدا وضمن وقت التنفيذ ظروف اإلضاءة بشكل

المكتبة من خالل الرابط:

http://www.iis.fraunhofer.de/en/bf/bsy/produkte/shore.html

SHOREالتجارب على .13.1

.SHOREنعرض فيما يلي بعض الصور الموضحة لمكتبة

o التعرف على الوجه

Page 85: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 84

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

o التعرف على الوجه ومالحقته

تستطيع تحديد الوجهة ومالحقته في وقت التنفيذ. )مقارنة مع SHOREحظ أن مكتبة نال

الصورة الماضية.(

o تحديد أماكن العينين واألنف والرأس

Page 86: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 85

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

o تحديد الحالة الشعورية لشخص أو أكثر في وقت التنقيذ

وقت نالحظ أن المكتبة تستطيع مالحقة أكثر من شخص وإعطاء الحالة الشعورية أيضا في

التنفيذ فورا .

o تحديد الحاالت الشعورية

،Angry، Happyللحاالت الشعورية ) Featureيمكن للمكتبة من تحديد أكثر من صفة واسمة

Sad، Surprised)

Page 87: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 86

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

o تحديد درجة فتح العين والفم

يمكن للمكتبة من تحديد درجة فتح العينين كل على حدا وأيضا درجة فتح الفم.

o مختلفة للوجوه )الصغيرة جدا أيضا(معالجة أبعاد

Page 88: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 87

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 89: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 88

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 90: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 89

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

حادي عشرالالفصل

Data Collectionجمع البيانات

Page 91: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 90

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 92: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 91

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Data Collectionجمع البيانات .11

مقدمة .11.1

شخص 13تم تجميعها بواسطة تجارب تمت على مجموعة البيانات المستخدمة في هذه الدراسة

.Marioيلعبون لعبة

عن لعبتهم المفضلة وذلك بثالث العاب يتم سؤال الالعبين ليعبروبعد كل اكتمال زوج من األ

واالندماجية frustrationواإلحباط challengeحاالت شعورية مختلفة هي التحدي

engagement بأربع خيارات حيث يحدد الالعب إما اللعبة األولى أو إجباري اختيار عن طريق

عبتين أو عدم تفضيله ألي منهما من أجل كل حالة الثانية هي المفضلة، أو يعبر عن تفضيله لل

شعورية.

كل لعبة من يلعبون زوج لعب العبا 13ا سابقا جمع معطيات من في دراستنا هذه تم كما ذكرن

هذا الزوج تستغرق دقيقتان، يتم بعد لعب الزوج سؤال الالعب عن المشاعر والتفضيالت التي

engagementواالندماجية challengeهي التحدي اختارها من الحاالت الشعورية والتي

عن طريق وكما تكلمنا عن طريق اختيار إجباري بأربع خيارات frustrationواإلحباط

الذي تكلمنا عنه سابقا . AFS-4بروتوكول

Page 93: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 92

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

الداللة القيمة

0 A > B بالنسبة لحالة مشاعرE

1 B < A بالنسبة لحالة مشاعرE

Eكانتا كلتا اللعبتين 2

Eكلتا اللعبتين كانتا غير 3

E أيضا في حال أنها مطابقة لحالة شعورية بحد ذاتها تم سؤال الالعبين أيضا عن اللعبة الواحدة

حسب الجدول التالي. أم ال

الداللة القيمة

0 Extremely

1 Fairly

2 Moderately

3 Slightly

4 Not at all

Page 94: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 93

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Features Extraction السماتعملية استخراج .11.1

يبين الشكل التالي الدخل والخرج لعملية استخراج المعطيات. يمثل الدخل هو ملف األحداث

الخاصة ضمن اللعبة وشريط الفيديو لالعب أثناء لعبه للعبة.

يبين الشكل التالي بشكل أوضح بالتفصيل عملية استخراج السمات

مات التي تقوم على مرحلتين يتم دمج ناتجهما فيما بعد.يبين الشكل السابق عملية استخراج الس

Page 95: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 94

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

استخراج السمات من األحداث الهامة – المرحلة األولى .11.1

videoنقوم في هذه المرحلة باختيار طريقتين يؤثران فيما بعد على طريقة اختيار األطر

frames تقوم على . األولى تقوم على استخراج األطر جميعها للعبة الشخص الواحد. الثانية

أطر 1أطر لألمام و 1استخراج األطر التي لها صلة باألحداث الخاصة فقط حيث يتم أخذ

للخلف وذلك كأطر محيطة باإلطار الذي وقع عنده الحدث الهام.

بالشكل التالي: csv.تم حفظ كل خواص اللعب الخاصة بالالعب ضمن ملف

المقابل في العمود الثاني. كل eventلحدث حيث يعبر العمود األول عن الزمن الذي حدث في ا

قيمة في العمود الثاني تكافئ حدث هام ضمن اللعبة. كالجدول التالي:

Page 96: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 95

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

استخراج السمات الظاهرية –المرحلة الثانية .11.4

جميع التسجيالت عن تم معالجة . SHOREهنا يتم استخراج السمات باالعتماد على برمجية

والتي يعالجها محرك pgm.ن ثم تحويل جميع الصور لالحقة طريق تحويلها إلى صور أوال وم

SHORE إطارات للثانية الواحدة(. 2صورة معالجة ) 48،000. نتج عن العملية

Page 97: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 96

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

يبين الشكل التالي إطارين لالعبة ضمن اللعبة واختالف التعابير الوجهية عند حدوث أحداث

events .خاصة

Page 98: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 97

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

ملف أزواج اللعب .11.3

زوجي اللعب على الشكل التالي:يكون شكل ملف

على مستوى Min-Max Normalizationللمعطيات باستخدام Normalizeنقوم بعملية

أزواج اللعب جميعها. نحذف جميع أزواج اللعب التي لها قيمة مشاعر مسترجعة متساوية )أي

نا نريد بناء النموذج (. نقوم بهذا الحذف ألنEفي حاالت: اللعبتين سيئتين أو جيدتين من ناحية

بحيث يتنبأ بشكل صحيح لحالة شعورية وحيدة وكأنه يتعلم إشارة أكبر تماما لناحية مشاعر محددة

وبالتالي يجب حذف األزواج ذات القيم المتساوية.

Page 99: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 98

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 100: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 99

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

العاشرلفصل ا

تصميم قاعدة المعطيات

Database Design

Page 101: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 100

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 102: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 101

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

تصميم قاعدة المعطيات .13

مقدمة .13.1

شخص يلعبون لعبة 112بيانات لعب وتفضيالت شعورية من من قاعدة معطياتتم بناء

(Super Mario) تصوير فيديو لكل العب جمع البيانات الذي تحدثنا عنه سابقا و عن طريق

ستخالص مشاعر بالثانية ال frames أطارات 2 اقتطاع ثم يتم Bو Aحيث يلعب االعب لعبتين

ي هاتين اللعبتين عن طريق استخدام محرك التعرف ف وتعابير وموضع وجهه الالعب

(SHORE).

يبين المخطط التالي الترابط بين جداول قاعدة المعطيات وسوف نقوم فيما يلي بشرح الحقول بكل

جدول:

الحقول اسم الجدول

Player يحوي هذا الجدول المعلومات الخاصة بكل العب مثل االسم والعمر وجنس

ات االخرى مثل:الالعب وبعض المعلوم

1- Played Mario وهو حقل بولياني يدل عن ما اذا كان اللعب قد لعب :

لعبة ماريو من قبل أم ال.

1- Play Video Game وهو حقل بولياني يدل عن ما اذا كان اللعب قد :

لعب بألعاب الفديو من قبل أم ال.

1- Time Video Gaming وهو متحول يدل على عدد الساعات التي :

العب باألسبوع حيث يأخد ثالث قيم :يلعبها ال

ساعات باألسبوع 2-0إذا لعب الالعب من 0 : .1

ساعات باألسبوع 5-2إذا لعب الالعب من 1 : .1

ساعات باألسبوع 10-5إذا لعب الالعب من 2 : .1

ساعات أو أكثر باألسبوع 10 إذا لعب الالعب من 3 : .3

Session للمرحلتين اللتين لعبهما كل العب يحوي هذا الجدول على المعلومات الخاصة

مثل :

1- GameAChall، GameBChall وهما الحقلين اللذين يدالن على :

.Bو Aمقدار التحدي الذي وجده الالعب بالعبتين

1- GameAEng، GameBEng وهما الحقلين اللذين يدالن على مقدار :

.Bو Aاالندماج الذي وجده الالعب بالعبتين

1- GameAFrust، GameBFrust وهما الحقلين اللذين يدالن على :

.Bو Aمقدار االحباط الذي وجده اللعب بالعبتين

Game Frame يحوي هذا الجدول على المعلومات الخاصة بكلframe تم أخذه من الvideos

كما تم الشرح مسبقا. Shoreوهي المعلومات المستخلصة من المكتبة

Page 103: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 102

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Game احل التي تم لعبها ومع الحقل وهو جدول يحوي جميع المرType وهو يدل على

نوع المرحلة األولى أم الثانية.

GameVI وهو جدول يحوي جيمع األلعاب مع الحقلId الذي يرقم الحيوات التي احتاجها

الالعب بكل لعبة.

GameLevelVI :وهو جدول يحوي معلومات عن كل حياة في المرحلة الملعوبة مثل

1- Event Type الحدث الذي تم فيه انهاء الحياة نوع

1- Event Time Stamp وقت حدوث الevent

1- Id closest Game Frame رقم أقربFrame من الفيديو لهذا

الحدث

Page 104: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 103

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Game

Id

Type

GameFrameIdFrame

IdGame

FaceRegLeft

FaceRegTop

FaceRegRight

FaceRegBottom

EyeLeftX

EyeLeftY

EyeRightX

EyeRightY

MouthLeftX

MouthLeftY

MouthRightX

MouthRightY

Gender

Angry

Happy

Sad

Surprised

EyeLeftClosed

EyeRightClosed

MouthOpen

GameLevelVIId

IdGameVI

EventTimeStamp

EventType

IdClosestGameFrame

GameVIId

IdGame

PlayerId

Name

PlayedMario

TimeVideoGaming

PlayVideoGame

Age

Sex

SessionIdSession

IdPlayer

GameAId

GameBId

PairId

GameAEng

GameAFrust

GameAChall

GameBEng

GameBFrust

GameBChall

EngPref

FrustPref

ChallPref

Page 105: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 104

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 106: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 105

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

الفصل

النماذج المختارة

Page 107: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 106

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 108: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 107

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

النماذج المختارة .11

المختارة التي طبقناها. الخمسةنوضح فيما يلي النماذج

11.1. AllFrames

هذا النموذج بأخذ جميع األطر من فيديو الالعب بعين االعتبار ضمن اللعبة وبناء النموذج يقوم

,Happyالتفضيلي بالنسبة للسمات المختارة على األطر جميعها. لم يتم أخذ سمات المشاعر )

Sad, Angry, Surprised) هنا لعدم ترابط هذه المشاعر بالحالة النهائية مفاهيميا . يتم اعتبار

ميع محاوالت اللعب )الثالث على األكثر( للعبة واحدة وكأنها سلسلة متتالية من األطر وال يتم ج

التفريق بينها.

11.1. VIFramesAllAttempts

يقوم هذا النموذج بأخذ األطر من فيديو الالعب والتي فقط تكافئ األطر المحيطة باألحداث

اللعب وبناء النماذج بالنسبة لهذه األطر إطر قبل وبعد كل حدث هام أثناء 1الهامة. يتم أخذ +

هنا لعدم ترابط هذه (Happy, Sad, Angry, Surprisedلم يتم أخذ سمات المشاعر )فقط.

المشاعر بالحالة النهائية مفاهيميا . يتم اعتبار جميع محاوالت اللعب )الثالث على األكثر( للعبة

لتفريق بينها.واحدة وكأنها سلسلة متتالية من األطر وال يتم ا

11.1. VIFramesWindows

يقوم هذا النموذج بأخذ األطر من فيديو الالعب والتي فقط تكافئ األطر المحيطة باألحداث

إطر قبل وبعد كل حدث هام أثناء اللعب وبناء النماذج بالنسبة لهذه األطر فقط 1الهامة. يتم أخذ +

زمنية محددة تقسم على أساسها المرحلة. هنا ولكن باعتماد مبدأ النوافذ. نقصد بالنافذة هي فترة

نوافذ زمنية يتم بناء نموذج منفصل لكل منها على مستوى المراحل جميعها. أي 1قمنا بأخذ

نماذج. 1يوجد هنا

في هذا النموذج لترابط هذه (Happy, Sad, Angry, Surprisedتم أخذ سمات المشاعر )

خرج المتوقع للمشاعر المسترجعة من الالعب.المشاعر ضمن كل نافذة مفاهيميا مع ال

Page 109: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 108

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

هنا ال يتم اعتبار جميع محاوالت اللعب )الثالث على األكثر( للعبة واحدة وكأنها سلسلة متتالية

من األطر حيث يتم أخذ المحاولة األخيرة فقط ضمن اللعب ألنها ستكون األكثر أهمية. يتم تقسيم

حتى لو كانت وحيدة(. النوافذ اعتمادا على زمن آخر محاولة )

Page 110: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 109

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 111: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 110

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 112: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 111

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

الرابع عشر الفصل

ةالنماذج المختارتحليل تطبيق و

Page 113: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 112

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 114: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 113

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

النتائج المستحصلة من النماذج .14

النتائج التي قد حصلنا عليها بعد تطبيق النماذج والمقارنة بينها.تطبيق النماذج ونعرض فيما يلي

عملية اختيار الميزات .14.1

:الميزات تتم على مرحلتين تكلمنا سابقا أن عملية اختيار

SFS with SLP

SFS with MLP

. يتم VIFramesWindows – Window(2)نعرض فيما يلي اختيار الميزة األولى لنموذج

مرات 2ذلك عن طريق البداية بمجموعة سمات فارغة الختيار السمة األولى. يتم أعادة االختبار

5 runs والمتوسطة لهذه االختبارات الخمسة. يتم بعدها ومن ثم تحديد القيمة العظمى والدنيا

اختيار الميزة ذات األداء األفضل ضمن هذه االختبارات. يوضح الشكل التالي اختيار الميزة

وبيان القيمة الدنيا والعظمى VIFramesWindows – Window(2)األولى في نموذج

متوسطة وقيم دنيا وعليا أفضل من ألن لها أكبر قيمة 11يتم اختيار هنا السمة رقم والمتوسطة.

غيرها.

0

20

40

60

80

100

120

140

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

Page 115: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 114

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

التوقف عن اختيار المزايا .14.1

بتكرار العملية السابقة عدة مرات نحصل على مجموعة من السمات. نتوقف عن اختيار سمات

نموذج إضافية عندما يبدا األداء يقل بعد مجموعة سمات مختارة. يبين الشكل التالي

VIFramesWindows – Window(2) لسمات األربع األولى المختارة والتي في كل مرة وا

ازداد عندها األداء. نالحظ أنا اختيار سمات أضافية بعد السمة الرابعة قد جعل األداء يقل أو قد

يؤدي إلى ظهور سمات مختارة سابقا كما في الشكلين التاليين.

0

10

20

30

40

50

60

70

80

90

100

EyeLeftClosedSTD HappyAvg SurprisedSTD HappySTD SurprisedAvg HappyAvg

0

10

20

30

40

50

60

70

80

90

100

EyeLeftClosedSTD HappyAvg SurprisedSTD HappySTD SurprisedAvg HappyAvg

Page 116: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 115

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Topology Optimizationعملية تحسين طبولوجي الشبكة .14.1

تدل على وجود نيورونين 0_2يار الميزات نقوم بعملية تحسين لطبولوجيا الشبكة الداللة بعد اخت

نيورون في الطبقة الثانية. . نبدا بشبكة بسيطة بطبقة مخفية واحدة 2في الطبقة األولى و

نيورون في 1نيورون في كل طبقة. تكون الخطوة هي أضافة 12بنيورونين انتهاء بطبقتين ب

الواحدة في كل مرة. توضح األشكال التالية المقصود. الطبقة

حيث نقوم VIFramesAllAttemptsنموذج يبين الشكل التالي عملية التحسين الطبولوجي ل

. ونأذخ أيضا هيكلية الشبكة التي تحقق أعلى أداء حسب runsمرة 22بإعادة االختبار لـ

0_2اختبار لشبكة 22ار. يبين الشكل التالي الـ اختب 22المتوسط والقيمة الدنيا والعليا ضمن الـ

فقط.

تبين األشكال التالي األداء األفضل لكل الهيكليات لكل النمائج. نختار الهيكلية التي تحقق أفضل

أداء لكل نموذج.

0

10

20

30

40

50

60

70

80

90

100

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49

Page 117: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 116

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

AllFramesنموذج

VIFramesAllAttemptsنموذج

0

10

20

30

40

50

60

70

80

90

100

0

10

20

30

40

50

60

70

80

90

100

Page 118: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 117

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

لجميع النوافذ VIFramesWindowsنموذج

0

10

20

30

40

50

60

70

80

90

100

1st Window 2nd Window 3rd Window

Page 119: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 118

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

ميزات التي تم اختيارها حسب النموذجال .14.4

بعد بناء نموذج التفضيل تم تجربته على معطيات لعب الالعبين ليختار الميزات

جميع النماذج هي لالندماجية المناسبة والتي كانت كما يلي لكل حالة مشاعر.

Engagement.

SFS MLP

Selection Phase

SFS SLP

Selection Phase Model

9, 3, 1 10, 4, 7

AllFrames EyeRightClosedSTD

EyeLeftClosedAvg

FaceRegLeftAvg

MouthOpenSTD

EyeRightClosedAvg

FaceRefTopSTD

10 5, 4

VIFramesAllAttempts MouthOpenSTD

MouthOpenAvg

EyeRightClosedAvg

9 1, 2

W(1) VIFramesWindows SurprisedAvg

FaceRegLeftAvg

FaceRefTopAvg

- 12, 7, 18, 16

W(2) VIFramesWindows -

EyeLeftClosedSTD

HappyAvg

SurprisedSTD

HappySTD

- 1, 4, 3

W(3) VIFramesWindows -

FaceRegLeftAvg

EyeRightClosedAvg

EyeLeftClosedAvg

Page 120: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 119

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

أداء كل نموذج .14.3

نوضح في الجدول التالي أداء كل نموذج ضمن كل مرحلة.

𝑴𝑳𝑷𝒐𝒑𝒕

𝑷𝒎𝒂𝒙 %

𝑴𝑳𝑷𝒐𝒑𝒕

𝑷 %

𝑴𝑳𝑷𝒐𝒑𝒕

𝑨𝒓𝒄𝒉

𝑴𝑳𝑷

𝑷𝒎𝒂𝒙 %

𝑴𝑳𝑷

𝑷 %

𝑺𝑳𝑷

𝑷𝒎𝒂𝒙 %

𝑺𝑳𝑷

𝑷 % Model

92.42 81.57 8_2 92.42 82.12 69.69 65.77 AllFrames

92.06 83.30 2_0 92.06 84.28 71.42 64.44 VIFramesAllAttempts

72.72 62 6_0 66.66 60.90 48.48 41.21 W(1) VIFramesWindows

93.93 84.03 4_0 - - 80.30 68.78 W(2) VIFramesWindows

95.23 86.15 10_10 - - 77.77 70.63 W(3) VIFramesWindows

مناقشة األداء .14.3

ن قرارنا كان نالحظ من الجدول السابق أن كل نموذج كان أفضل من سابقة بنسبة معينة وأ

فترات زمنية يتم 1صائبا فيما يتعلق بأخذ النموذج األخير بوضع فكرة النوافذ لتقسم المرحلة إلى

معالجة كل منها وبناء نموذج خاص بها على حدا.

Page 121: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 120

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 122: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 121

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

عشر الخامس لفصلا

أزمنة التنفيد واللغة البرمجية المستخدمة لجميع التطبيقات

Page 123: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 122

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 124: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 123

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

النماذجزمن بناء واختبار .44

Raw Featuresتطبيق استخالص السمات األولية .44.4

بعد بناء التطبيق SHOREيبين الجدول التالي األزمنة المأخوذة لمعالجة الصور ضمن محرك

C# الذي يقوم بتحليل شريط الفيديو لكل شخص إلى أطر ومن ثم تمريرها لتطبيقSHORE

اع المشاعر المسترجعة ضمن ملف نصي.الذي يأخذ كل إطار على حدا ويقوم بإرج ++Cبلغة

Process Id Process Description Overall

Time taken

1 Conversion to .pgm 6 hours

2 Visual behavior extraction by SHORE 14 hours

20 hours

بناء قاعدة المعطيات وتجهيز السمات بشكلها النهائي القابل لعملية تطبيق .44.4

التحليل

الستخالص الميزات وبناء قاعدة معطيات لالعبين C# + SQL Serverقمنا باستخدام هنا

الوقت األهم هنا هو وقت تحضير السمات لشكلها النهائي وجميع المعطيات الالزمة لبناء النماذج.

القابل لالستخدام من قبل تطبيق بناء النماذج.

Process Id Process Description Time per Model Overall

Time taken

1 Features Prep. 2 min ≅ 7 𝑚𝑖𝑛

Page 125: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 124

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

نماذج التفضيلبناء .44.4

الخاصة بجامعة كوبينهاغن في الدينمارك الختيار ITU.DKهنا تم استخدام المكتبة الخاصة

. تكون أزمنة التنفيذ Javaوبناء نماذج التفضيل. اللغة المستخدمة هي لغة واختبار الميزات

بالشكل.

Process Id Process Description Time per Model Overall

Time taken

1 SFS with SLP 60 min ≅ 7 hours

2 SFS with MLP 50 min ≅ 4.5 hours

3 Optimizing Topology 90 min ≅ 8 hours

≅ 19.5 hours

Page 126: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 125

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 127: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 126

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 128: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 127

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

عشر لسادسالفصل ا

اآلفاق المستقبلية

Page 129: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 128

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

اآلفاق المستقبلية .44

Adaptive Game Modelلعبة التكيفي نموذج ال .44.4

Adaptiveهنا نكون وصلنا لبناء النموذج الثاني وهو النموذج األهم وهو النموذج التكيفي

Model القابلة للتحكم السماتبإقحام جميع [1]. هنا نقوم حسب الدراسةcontrollable

features ضمن النموذجPreference model تحكم في قابلة للال السمات)أي نضيف جميع

هنا، وبعد تدريب النموذج الحاصل، نقوم بعملية التكيف حال عدم اختيارها أصال (.

adaptation.

Adaptive content generation مراحل التوليد التكيفي للمراحل .44.4

، تكون الخطوات بأن نقوم بتوليد جميع التباديل الممكنة للميزات بعد تصميم النموذج التكيفي

القابلة للتحكم هي السماتعند معرفة أعلى خرج تكون للتعديل ونبحث عن أعلى خرج. القابلة

التي يجب بناء مرحلة جديدة لالعب الحالي بها. يتم إنشاء مرحلة بميزات النموذج السمات

الذي يتم إرساله إلى المحرك إلنشاء مرحلة feature vectorالحاصلة عن طريق شعاع ميزات

بعد د )تكلمنا عن كيفية إنشاء مرحلة بشعاع ما سابقا في فقرة تصميم المراحل(.جديدة بشعاع محد

لعب الالعب هذه المرحلة الجديدة، نقوم بإدخال معطيات لعبه من جديد إلى النموذج التكيفي

لتوليد مرحلة جديدة مناسبة له.

تكون المراحل بالترتيب كما يلي:

هذه المرحلة فقط ألخذ تصور عن ميزات اللعب الالعب يلعب لعبة ابتدائية )أي لعبة، .1

لدى الالعب(

المرحلة الجديدةالتي يرغب بتوليد emotional state حالة مشاعر يختار الالعب .2

على أساسها

المنمذج الخاصة بالالعب إلى gameplay features ميزات اللعب يتم ارسال .3

.adaptive Modelerالتكيفي

القابلة للتحكم إلى الشبكة السماتخال ميزات اللعب والتكيفي يتم اد النموذجفي .4

ميزات القابلة للتحكم بخطوة ثابتة التبديل بين كافة التباديل الممكنة للالعصبونية حيث يتم

في المجال المخصص لكل ميزة

Page 130: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 129

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

في الشبكة prediction توقع القابلة للتحكم التي أعطت أفضل السماتيتم اختيار .5

ضمن النموذج التكيفي

القابلة للتحكم السماتيتم توليد مرحلة على أساس هذه .6

الالعب يلعب لعبة تم تصميمها بشكل تكيفي .7

2العودة إلى .8

يبين المخطط التالي شكل النموذج الخاص بالمحتوى التكيفي:

Phase-1: Style Analyzer

Play Generated

Game ( with best

controllable

features)

Gameplay Features

Engine Manager

Gameplay

features from

initial play

Phase-1: Adaptation Process

Exhaustive

Search on

Controllable

Features

Best Controllable Features

Adaptation

Model

Page 131: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 130

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 132: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 131

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

عشر لسابعالفصل ا

المراجع

Page 133: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 132

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

Page 134: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 133

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

المراجع .13

[1] H´ector P. Mart´ınez، Kenneth Hullett، and Georgios N. Yannakakis،

Member، IEEE: "Extending Neuro-evolutionary Preference Learning

through Player Modeling" 2010 IEEE Conference on Computational

Intelligence and Games.

[2] Christopher Pedersen، Julian Togelius Member، IEEE، and Georgios

N. Yannakakis، Member، IEEE: “Modeling Player Experience for

Content Creation”.

[3] Erin J. Hastings، Ratan K. Guha، and Kenneth O. Stanley:

Demonstrating Automatic Content Generation in the Galactic Arms Race

Video Game. In Proceedings of the Artificial Intelligence and Interactive

Digital Entertainment Conference Demonstration Program. University of

Central Florida، Orlando، FL 32816، AIIDE 2009.

[4] Antonios Liapis، Georgios N. Yannakakis: Neuroevolutionary

Constrained Optimization for Content Generation.

[5] Webstite، last visit: June، 2012، http://speedtree.com

[6] Stanley، K.O.: Compositional pattern producing networks: A novel

abstraction of development. Genetic Programming and Evolvable

Machines Special Issue on Developmental Systems 8(2)، 2007.

[7] Webstite، last visit: June، 2012، http://game.itu.dk/pcg

[8] Webstite، last visit: June، 2012، http://pcgames.fdg2010.org

[9] Webstite، last visit: June، 2012، http://pcg.wikidot.com

[10] Togelius، J.، Schmidhuber، J.: An Experiment in Automatic Game

Design. In Proceedings of the IEEE Symposium on Computational

Intelligence and Games، Perth، Australia.

Page 135: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 134

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

[11] Browne، C.: Automatic generation and evaluation of recombination

games، PhD thesis، Queensland University of Technology، 2008.

[12] Togelius، J.، De Nardi، R.، Lucas. S.M.: Towards automatic

personalised content creation in racing games. In: Proceedings of the

IEEE Symposium on Computa-tional Intelligence and Games، 2007.

[13] Webstite، last visit: June، 2012، Cube Engine: http://cubeengine.com

[14] Webstite، last visit: June، 2012، OcTree:

http://anteru.net/2008/07/25/242/

[15] Evolving Interesting maps for first person shooter: Luigi

Cardamone، Georgios N.Yannakakis، Julian Togelius، and Pier Luca

Lanzi

[16] Payam Refaeilzadeh، Lei Tang، Haun Liu: Cross-Validation، Arizona

State University.

[17] Petri Lankoski، Staffan Björk: Gameplay Design Patterns for

Believable Non-Player Characters. Media Lab، University of Art and

Design Helsinki.

[18] Noor Shaker، Georgios N. Yannakakis، Member، IEEE، and Julian

Togelius، Member، IEEE: Feature Analysis for Modeling Game Content

Quality، 2010.

[19] “Entertainment modeling through physiology in physical play،”

International Journal of Human-Computer Studies، vol. 66، pp. 741–

755، 2008.

[20] Georgios N. Yannakakis: “Modeling Player Experience in Super

Mario Bros” in Proceedings of the IEEE Symposium on Computational

Intelligence and Games. Milan، Italy: IEEE، September 2009.

Page 136: Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation

Mohammad Shaker & Ola Al-Naameh 135

Fusing Visual and Behavioral Cues for Modeling User Experience in Games

[21] Georgios N. Yannakakis، M. Maragoudakis، and J. Hallam:

“Preference Learning for Cognitive Modeling: A Case Study on

Entertainment Preferences،” IEEE Systems، Man and Cybernetics; Part

A: Systems and Humans، vol. 39، no. 6، pp. 1165–1175، November 2009.

[22] G. N. Yannakakis and J. Hallam: “Game and Player Feature

Selection for Entertainment Capture،” in Proceedings of the IEEE

Symposium on Computational Intelligence and Games. Hawaii، USA:

IEEE، April 2007، pp. 244–251.

[23] J. Togelius، T. Schaul، J. Schmidhuber and F. Gomez، “Countering

poisonous inputs with memetic neuroevolution،” in Parallel Problem

Solving From Nature 10، 2008.

[24] ——، “Entertainment modeling through physiology in physical

play،” International Journal of Human-Computer Studies، vol. 66،

pp. 741– 755، 2008.

[25] M. Mejia-Lavalle and G. Arroyo-Figueroa، “Power System Database

Feature Selection Using a Relaxed Perceptron Paradigm،” in Proceedings

of 5th Mexican International Conference on Artificial Intelligence،

LNCS. Springer Berlin/Heidelberg، 2006، pp. 522–531.

[26] Kenneth Hullett، Jim Whitehead: Design Patterns in FPS Levels،

University of California، Santa Cruz، 2009.

[27] Noor Shaker، Georgios N. Yannakakis، Member، IEEE، and Julian

Togelius، Member، IEEE. Feature Analysis for Modeling Game Content

Quality، 2010.