Forming Balanced GroupsForming Balanced Groupsof Students for Team Projects

José Borges gDepartamento de Engenharia Industrial e GestãoFaculdade de Engenharia da Universidade do PortoRua Dr. Roberto Frias, 4200‐465 Porto,Tel.: 22‐5081736 ‐ jlborges@fe.up.pt

with 

António Brito, João Falcão e Cunha and Teresa Galvão

Jornadas de Engenharia - ISVOUGA - 29/10/2010

FEUP ‐ PortoFEUP  Porto

2JE ‐ 2010/11/29

FEUP

3JE ‐ 2010/11/29

DEIG – Departamento de Engenharia Industrial e Gestão

4JE ‐ 2010/11/29

Outline

• MotivationMotivation

• Group Formation Methods

• Our Approach

W b B d S t• Web Based System

• Our Approach vs. Self Selectionpp

• Concluding Remarks and Future Work

JE ‐ 2010/11/29 5

I will talk about 

• a students’ group‐formation method• a students  group‐formation method aimed at  providing an enriching teamwork experience that promotes the acquisition of the teamwork skillsacquisition of the teamwork skills necessary for integrating project teams

JE ‐ 2010/11/29 6

MotivationThe Difference is about how we think in groups‐‐and how g pour collective wisdom exceeds the sum of its parts. Why can 

f l f d bteams of people find better solutions than brilliant individuals working alone?individuals working alone? 

Page shows how groups that g g pdisplay a range of perspectives outperform 

f lik i d dgroups of like‐minded experts. 

2007, Princeton University Press

JE ‐ 2010/11/29 7

, yISBN‐10: 0691128383

Motivation

JE ‐ 2010/11/29 8

Motivation

• According to industry representatives recent engineering graduates (from FEUP) are – well prepared with technical skills but – usually face difficulties when  asked to integrate project teams

• Group projects have become frequent in undergraduate courses

• Awareness of team self‐selection limitations (a common practice at FEUP)common practice at FEUP)– Diversity of students is not taken into account– Does not mirror a “real world” scenarioDoes not mirror a  real world  scenario

JE ‐ 2010/11/29 9

Motivation

• “Encouraging students to work with new peopleEncouraging students to work with new people allows them to become more comfortable at communication and in conflict resolution.”communication and in conflict resolution.   

Paul BlowersPaul Blowers. 

“Using student skill self‐assessment to get balanced groups for group projects”. 

College Teaching, 50(3), pp. 106‐110, 2003.g g, ( ), pp ,

JE ‐ 2010/11/29 10

Usual methods for team formation

• Self selectionSelf selection

• Based on grades

• Random methods

B d• Based on surveys

JE ‐ 2010/11/29 11

Self selectionSelf selection• No advance planning

• Easy to implement• Easy to implement

• Motivational and schedules compatibility

• Groups of friends

• Top students tend to pair th l ( d f id )themselves (and free rider)

• Little diversity– gender, age, ethnicity and academic g , g , y

ability

• Problematic for students who are left outleft out 

– Erasmus, shy, unpopular

• Same team across several courses and negotiated involvement

12JE ‐ 2010/11/29

Based on Grades (1)( )

• High with Low – Motivational problemsHigh with Low  Motivational problems

JE ‐ 2010/11/29 13Blowers 2003

Based on Grades (2)( )

• High with High – Motivational problemsHigh with High  Motivational problems

JE ‐ 2010/11/29 14Blowers 2003

Random Methods

• Alphabetically, sitting proximity, random allocationAlphabetically, sitting proximity, random allocation

• Easy to implement

• Differences not taken into account (imbalanced groups)g p )

JE ‐ 2010/11/29 15

Based on Surveysy

• Requires advance planning

• Surveys can consider – schedules, 

l ifi ti i i it– classification in prerequisite courses, – gender, – race, – preferences indicated by students,preferences indicated by students,– profiles– ...

• Require a method to group the students (can be very timeRequire a method to group the students (can be very time consuming)

• The method goal can be to maximize students’ satisfaction, g ,created balanced between teams or promote a better learning environment

S d ’ i (bl k b )• Students’ resistance (black box)

JE ‐ 2010/11/29 16

C i t FinisherCommunicator Finisher

Technical skills

Coordinator

Team Leader

…SuccessLeader

Creative Planner

ImplementerTeam

17

workerJE ‐ 2010/11/29

A group­formation method based on t d t’   filstudent’s profiles

• Profiles assessed by means of a questionnairey q

• aimed at identifying students’ type of behavior when integrating a teamteam

• A method to form groups that

• maximizes diversity within teams

• minimizes diversity among teams

• Cross evaluation mechanism

• With impact on final marksWith impact on final marks

• Web based system to manage the process

JE ‐ 2010/11/29 18

QuestionnaireQ• Luís Graça “Eu não sou perfeito, tu não és perfeito, mas a nossa equipa pode sê‐lo! “ In Dirigir

(Journal of IEFP – Instituto de Emprego e Formação Profissional), n. 61, pp. 46‐55, 1999.

• 7 questions as the following. Distribute 20 points by at most 3 itens

A – Quando estou envolvido num projecto com outras pessoas:A1 Fico descansado quando vejo que o trabalho que tem de ser feito está devidamente 

planeado, estruturado e organizadoA2 Sou especialista em detectar erros e omissões de que os outros, em geral, não se 

apercebem ou não dão contaapercebem ou não dão contaA3 Reajo vigorosamente quando me apercebo de que estamos a afastar‐nos do 

objectivo principal de uma reunião de trabalhoA4 Sou uma pessoa com perspicácia para descobrir as ideias e os progressos mais 

recentes num determinado campo de conhecimentos ou de aplicaçõesA5 Faço uma análise objectiva das ideias dos outros, pesando os respectivos prós e 

contras ou identificando os respectivos pontos fortes e fracosA6 T h t dê i t l d t f dA6 Tenho uma tendência natural para coordenar as pessoas e as tarefas do grupo

A7 Costumo sobretudo dar ideias ou fazer sugestões originais

A8 Estou sempre pronto a apoiar as ideias ou sugestões que se me afiguram úteis para 

JE ‐ 2010/11/29 19

solução de um problemaSubtotal 20

Scores in 8 profilesp• President: assumes the role of leader and coordinates people and tasks

• Strategist: shapes the team ideas modeling them and give them a form of strategic• Strategist: shapes the team ideas, modeling them and give them a form of strategic objectives.

• Intellectual: imaginative and creative, suggests new ideas and objectives

• Monitor/Evaluator: ore a critical than a creator, objectively assesses the various ideas and alternatives

• Operative: more interested in practical matters than in abstract ideas, his contribution is to implement the team’s ideas

T W k• Team Worker: works well in a heterogeneous group, seeks to manage the conflicts , he is the promoter of unity and harmony within the group

• Prospector: gets ideas information people or other external resources he is theProspector: gets ideas, information, people or other external resources, he is the "public relations"

• Finisher/retoucher: concerned primarily with what might go wrong, obsessed by deadlines, schedules, errors and omissions. He's a perfectionist.

JE ‐ 2010/11/29 20

Web system – create a coursey

JE ‐ 2010/11/29 21

Web system – import studentsy p

JE ‐ 2010/11/29 22

Web System – fill questionnairey q

JE ‐ 2010/11/29 23

Examples Scoresp

JE ‐ 2010/11/29 24

The Belbin Test

• Recently we have come to the conclusion that the test we are yusing is an adaptation of an earlier version of the Belbin test.

JE ‐ 2010/11/29 25

The Belbin 9 Team Roles• The “Plant” role was so‐called because one such individual was “planted” in each team. 

They tended to be highly creative and good at solving problems in unconventional ways.

• The Monitor Evaluator was needed to provide a logical eye, make impartial judgments where required and to weigh up the team’s options in a dispassionate way.

• Co‐ordinators were needed to focus on the team’s objectives, draw out team members and delegate work appropriatelydelegate work appropriately.

• When the team was at risk of becoming isolated and inwardly‐focused, Resource Investigators provided inside knowledge on the opposition and made sure that the team’s idea would carry to the world outside the teamidea would carry to the world outside the team.

• Implementerswere needed to plan a practical, workable strategy and carry it out as efficiently as possible.

• Completer Finishers were most effectively used at the end of a task to “polish” and• Completer Finishers were most effectively used at the end of a task, to  polish  and scrutinize the work for errors, subjecting it to the highest standards of quality control.

• Teamworkers helped the team to gel, using their versatility to identify the work required and complete it on behalf of the team.and complete it on behalf of the team.

• Challenging individuals, known as Shapers, provided the necessary drive to ensure that the team kept moving and did not lose focus or momentum.

• The “Specialist” is an individual with in‐depth knowledge of a key area came to beThe  Specialist  is an individual with in‐depth knowledge of a key area came to be recognized as yet another essential team contribution or Team Role.

JE ‐ 2010/11/29 26

Balanced Teams

• Balance is the key!Balance is the key!

• The goal is to make use of the questionnaire results f d f d i h i dto form teams composed of students with a varied 

mix of profiles

JE ‐ 2010/11/29 27

Forming Balanced Teamsg

• Achieve– maximum diversity within groups and– homogeneity among groups

• Opposite of clustering

• We use an Analysis of Variance like approach– Maximize within group variation (WGV)

Mi i i b t i ti (BGV)– Minimize between group variation (BGV)– TV = WGV + BGV

W i T b h l ith• We are using a Tabu search algorithm

JE ‐ 2010/11/29 28

TV = 11 319

BGV = 1 861

2 2 2pgi p pgi gi g gp pX X X X G X X

JE ‐ 2010/11/29 29

pgi p pgi gi g gp pp g i p g i p g

TV WGV BGV

Examplep

JE ‐ 2010/11/29 30

Alternative Formulation

• Maximally diverse grouping problemMaximally diverse grouping problem– (well known NP‐hard problem)

• Maximize the sum of pair wise differences between• Maximize the sum of pair wise differences between team elements

• Comments:– Takes into account within group distances onlyg p y– Induces different solutions

JE ‐ 2010/11/29 31

Comparative Examplep p

Maximally diverse grouping

Our Formulation

JE ‐ 2010/11/29 32

JE ‐ 2010/11/29 33

Web system – generate teamsy g

JE ‐ 2010/11/29 34

Cross Evaluation

• When self‐selection is used, teams develop ways to , p ycompensate for team members effort

• When lecturers set‐up teams it is important to• When lecturers set‐up teams it is important to provide a way to distribute some sort of incentives or penalties internallypenalties internally

• We require that students evaluate colleagues on several different aspects of group workseveral different aspects of group work

• Individual evaluations are confidential

• Students are informed of their overall average grade as given by his group colleaguesg y g p g

JE ‐ 2010/11/29 35

Cross Evaluation

• We have in place a method for relative evaluationWe have in place a method for relative evaluation

• In order to reward a colleague a student has to li h llpenalize another colleague

• This is a hot topic of discussionp

JE ‐ 2010/11/29 36

Web system – cross evaluationy

JE ‐ 2010/11/29 37

Comparison with self selectionp

• We conducted an analysis of the impact of the proposed e co ducted a a a ys s o t e pact o t e p oposedmethod on the students’ final marks

• The goal was to assess if• The goal was to assess if – when self selection is applied the best students tend to pair 

themselves?themselves?– our method has a negative impact on final marks, as feared by 

students?

• The study used– 3 academic years, 3 programmes (706 students). y p g ( )– students marks in every other course in the same academic year– SSS – student self selection and 

MGP managed grouping process– MGP – managed grouping process

JE ‐ 2010/11/29 38

JE ‐ 2010/11/29 39 JE ‐ 2010/11/29 40

A higher number of medium ranked teams surpass the expectations.The method does not seams to have a negative impact on the final

41

The method does not seams to have a negative impact on the final marks, contrarily to students’ a priory beliefs.

JE ‐ 2010/11/29

Guidelines for Using the Methodg

• Inform the students about the formation method that is going to be used, while highlighting both its strengths and weaknesseswhile highlighting both its strengths and weaknesses.

• Ask students to fill a questionnaire aimed at assessing their profiles.

A i d i h hi i hi i• Assign students to groups in a way that achieves within group maximum profile diversity together with homogeneity among groups.

• Inform the students of the resulting groups. Make clear to the students g g pthat the overall teamwork effort will be evaluated as well as the quality of the completed work.

• Provide a group cross‐evaluation platform Individual cross‐evaluations• Provide a group cross‐evaluation platform. Individual cross‐evaluations must remain private and must be conducted after the groups submit their projects but before the lecturers make their project evaluation public.

T k i t t th t i l t ti f h ill i th• Take into account that implementation of such a process will increase the teachers' effort involved in planning, supervising and evaluating the groups’ projects by 15–30%.

JE ‐ 2010/11/29 42

Web Based Systemy

• Students URLStudents URL– http://paginas.fe.up.pt/~sibd/aval/index.php

• Teachers URL• Teachers URL– http://paginas.fe.up.pt/~sibd/sigest/index.php

• Easy to adapt to other questionnaire, to incorporate other students’ characteristics (age, sex, grades…)

JE ‐ 2010/11/29 43

Ongoing and future workg g

• We are currently implementing a more functionalWe are currently implementing a more functional and user friendly version of the site

Al i h• Algorithm– Compare with maximally diverse grouping problem formulation

• Validate method– Alternative questionnaires for profiling– Students questionnaire– Cross evaluation

• What is an ideal group composition?

JE ‐ 2010/11/29 44

• Anyone interested in using the system is welcome toAnyone interested in using the system is welcome to do it

G li k• Go to link– http://paginas.fe.up.pt/~sibd/sigest/teachernew.php

• and create a new user

JE ‐ 2010/11/29 45

References

• Paul Blowers. “Using student skill self‐assessment to get balanced groups for group projects” College Teaching 50(3) pp 106 110 2003for group projects”. College Teaching, 50(3), pp. 106‐110, 2003.

• José Borges, Teresa Galvão Dias and João Falcão e Cunha “A new group‐formation method for student projects”, in the European Journal of Engineering Education, Volume 34, Issue 6 December 2009 , pages 573 ‐585 .

• João Falcão e Cunha, José Luís Borges and Teresa Galvão Dias, “SomeJoão Falcão e Cunha, José Luís Borges and Teresa Galvão Dias,  Some Results from Managing the Process of Group Formation and Evaluation in Student Projects”, Proceedings of the International Conference on Engineering Education (ICEE 2007), 2007.

• Luís Graça “Eu não sou perfeito, tu não és perfeito, mas a nossa equipapode sê‐lo! “ (original in Portuguese; I am not perfect, you are not perfect, but our team can be!). In Dirigir (Journal of IEFP – Instituto de Emprego e ) g ( p gFormação Profissional), n. 61, pp. 46‐55, 1999.

JE ‐ 2010/11/29 46

Forming Balanced GroupsForming Balanced Groupsof Students for Team Projects

José Borges gDepartamento de Engenharia Industrial e GestãoFaculdade de Engenharia da Universidade do PortoRua Dr. Roberto Frias, 4200‐465 Porto,Tel.: 22‐5081736 ‐ jlborges@fe.up.pt

with 

António Brito, João Falcão e Cunha and Teresa Galvão

Jornadas de Engenharia - ISVOUGA - 29/10/2010