evaluando el liderazgo positivo
DESCRIPTION
El liderazgo positivo se considera un factor fundamental quecontribuye de forma notoria al desarrollo de organizaciones saludables. El liderazgo positivo se ha abordado a partir de otros modelos de liderazgo, fundamentalmente el transformacional y auténtico con los que se ha establecido algún tipo de afinidad.TRANSCRIPT
Full Terms & Conditions of access and use can be found athttp://www.tandfonline.com/action/journalInformation?journalCode=rrps20
Download by: [Universidad Nacional Andres Be] Date: 23 November 2015, At: 20:01
Revista de Psicología SocialInternational Journal of Social Psychology
ISSN: 0213-4748 (Print) 1579-3680 (Online) Journal homepage: http://www.tandfonline.com/loi/rrps20
Evaluating positive leadership: pilot study on thepsychometric properties of a reduced versionof the Positive Leadership Assessment Scale /Evaluando el liderazgo positivo: estudio pilotode las propiedades psicométricas de una versiónreducida del Positive Leadership Assessment Scale
Mirko Antino, Francisco Gil-Rodríguez, Alfredo Rodríguez-Muñoz & StefanoBorzillo
To cite this article: Mirko Antino, Francisco Gil-Rodríguez, Alfredo Rodríguez-Muñoz &Stefano Borzillo (2014) Evaluating positive leadership: pilot study on the psychometricproperties of a reduced version of the Positive Leadership Assessment Scale / Evaluando elliderazgo positivo: estudio piloto de las propiedades psicométricas de una versión reducidadel Positive Leadership Assessment Scale, Revista de Psicología Social, 29:3, 589-608, DOI:10.1080/02134748.2014.972705
To link to this article: http://dx.doi.org/10.1080/02134748.2014.972705
Published online: 11 Nov 2014. Submit your article to this journal
Article views: 63 View related articles
View Crossmark data
Evaluating positive leadership: pilot study on the psychometricproperties of a reduced version of the Positive Leadership
Assessment Scale / Evaluando el liderazgo positivo: estudio pilotode las propiedades psicométricas de una versión reducida del
Positive Leadership Assessment Scale
Mirko Antinoa, Francisco Gil-Rodrígueza, Alfredo Rodríguez-Muñoza
and Stefano Borzillob
aUniversidad Complutense de Madrid; bSKEMA Business School
(Received 23 November 2012; accepted 11 June 2013)
Abstract: Positive leadership is considered a fundamental factor which contri-butes significantly to the development of healthy organizations. Positive leader-ship has been address via other leadership models, primarily transformational andauthentic leadership, with which some affinities have been established. Althoughthere is a large body of literature on positive leadership, especially related to itspractical aspects, the construct is not properly delimited and there are only a fewrelevant contributions on how to measure it. The purpose of this paper is toconduct a pilot study to examine the psychometric properties of a reduced versionof the PLAS (Positive Leadership Assessment Scale). Results from a confirma-tory factorial analysis show that a five-correlated factors model achieves a goodfit with the empirical data (on a sample of Spanish students). Likewise, this studyalso offers a range of evidence of validity, showing a relationship with theconstructs of both transformational and authentic leadership and engagement.
Keywords: engagement; authentic leadership; positive leadership;transformational leadership
Resumen: El liderazgo positivo se considera un factor fundamental quecontribuye de forma notoria al desarrollo de organizaciones saludables. Elliderazgo positivo se ha abordado a partir de otros modelos de liderazgo,fundamentalmente el transformacional y auténtico con los que se ha estable-cido algún tipo de afinidad. Aunque existe una importante literatura sobre elliderazgo positivo, especialmente relacionada con aspectos prácticos, el cons-tructo no está adecuadamente delimitado y apenas existen investigacionesrelevantes sobre su evaluación. El objetivo del presente trabajo es realizarun estudio piloto que examine las propiedades psicométricas de una versiónreducida del Positive Leadership Assestment Scale. Los resultados del análisis
English version: pp. 589–596 / Versión en español: pp. 597–603References / Referencias: pp. 603–604Translated from Spanish / Traducción del español: Mary BlackAuthors’ Address / Correspondencia con los autores: Mirko Antino, Facultad de Psicología,Universidad Complutense de Madrid, Campus de Somosaguas, Despacho 2104.D, 28223Madrid, España. E-mail: [email protected]
Revista de Psicología Social / International Journal of Social Psychology, 2014Vol. 29, No. 3, 589–608, http://dx.doi.org/10.1080/02134748.2014.972705
© 2014 Fundacion Infancia y Aprendizaje
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
factorial confirmatorio en una muestra de estudiantes españoles muestran queel modelo de cinco factores correlacionados logra un buen ajuste a los datosempíricos. Así mismo, se obtuvieron distintas evidencias de validez, encon-trando relación con los constructos tanto de liderazgo transformacional yauténtico, como engagement.
Palabras clave: engagement; liderazgo auténtico; liderazgo positivo; liderazgotransformacional
Today the working world and organizations are enmeshed in a process of pro-found change, with significant implications for the health of both these organiza-tions and their members. This situation is fostering the development of neworganizational approaches that are focused on restoring trust, hope and optimismwithin organizations (Avolio & Gadner, 2005).
In parallel, the positive psychology approach has emerged in recent years,focused on developing positive qualities as opposed to dealing with negativeaspects, like flaws and pathologies (Seligman & Csikszentmihalyi, 2000). Theemphasis on positive organizational behaviour and positive psychological capitalfits within this new approach (Luthans, 2002; Luthans, Avolio, Avey, & Norman,2007). The study of positive leadership also falls within these lines (Cameron,2008); positive leadership focuses its actions on what is good and on encouraginghuman potentialities, motivations and capacities.
Therefore, positive leadership refers to the way leaders encourage outstandingperformance by centring on virtue and eudemonism, which justifies what a persondoes if their goal is to attain happiness (Cameron, 2008). The concept of positiveleadership is based on the conception of the positively biased leader and the ideaof a continuum ranging from extreme positive to extreme negative, such that allleaders can be plotted at some point along it. Positive leaders are ones whosebehaviour shows a bias towards the positive end (Wooten & Cameron, 2010).
This kind of leadership has three characteristics: (1) it facilitates extraordina-rily positive performance (above-average performance); (2) it focuses on people’sstrengths and abilities; and (3) it facilitates the best of the human condition, that is,it fosters virtuousness (Cameron, 2008).
There is empirical evidence regarding the benefits of this construct. Workingteams with a positive leader show better results on workplace wellbeing, positiveemotions (Kelloway, Weigand, McKee, & Das, 2013), engagement, performance,cohesion, team learning orientation and innovation (Cameron, 2008).
Considering today’s conditions, research and theory are expected to suggest waysto accelerate the development of positive leadership within the next 10 years (Avolio,Walumbwa, &Weber, 2009). However, despite the interest in this kind of leadership,there are very few studies that define or measure it (Kelloway et al., 2013). Theliterature states that positive leadership is related to other models of leadership, suchas transformational leadership (Bass, 1985) and authentic leadership (Avolio &Gardner, 2005). Even though these last two models of leadership have substantialsupport in the literature, the first instrument to measure positive leadership, thePositive Leadership Assessment Scale (Cameron, 2008), has hardly any validation
590 M. Antino et al.
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
studies. Thus, the purpose of this paper is to conduct a pilot study that examines thepsychometric properties of the reduced version of this instrument in Spanish, analys-ing its factorial structure, its internal consistency and its validity in a student popula-tion.We believe that the sample is suitable for a pilot study on leadership, just as othermodels of leadership, such as transformational leadership, have been applied in thefield of education and training (see Pounder, 2008).
Positive leadership assessment scale
The positive leadership scale includes the following five dimensions:
(1) Positive climate (six items in the original scale) ‘refers to the condition inwhich positive emotions predominate over negative emotions in a work-place’ (Cameron, 2008, p. 17). The leader contributes to developing thisclimate by modelling and encouraging acts of compassion, collectiveforgiveness and expressions of gratitude among the organization’semployees.
(2) Positive relationships (five items) ‘refers to relationships that are a sourceof richness, vitality and learning’ (Cameron, 2008, p. 35), such that theywork to others’ benefit (instead of being limited to just receiving supportfrom others).
(3) Positive communication (five items) ‘takes place in organizations whenthe language of affirmation and support replaces negative, critical lan-guage’ (Cameron, 2008, p. 51). To achieve this, the leader has to usesupport strategies and provide feedback focusing on strengths and uniquecontributions, that is, focusing on the positive instead of punishing what isdone improperly.
(4) Creating positive meaning (four items) consists of getting people to feellike they are pursuing a profound purpose or showing a connection withthe job that is important to them and leads to meaningful positive effects.To develop it, leaders stress the value of the organization’s results, whichis more than just the personal benefit of the employees themselves.
(5) Positive strategies (four items) consists of using the PersonnelManagement Interview Program, which provides a powerful way to insti-tutionalize the four positive strategies and is based on specific, plannedinteractions conducted systematically between the leader and their fol-lowers (Cameron, 2008, pp. 81–82).
Method
Participants
The sample is made up of 423 students (convenience sample with voluntaryparticipation) working towards their Bachelor’s degree in the Faculty of
Assessing positive leadership / Evaluando el liderazgo positivo 591
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
Psychology at a public university in Madrid. Their average age is 21.99 (SD =3.95) and 70% are female.
Instruments
PLAS (Positive Leadership Assessment Scale)
The scale was translated by two experts in organizational psychology, and theinstrument was then back-translated into English by a third expert to check theequivalency between both versions. The items were chosen by consensusamong the experts and by analysing the factorial loads in a prior exploratoryanalysis performed on another sample. These items were adapted to thecontext in which they were administered by replacing the word ‘employees’with ‘students’. For each of the five dimensions, three items from the originalscale were chosen (see Appendix), and the response scale ranged from 1(never) to 5 (almost always).
Engagement
Engagement was measured using nine items from the scale developed bySchaufeli, Bakker, and Salanova (2006), with a response range from 0 (never)to 6 (every day). The content of the items, which were originally designed forworkplaces, was adapted to the educational setting.
Transformational leadership
Transformational leadership was measured using the 27 items from theMultifactor Leadership Questionnaire (MLQ-5X-R; Bass & Avolio, 1990;Spanish adaptation by Morales & Molero, 1995). The responses ranged from 1(never) to 5 (almost always), and the content of the items was also adapted to theeducational setting.
Authentic leadership
Authentic leadership was measured using the 16 items of the AuthenticLeadership Questionnaire (Walumbwa, Avolio, Gadner, Wernsing, & Peterson,2008; Spanish adaptation by Moriano, Molero, & Lévy-Mangin, 2011). Theresponses ranged from 1 (never) to 5 (almost always).
Procedure
The sample was assembled in different classes in the Bachelor’s degree inpsychology during the second semester of the academic year. All the studentswere asked to evaluate the professor in the class from the past term in whichthey had earned the highest mark. Should the students have earned the same
592 M. Antino et al.
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
high mark in several different classes, they were to refer to the most recent.The responses to the questionnaires were anonymous.
Analysis of the data
The psychometric analyses performed include: (a) internal consistency test; (b)study of the correlations between factors; (c) estimate of the reliability of thecomplete scale and of its five dimensions; (d) confirmatory factorial analysiscomparing a model with a single factor and one with five correlated factors;and (e) an analysis of the relationships with other constructs in order to getevidence of validity.
The reliability of each subscale as a whole was estimated using Cronbach’salpha index, while the correlation matrix was used to study the correlationbetween factors (b) and the relationship among variables (e). The confirmatoryfactorial analysis was performed using version 6.12 of the Mplus software(Muthen & Muthen, 2010). Given the nature of the data (items with fiveresponse categories and the absence of multivariate normality), a robustextraction method was used for these situations (Finney & DiStefano, 2006).The indicators used to evaluate the goodness of fit of the model beingexamined include: (a) the chi-squared coefficient/degrees of freedom (χ2/df);(b) the comparative fit index (CFI); (c) the Tucker–Lewis Index (TLI); (d) theroot mean square error of approximation (RMSEA); and (e) the standardizedSRMR. The following criteria were used to evaluate the goodness of fit: theTLI and CFI values have to be higher than .90 (Hu & Bentler, 1999); theRMSEA index had to score under .08 (Browne & Cudeck, 1992); and therelationship between χ2/df had to be lower than 3.
Results
Descriptive analyses of the scales, and study of the relationships among factorsand their internal consistency
Table 1 shows the means and standard deviations of the constructs measured. Theinternal consistency of the complete positive leadership scale as a whole wasoutstanding (Alpha = .92), while the values were acceptable on the dimensionsanalysed separately, ranging from .68 to .75.
The correlation analysis between scales (Table 1) shows that all the dimen-sions were positively related (p < .01). The higher degree of correlation camebetween the positive climate and positive relationships dimensions (r = .727).
Confirmatory factorial analysis
The results of the confirmatory factorial analysis (Table 2) of the single factormodel showed an unsuitable adjustment to the data (χ2/df = 3.944, TLI = .87,CFI = .89, RMSEA = .087, SRMR = .054). On the other hand, the 5-factor
Assessing positive leadership / Evaluando el liderazgo positivo 593
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
Table
1.Descriptiv
estatistics,reliabilityindexesandcorrelations
betweenthescales.
Scales
MSD
Alpha
12
34
56
78
9
1LP_P
ositive
clim
ate
2.99
1.02
.75
12
LP_P
ositive
relatio
nships
3.00
0.91
.69
.727**
13
LP_P
ositive
communication
3.26
0.94
.68
.677**
.721**
14
LP_C
reationof
positiv
emeaning
3.57
0.84
.75
.556**
.615**
.633**
15
LP_P
ositive
strategies
2.69
0.96
.69
.584**
.673**
.558**
.507**
16
LP_C
ompletescale
3.10
0.78
.92
.855**
.893**
.857**
.779**
.798**
17
Authentic
leadership
4.53
1.06
.92
.494**
.548**
.540**
.562**
.514**
.633**
18
Engagem
ent
5.21
1.23
.85
.100*
.109*
.104*
.185**
.135**
.150**
.270**
19
Transform
ationalleadership
3.51
0.69
.83
.618**
.673**
.652**
.709**
.564**
.765**
.677**
.212**
1
**p<.01;
*p<.05.
594 M. Antino et al.
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
correlated solution showed the model’s optimal adjustment to the data (χ2/df = 2.811, TLI = .93, CFI = .95, RMSEA = .068, SRMR = .045).
Evidence of validity based on the relationship between theoretically relatedconstructs and the prediction of external variables
Relationship between positive leadership and transformational leadership
As shown in Table 1, the positive leadership construct (complete scale) waspositively related to the transformational leadership construct (r = .765;p < .01). Likewise, there is a positive relationship between this kind of leadershipand all the sub-scales, especially with the creation of positive meaning (r = .709;p < .01) and positive relationships (r = .673; p < .01).
Relationship between positive leadership and authentic leadership
Similarly (Table 1), the positive leadership construct is positively related to theauthentic leadership construct (r = .633; p < .01), and a positive relationship wasfound between this kind of leadership and all the sub-scales, the strongest beingwith the creation of positive meaning (r = .562; p < .01).
Predictive relationship between positive leadership and engagement
As shown in Table 1, the positive leadership construct allows us to predictparticipants’ engagement (r = .15; p < .01), and each of the dimensions studiedis positively related to engagement, the strongest being with the creation ofpositive meaning (r = .185; p < .01).
Discussion
The prime objective of this paper was to conduct a pilot study of the psychometriccharacteristics of a reduced version PLAS translated into Spanish. The results canbe considered satisfactory in general. The internal reliability of the instrument as awhole was suitable, while the reliability of the scales tested separately wasacceptable. This result was understandable if we bear in mind the functioning ofthe Alpha index, which is sensitive to the number of items present in eachdimension (only three in our case). Therefore, the different dimensions can beused separately, or each dimension can be expanded if reliability higher than .90 isneeded. The confirmatory factorial analysis showed the superiority of the
Table 2. Confirmatory factorial analysis for the reduced Spanish version of the PLAS.
Model Chi-squared df chi/df TLI CFI RMSEA SMRS
1 factor 354.935 90 3.944 .87 .89 .087 .0545 correlated factors 224.878 80 2.811 .93 .95 .068 .045
Assessing positive leadership / Evaluando el liderazgo positivo 595
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
five-correlated factors solution over the single-factor solution, as the formershowed a very good fit between the model and the data. Considering the evidenceof validity found in this pilot study, the results entail one of the first contributionsto the literature on transformational leadership (Bass, 1985), as they offer pre-liminary empirical evidence of its relationship with positive leadership. With asimilar result pattern, a positive relationship was also found between positiveleadership and authentic leadership. This means conferring positive meaning andfostering a climate, relationships and communication based on supportive mes-sages that can help the followers to perceive the leaders’ behaviours as moreethical and honest. Likewise, we also noted a positive relationship between thepositive leadership and engagement dimensions. This aligns with previous studieswhich found that transformational leadership in supervisors was positively relatedto employees’ daily engagement (Tims, Bakker, & Xanthopoulou, 2011). In thissense, our preliminary results indicate that the patterns of positive leaders mayfoster an increase in personal resources among employees, such as better self-efficacy stemming from positive feedback.
As a whole, these results entail a first step in validating the PLAS. Thepreliminary results of this study show that it is a valid, reliable measurementthat takes into account a wide range of positive experiences that leaders can betterdevelop in order to improve different aspects of their organizational environment.Given that in Spain there is no information on the psychometric properties of thisinstrument, we view its validation as extraordinarily important as a step prior todeveloping this perspective. In addition to the positive aspects that can stem fromthis pilot study, the study has a series of limitations with regard to research andapplications that should be borne in mind in future research. First of all, the resultsare preliminary owing to the sample with which the study was performed.Applications must be made to other organizational contexts with the goal ofgetting results that can be extrapolated to more settings. Secondly, trying topredict students’ engagement based on the positive leadership of one of theirpast professors limits the degree to which the results can be extrapolated to othersettings, since the professor evaluated by the students was not the only professorthey had during their degree programmes, while the engagement measuredreferred to the university as an organization. Thirdly, the two variables weremeasured at the same time, so this does not avoid problems related to sharedvariance. Future studies should replicate this study using longitudinal designs.
596 M. Antino et al.
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
Evaluando el liderazgo positivo: estudio piloto de las propiedadespsicométricas de una versión reducida del Positive Leadership
Assessment Scale
Actualmente el mundo laboral y las organizaciones se encuentran en un procesode profundos cambios, con importantes implicaciones para la salud de las orga-nizaciones y de sus miembros. Esta situación está favoreciendo el desarrollo denuevos enfoques organizacionales, centrados en restaurar la confianza, esperanzay optimismo dentro de las organizaciones (Avolio y Gadner, 2005).
Paralelamente, en los últimos años ha surgido el enfoque de la psicología positiva,centrado en el desarrollo de las cualidades positivas, frente a la preocupación en trataraspectos negativos, como deficiencias y patologías (Seligman y Csikszentmihalyi,2000). Dentro de este nuevo enfoque se encuadra el énfasis en la conducta organiza-cional positiva y en el capital psicológico positivo (Luthans, 2002; Luthans, Avolio,Avey, y Norman, 2007). En esta línea, se sitúa igualmente el estudio del liderazgopositivo (Cameron, 2008), el cual centra su actuación en lo que está bien, en el fomentode las potencialidades humanas, sus motivaciones y capacidades.
Por lo tanto, el liderazgo positivo se entiende como la forma en que los líderesfacilitan un rendimiento excelente, centrándose en la virtud y el eudemonismo quejustifica lo que una persona hace si su objetivo es alcanzar la felicidad (Cameron,2008). El concepto de liderazgo positivo, parte de la concepción del líder positiva-mente desviado y se basa en la idea de un continuo, que va desde un extremo positivo auno negativo, de forma que todos los líderes pueden ser ubicados en algún punto delmismo, siendo los líderes positivos aquellos cuyo comportamiento muestra unadesviación cercana al polo positivo (Wooten y Cameron, 2010).
Este liderazgo presenta tres características: (1) facilitar un rendimiento extra-ordinariamente positivo (rendimiento por encima de la media); (2) centrarse en lasfortalezas y capacidades de las personas; y (3) facilitar lo mejor de la condiciónhumana, o en el fomento de la virtuosidad (Cameron, 2008).
Existe evidencia empírica respecto a los beneficios de este constructo. Enaquellos equipos de trabajo en los que interviene un líder positivo, se obtienenmejores resultados en bienestar en el trabajo, emociones positivas (Kelloway,Weigand, McKee y Das, 2013), engagement, rendimiento, cohesión, orientaciónal aprendizaje de equipo e innovación (Cameron, 2008).
Considerando las condiciones actuales, se espera que en los próximos 10 años,la investigación y la teoría se planteen formas de acelerar el desarrollo delliderazgo positivo (Avolio, Walumbwa, y Weber, 2009). No obstante, pese alinterés por este tipo de liderazgo, existen muy pocas investigaciones sobre sudefinición o medición (Kelloway et al., 2013). La literatura afirma que el
Assessing positive leadership / Evaluando el liderazgo positivo 597
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
liderazgo positivo está relacionado con otros modelos de liderazgo, como eltransformacional (Bass, 1985) y el auténtico (Avolio y Gardner, 2005). Si bienestos últimos modelos de liderazgo poseen un importante apoyo en la literatura, elprimer instrumento de medida del liderazgo positivo, el Positive LeadershipAssessment Scale (Cameron, 2008), apenas cuenta con estudios de validación.Por ello, el objetivo de este trabajo es realizar un estudio piloto que examine laspropiedades psicométricas de la versión reducida de dicho instrumento en caste-llano, analizando su estructura factorial, su consistencia interna y su validez enuna población estudiante. Consideramos la muestra adecuada para un estudiopiloto sobre liderazgo, tal como se ha realizado aplicando otros modelos deliderazgo en el ámbito educativo y de la formación, como el transformacional(véase por ej. Pounder, 2008).
Positive leadership assessment scale
La escala de liderazgo positivo incluye las siguientes cinco dimensiones:
(1) El clima positivo (seis ítems en la escala original) ‘se refiere a la condiciónen la que las emociones positivas predominan sobre las negativas en unambiente de trabajo’ (Cameron, 2008, p. 17). El líder contribuye aldesarrollo de este clima a través del modelado y fomentando actos decompasión, perdón colectivo y expresiones de gratitud entre los emplea-dos de la organización.
(2) Las relaciones positivas (cinco ítems) ‘se refieren a aquellas que sonfuente de riqueza, vitalidad y aprendizaje’ (Cameron, 2008, p. 35), deforma que contribuyen al beneficio de los demás (en lugar de limitarse arecibir apoyo de ellos).
(3) La comunicación positiva (cinco ítems) ‘tiene lugar en las organizacionescuando el lenguaje afirmativo y de apoyo remplaza al negativo y crítico’(Cameron, 2008, p. 51). Para conseguirlo, el líder debe emplear estrategiasde apoyo y dar retroalimentación centrada en las fortalezas y en lascontribuciones únicas. Centrarse en fomentar lo positivo, en lugar decastigar aquello que se realiza incorrectamente.
(4) Crear un sentido positivo (cuatro ítems) consiste en conseguir que laspersonas sientan que persiguen un propósito profundo o muestranconexión con un trabajo que es importante para ellos y produce efectospositivos significativos. Para desarrollarlo los líderes destacan el valorasociado con los resultados de la organización, que se extienden másallá del beneficio personal de los propios empleados.
(5) Estrategias positivas (cuatro ítems) consiste en el empleo del PersonnelManagement Interview Program que provee una forma potente de insti-tucionalizar las cuatro estrategias positivas y se basa en interaccionesespecíficas, planificadas y conducidas de forma sistemática entre el lídery sus seguidores (Cameron, 2008, pp. 81–82).
598 M. Antino et al.
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
Método
Participantes
La muestra está compuesta por 423 estudiantes (muestreo de conveniencia yparticipación voluntaria) de grado de la facultad de Psicología de una universidadpública de Madrid, edad media de 21.99 (SD = 3.95), 70% mujeres.
Instrumentos
PLAS (Positive Leadership Assestment Scale)
Se realizó la traducción de la escala por parte de dos expertos en psicología de lasorganizaciones y el instrumento fue traducido de nuevo al inglés por un tercerexperto, comprobando la equivalencia entre ambas versiones. La selección de losítems se hizo por consenso entre expertos y analizando las cargas factoriales en unanálisis exploratorio previo efectuado sobre otra muestra. Estos ítems se adaptaronal contexto de aplicación, sustituyendo la palabra ‘empleados’ por ‘alumnos’. Paracada una de las cinco dimensiones, se seleccionaron tres ítems de la escalaoriginal (véase Apéndice) con escala de respuesta con formato de 1 (nunca) a 5(casi siempre).
Engagement
El engagement se midió empleando los nueve ítems de la escala desarrollada porSchaufeli, Bakker, y Salanova (2006), con respuesta 0 (nunca) a 6 (todos los días).El contenido de los ítems, originalmente diseñados para ambiente de trabajo, seadaptó al contexto de formación.
Liderazgo transformacional
El liderazgo transformacional se midió empleando los 27 ítems del MultifactorLeadership Questionnaire (MLQ-5X-R; Bass y Avolio, 1990; adaptación españolade Morales y Molero (1995), con respuesta 1 (nunca) a 5 (casi siempre).Igualmente el contenido de algunos ítems se adaptaron al contexto de formación.
Liderazgo auténtico
El liderazgo auténtico se midió empleando los 16 ítems del Authentic LeadershipQuestionnaire (Walumbwa, Avolio, Gadner, Wernsing, y Peterson, 2008;adaptación española de Moriano, Molero, y Lévy-Mangin, 2011), con respuesta1 (nunca) a 5 (casi siempre).
Procedimiento
La muestra se recogió en distintas clases del grado en psicología en el segundosemestre. A todos los estudiantes se les pidió que evaluaran al profesor delcuatrimestre pasado en cuya asignatura hubiesen obtenido mejor nota. En el
Assessing positive leadership / Evaluando el liderazgo positivo 599
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
caso de que hubiese más asignaturas con la misma nota, debían referirse a laúltima. La contestación al cuestionario era anónima.
Análisis de los datos
Los análisis psicométricos efectuados incluyen: (a) Test de consistencia interna; (b)estudio de las correlaciones entre factores; (c) estimación de la fiabilidad de la escalacompleta y de sus cinco dimensiones; (d) análisis factorial confirmatorio comparandounmodelo con un factor único y uno con cinco factores correlacionados; y (e) análisisde las relaciones con otros constructos para obtener evidencias de validez.
La fiabilidad de cada sub-escala y de la escala en su conjunto se estimóempleando el índice Alpha de Cronbach, mientras que la matriz de correlacionesse empleó para estudiar la correlación entre factores (b) y la relación entrevariables (e). El análisis factorial confirmatorio se llevó a cabo con el softwareMplus versión 6.12 (Muthen y Muthen, 2010). Dada la naturaleza de los datos(ítems con cinco categorías de respuesta y ausencia de normalidad multivariante)se empleó un método de extracción robusto en estas situaciones (Finney yDiStefano, 2006). Los indicadores empleados para evaluar la bondad de ajustedel modelo examinado incluyen: (a) el cociente chi-cuadrado/grados de libertad(χ2/df); (b) el comparative fit index (CFI); (c) el Tucker–Lewis Index (TLI); (d) elroot mean square error of approximation (RMSEA); y (e) el standardized SRMR.Los criterios empleados para evaluar la bondad de ajuste fueron los siguientes: losvalores de TLI y CFI deberían ser mayores que .90 (Hu y Bentler, 1999); el índiceRMSEA debería puntuar por debajo de .08 (Browne y Cudeck, 1992); y larelación entre χ2/df debería ser inferior a 3.
Resultados
Análisis descriptivos de las escalas, estudio de las relaciones entre factores y desu consistencia interna
En la Tabla 1 se presentan las medias y las desviaciones típicas de los constructosmedidos. La consistencia interna de la escala de liderazgo positivo completa en suconjunto fue excelente (Alpha = .92), mientras que en las dimensiones analizadaspor separado los valores fueron aceptables, variando de .68 a .75.
El análisis de correlación entre escalas (Tabla 1), muestra que todas las dimen-siones estaban relacionadas positivamente (p < .01). El mayor grado de correlaciónse obtuvo entre las dimensiones de clima positivo y relaciones positivas (r = .727).
Análisis factorial confirmatorio
Los resultados del análisis factorial confirmatorio (Tabla 2) del modelo defactor único, mostraron un ajuste inadecuado a los datos χ2/df = 3.944,TLI = .87, CFI = .89, RMSEA = .087, SRMR = .054). Por otra parte, lasolución de cinco factores correlacionados indicó un ajuste óptimo del modelo alos datos (χ2/df = 2.811, TLI = .93, CFI = .95, RMSEA = .068, SRMR = .045).
600 M. Antino et al.
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
Tabla
1.Estadísticos
descriptivos,índicesde
fiabilidadycorrelacionesentrelasescalas.
Escalas
MSD
Alpha
12
34
56
78
9
1LP_C
limapositiv
e2.99
1.02
.75
12
LP_R
elacionespositiv
as3.00
0.91
.69
.727**
13
LP_C
omunicacionespositiv
as3.26
0.94
.68
.677**
.721**
14
LP_C
reaciónsentidopositiv
o3.57
0.84
.75
.556**
.615**
.633**
15
LP_E
strategias
positiv
as2.69
0.96
.69
.584**
.673**
.558**
.507**
16
LP_E
scalacompleta
3.10
0.78
.92
.855**
.893**
.857**
.779**
.798**
17
Liderazgo
Autentico
4.53
1.06
.92
.494**
.548**
.540**
.562**
.514**
.633**
18
Engagem
ent
5.21
1.23
.85
.100*
.109*
.104*
.185**
.135**
.150**
.270**
19
Liderazgo
Transform
acional
3.51
0.69
.83
.618**
.673**
.652**
.709**
.564**
.765**
.677**
.212**
1
**p<.01;
*p<.05.
Assessing positive leadership / Evaluando el liderazgo positivo 601
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
Evidencias de validez basadas en la relación con constructos teóricamenterelacionados y en la predicción de variables externas
Relación de liderazgo positivo con el liderazgo transformacional
Como se muestra en la Tabla 1, el constructo de liderazgo positivo (escalacompleta), se relacionó positivamente con el constructo de liderazgo transforma-cional (r = .765; p < .01). Así mismo, se obtiene una relación positiva entre dicholiderazgo y todas las sub-escalas, especialmente con creación de sentido positivo(r = .709; p < .01) y con relaciones positivas (r = .673; p < .01).
Relación de liderazgo positivo con el liderazgo auténtico
De forma similar (Tabla 1), el constructo de liderazgo positivo se relacionópositivamente con el constructo de liderazgo auténtico (r = .633; p < .01) y seobtuvo una relación positiva entre dicho liderazgo y todas las sub-escalas, siendola relación mayor con la creación de sentido positivo (r = .562; p < .01).
Relación predictiva del liderazgo positivo con engagement
Como se muestra en la Tabla 1, el constructo de liderazgo positivo permitepredecir el engagement de los participantes (r = .15; p < .01) y cada una de lasdimensiones estudiadas está relacionada positivamente con el engagement, siendola creación de sentido positivo la que presenta mayor relación (r = .185; p < .01).
Discusión
El primer objetivo de este trabajo era realizar un estudio piloto de las característicaspsicométricas del PLAS en una versión reducida y traducida al castellano. Losresultados obtenidos pueden considerarse, en líneas generales, satisfactorios. Lafiabilidad interna del instrumento en su conjunto resultó ser adecuada, mientras quela fiabilidad de las escalas por separado fue aceptable. Este resultado es comprensiblesi se tiene en cuenta el funcionamiento del índice Alpha, sensible al número de ítemspresentes en cada dimensión (solamente tres en nuestro caso). Por tanto, se puedenemplear las distintas dimensiones por separado, o en caso de requerir fiabilidadessuperiores a .90 resulta recomendable ampliar cada dimensión. El análisis factorialconfirmatorio mostró la superioridad de la solución con cinco factores correlaciona-dos respeto a la de un factor único, mostrando aquella un ajuste muy bueno delmodelo a los datos. Considerando las evidencias de validez obtenidas en este estudio
Tabla 2. Análisis factorial confirmatorio para la versión española reducida del PLAS.
Modelo Chi cuadrado df chi/df TLI CFI RMSEA SMRS
1 factor 354.935 90 3.944 .87 .89 .087 .0545 factores correlacionados 224.878 80 2.811 .93 .95 .068 .045
602 M. Antino et al.
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
piloto, los resultados suponen una de las primeras contribuciones a la literatura deliderazgo transformacional (Bass, 1985) al ofrecer evidencia empírica preliminar desu relación con un estilo de liderazgo positivo. Con un patrón de resultados similares,se obtiene una relación positiva entre el liderazgo positivo y liderazgo auténtico. Estosupone que dar sentido positivo y fomentar un clima, relaciones y comunicacionesbasadas en mensajes de apoyo puede facilitar que los seguidores perciban las con-ductas de los líderes como más éticas y honestas. Del mismo modo, se ha observadouna relación positiva entre las dimensiones del liderazgo positivo y engagement. Estoconcuerda con las investigaciones previas donde se encontró que el liderazgo trans-formacional de los supervisores se relacionaba positivamente con el engagementdiario de los empleados (Tims, Bakker, y Xanthopoulou, 2011). En este sentido,nuestros resultados preliminares indicarían que las pautas de los líderes positivospueden repercutir positivamente en el incremento de recursos personales entre losempleados, como mejor autoeficacia debido al feedback positivo.
En conjunto, estos resultados suponen un primer paso en la validación delPLAS. Los resultados preliminares del presente estudio muestran que se trata deuna medida válida y fiable que tiene en cuenta un rango amplio de experienciaspositivas, que los líderes pueden desarrollar para mejorar distintos aspectos de suentorno organizacional. Puesto que en España no existen datos sobre las propie-dades psicométricas de este instrumento, su validación, como paso previo aldesarrollo de esta perspectiva, nos parece de vital importancia. Además de losaspectos positivos que pueden derivarse de este estudio piloto, en cuanto ainvestigación y aplicaciones, el estudio presenta una serie de limitaciones quedeben tenerse en cuenta en futuras investigaciones. En primer lugar, los resultadostienen un carácter preliminar, debido a la muestra con la que se realizó el estudio.Se deben realizar aplicaciones a otros contextos organizacionales, con el objeto degeneralizar los resultados. En segundo lugar, al intentar predecir el engagement delos estudiantes a partir del liderazgo positivo ejercido por algún profesor en elpasado, limita la generalización de los resultados, ya que el profesor evaluado porlos alumnos no era el único profesor que han tenido en su carrera, mientras que elengagement medido se refería a la universidad como organización. En tercerlugar, las dos variables se midieron al mismo tiempo, con lo cual no se evitanproblemas relacionados con la varianza común. Futuras investigaciones deberíanreplicar este estudio mediante diseños longitudinales.
Acknowledgements / AgradecimientosThis study was partly conducted with funds from research project PI10/01272 financed bythe Instituto de Salud ‘Carlos III’. / Esta investigación se realizó en parte con fondos delproyecto de investigación PI10/01272 financiado por el instituto de Salud ‘Carlos III’.
References / ReferenciasAvolio, B. J., & Gardner, W. L. (2005). Authentic leadership development: Getting to the
root of positive forms of leadership. The Leadership Quarterly, 16, 315–338.doi:10.1016/j.leaqua.2005.03.001
Assessing positive leadership / Evaluando el liderazgo positivo 603
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
Avolio, B. J., Walumbwa, F. O., & Weber, T. J. (2009). Leadership: Current theories,research, and future directions. Annual Review of Psychology, 60, 421–449.doi:10.1146/annurev.psych.60.110707.163621
Bass, B. M., & Avolio, B. J. (1990). Transformational leadership development: Themanual for the Multifactor Leadership Questionnaire. Palo Alto, CA: ConsultingPsychologists Press Inc.
Bass, B. M. (1985). Leadership and performance beyond expectations. New York, NY:The Free Press.
Browne, M. W., & Cudeck, R. (1992). Alternative ways of assessing model fit.Sociological Methods & Research, 21, 230–258. doi:10.1177/0049124192021002005
Cameron, K. (2008). Positive leadership. Strategies for extraordinary performance. SanFrancisco, CA: Berret-Koehler Pub.
Finney, S., & DiStefano, C. (2006). Non-normal and categorical data in structuralequation modeling. In G. R. Hancock, & R. O. Mueller (Eds.), A second course instructural equation modeling (pp. 269–314). Greenwich, CT: Information Age.
Hu, L-T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structureanalysis: Conventional criteria versus new alternatives. Structural Equation Modeling:a Multidisciplinary Journal, 6, 1–55. doi:10.1080/10705519909540118
Kelloway, E. K., Weigand, H., McKee, M. C., & Das, H. (2013). Positive leadership andemployee well-being. Journal of Leadership & Organizational Studies, 20, 107–117.doi:10.1177/1548051812465892
Luthans, F. (2002). The need for and meaning of positive organizational behavior. Journalof Organizational Behavior, 23, 695–706. doi:10.1002/job.165
Luthans, F., Avolio, B. J., Avey, J. B., & Norman, S. M. (2007). Positive psychologicalcapital: Measurement and relationship with performance and satisfaction. PersonnelPsychology, 60, 541–572. doi:10.1111/j.1744-6570.2007.00083.x
Morales, J. F., & Molero, F. (1995). Leadership in two types of healthcare organizations. In J.M. Peiró, F. Prieto, J. L. Meliá, & O. Luque (Eds.),Work and organizational psychology:European contributions of the nineties (pp. 209–221). Hove, UK: Erlbaum.
Moriano, J. A., Molero, F., & Levy-Mangin, J. -P. (2011). Concepto y validación delcuestionario ALQ en España. Psicothema, 23, 336–341.
Muthen, L. K., & Muthen, B. O. (2010). Mplus (version 6) (Computer software). 6.12(Mac) ed. Los Angeles, CA: Muthén & Muthén.
Pounder, J. S. (2008). Transformational classroom leadership: A novel approach toevaluating classroom performance. Assessment and Evaluation in Higher Education,33, 233–243. doi:10.1080/02602930701292621
Schaufeli, W. B., Bakker, A., & Salanova, M. (2006). The measurement of work engage-ment with a short questionnaire: A cross-national study. Educational andPsychological Measurement, 66, 701–716. doi:10.1177/0013164405282471
Seligman, M. E. P., & Csikszentmihalyi, M. (2000). Positive psychology: An introduc-tion. American Psychologist, 55, 5–14. doi:10.1037/0003-066X.55.1.5
Tims, M., Bakker, A. B., & Xanthopoulou, D. (2011). Do transformational leadersenhance their followers’ daily work engagement? The Leadership Quarterly, 22,121–131. doi:10.1016/j.leaqua.2010.12.011
Walumbwa, F. O., Avolio, B. J., Gardner, W. L., Wernsing, T. S., & Peterson, S. J. (2008).Authentic leadership: Development and validation of a theory-based measure. Journalof Management, 34, 89–126. doi:10.1177/0149206307308913
Wooten, L., & Cameron, K. (2010). Enablers of a positive strategy: Leadership & culture.In P. A. Linley, S. Harrington, & N. Garcea (Eds.), The Oxford handbook of positivepsychology and work (pp. 53–65). New York, NY: Oxford University Press.
604 M. Antino et al.
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
ReducedSpan
ishversionof
thePLAS
Dim
ension
OriginalItem
sSpanish
versionItem
Originalitem
positio
n
Positive
climate
Fosterinform
ationsharingso
that
people
becomeaw
areof
colleagues’
difficulties
and,
therefore,
canexpresscompassion.
Fom
enta
elintercam
biode
inform
aciónpara
quelos(empleados)
alum
nostomen
conciencia
delasdificultadesde
sus
compañerosy,portanto,
puedaayudarles.
1
Encourage
thepublic
expression
ofcompassionby
sponsoring
form
alevents
tocommunicateem
otionalsupport.
Fom
enta
laexpresiónpúblicade
laem
patía
para
comunicar
apoyoem
ocional.
2
Makegratitu
devisitsandgratitu
denotesa
daily
practice.
Suele
hacercomentarios
deagradecimiento
deform
ahabitual.
6
Positive
relatio
nships
Ensurethat
employeeshave
anopportunity
toprovideem
otional,intellectual,or
physical
supportto
others
inadditio
nto
receivingsupportfrom
others.
Seaseguraquelos(empleados)
alum
nos
tengan
laoportunidadde
proporcionar
apoyoem
ocional,intelectualofísico
aotros,adem
ásde
recibirapoyode
ellos.
1
Diagnoseyour
organizatio
n’senergy
networks,so
that
yousupportandutilize
individualsin
energy
hubs
aswellas
tohelp
developperipheral
mem
bers.
Tiene
claras
lasredesexistentes
ylasem
plea
para
apoyar
aquienlo
necesite.
3
Provide
morefeedback
toindividualson
theirstrengthsthan
ontheirweaknesses.
Proporciona
ala
gentemás
inform
ación
sobresusfortalezas
quesobresus
debilid
ades.
4
Positive
communication
Provide
aratio
ofapproxim
atelyfive
positiv
emessagesforeverynegativ
emessage
tothosewith
whom
youinteract.
Ensusinteraccionesdiarias,proporciona
mayor
númerode
mensajespositiv
osque
negativ
os.
1 (Contin
ued)
Appendix
Assessing positive leadership / Evaluando el liderazgo positivo 605
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
(Contin
ued).
Dim
ension
OriginalItem
sSpanish
versionItem
Originalitem
positio
n
Provide
opportunitiesforem
ployeesto
receivebest-selffeedback
anddevelop
best-selfportraits.
Brindaoportunidadespara
quelos
(empleados)
alum
nosrecibanmejor
auto-
retroalim
entación
ydesarrollenunamejor
autoim
agen.
2
Consistently
distributenotesor
cardsto
your
employeescomplim
entin
gtheir
performance
Realizareconocimientos
públicos
para
felicitarasus(empleados)
alum
nossobre
surendim
iento.
3
Creationof
positive
meaning
Provide
negativ
efeedback
insupportiv
eways—
especially
usingdescriptive
rather
than
evaluativ
estatem
ents—
sothat
therelatio
nshipisstrengthened
Aldarretroalim
entación
negativ
ase
centra
enlasconsecuenciasnegativ
asde
una
acción
yno
enla
personaquela
realiza.
1
Establish,
recognize,
reward,
andmaintain
accountability
forgoalsthat
contribute
tohuman
benefit,so
that
theeffectson
other
people
areobvious
Establece,reconoce
yfomenta
elcumplim
ientode
losobjetiv
ospara
beneficiar
alos(empleados)
alum
nosy
obtenerefectospositiv
os.
2
Emphasizeandreinforcethecore
values
oftheindividualswho
workin
the
organizatio
n,so
that
congruence
between
whattheorganizatio
naccomplishesand
whatpeople
valueistransparent
Destaca
yrefuerza
losvaloresfundam
entales
delos(empleadosen
laem
presa)
alum
nos
enla
Universidad,de
form
aquehaya
congruenciaentrelo
querealizaesta
ylos
valoresde
aquello
s.
3
Positive
strategies
Meetat
leastmonthly
inone-on-one
meetin
gswith
your
direct
reports
Mantiene
regularm
ente
reuniones
individuales
conlos(empleados)
alum
nos
osusrepresentantes
(delegados,
coordinadoresde
grupos
deprácticas,
etc.).
2 (Contin
ued)
606 M. Antino et al.
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
(Contin
ued).
Dim
ension
OriginalItem
sSpanish
versionItem
Originalitem
positio
n
Consistently
andcontinually
emphasize
continuous
improvem
entandthe
developm
entof
strong
interpersonal
relatio
nships
amongyour
direct
reports.
Hacehincapié
enla
mejoracontinua
yen
eldesarrollo
defuertesrelaciones
interpersonalesconlos(empleados)
alum
nososusrepresentantes.
3
Haveaform
alized
routine(suchas
PMIs)in
which
youcanregularlydemonstrate
positiv
eclim
ate,
positiv
erelatio
nships,
positiv
ecommunication,
andpositiv
emeaning
associated
with
thework
Sigue
unprocedim
ientoform
alizadopara
quelos(empleados)
alum
nospuedan
contribuiracrearun
clim
apositiv
o.
4
Assessing positive leadership / Evaluando el liderazgo positivo 607
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15
Versión
castellanareducidadel
PLAS
Dim
ensión
Ítem
s
Clim
apositivo
Fom
enta
elintercam
biode
inform
aciónpara
quelosalum
nostomen
conciencia
delasdificultadesde
sus
compañerosy,
portanto,
puedaayudarles.
Fom
enta
laexpresiónpúblicade
laem
patía
para
comunicar
apoyoem
ocional.
Suele
hacercomentarios
deagradecimientode
form
ahabitual.
Relacionespositivas
Seaseguraquelosalum
nostengan
laoportunidadde
proporcionar
apoyoem
ocional,intelectualofísico
aotros,
adem
ásde
recibirapoyode
ellos.
Tiene
claras
lasredesexistentes
ylasem
plea
para
apoyar
aquienlo
necesite.
Proporciona
ala
gentemás
inform
aciónsobresusfortalezas
quesobresusdebilid
ades.
Com
unicaciones
positivas
Ensusinteraccionesdiarias,proporcionamayor
númerode
mensajespositiv
osquenegativ
os.
Brindaoportunidadespara
quelosalum
nosrecibanmejor
auto-retroalim
entación
ydesarrollenunamejor
autoim
agen.
Realizareconocimientos
públicos
para
felicitarasusalum
nossobresu
rendim
iento.
Creaciónsentido
positivo
Ald
arretroalim
entación
negativ
ase
centra
enlasconsecuenciasnegativ
asde
unaacción
yno
enlapersonaquela
realiza.
Establece,reconoce
yfomenta
elcumplim
ientode
losobjetiv
ospara
beneficiar
alosalum
nosyobtenerefectos
positiv
os.
Destaca
yrefuerza
losvaloresfundam
entalesde
losalum
nosen
laUniversidad,de
form
aquehaya
congruencia
entrelo
querealizaésta
ylosvaloresde
aquello
s.Estrategias
positivas
Mantiene
regularm
entereunionesindividuales
conlosalum
nososusrepresentantes
(delegados,coordinadoresde
grupos
deprácticas,etc.).
Hacehincapiéen
lamejoracontinua
yen
eldesarrollo
defuertesrelaciones
interpersonalesconlosalum
nososus
representantes.
Sigue
unprocedim
ientoform
alizadopara
quelosalum
nospuedan
contribuiracrearun
clim
apositiv
o.
Apéndice
608 M. Antino et al.
Dow
nloa
ded
by [
Uni
vers
idad
Nac
iona
l And
res
Be]
at 2
0:01
23
Nov
embe
r 20
15