avaliaÇÃo multicritÉrio de desempenho de portos ... · os portos marítimos movimentam cerca de...

25
AVALIAÇÃO MULTICRITÉRIO DE DESEMPENHO DE PORTOS MARÍTIMOS BRASILEIROS: ESTUDO DE CASO PARA APOIAR À GESTÃO DO PORTO DE SÃO FRANCISCO DO SUL Resumo O setor de transporte tem desempenhado um papel central na economia mundial. Nesse setor, destaca-se a importância dos portos e seu papel fundamental dentro da cadeia de abastecimento de produtos, que impulsionaram, ao longo do tempo, a reestruturação na logística e na gestão eficiente dos portos. À medida que aflora o interesse numa gestão eficaz que auxilie os portos nessa adaptação, o processo de Avaliação de Desempenho (AD) torna-se essencial. Aqui, a AD não só ajuda a entender o status quo do porto, mas também fornece informações para os gestores planejarem o desenvolvimento do porto a longo prazo, bem como evidencia os aspectos importantes que necessitam serem gerenciados e, assim, melhorar sua posição competitiva. Assim este estudo tem como objetivo construir um modelo multicritério de Avaliação de Desempenho para apoiar a gestão e as tomadas de decisões da Gerência de Operações do Porto de São Francisco do Sul, situado ao sul do Brasil. Entre os principais resultados desta pesquisa exploratória citam-se: foram identificados 43 aspectos, relacionados às áreas: atracação e desatracação de navios, controle de gates, armazenagem, produtividade operacional, e gestão de pessoal; a avaliação de desempenho resultou em uma pontuação de 48 pontos; foram recomendadas ações de aperfeiçoamento nos aspectos com desempenho comprometedor e com maior taxa de contribuição global, que, se implantadas, elevariam a avaliação global para 62 pontos; por meio do cotejamento dos indicadores e ferramentas utilizados na literatura com esse estudo de caso constatou-se que a maioria das ferramentas preocupa-se apenas com a fase de avaliação, negligenciando a etapa de estruturação e de recomendações, contemplada na metodologia MCDA-C. Como palavra final, os autores argumentam que de posse do conhecimento e do modelo personalizado construído para a gestão da Gerência de Operações do Porto São Francisco do Sul, o gestor pode tomar uma decisão fundamentada e justificada. Palavras-chave: Avaliação de Desempenho Portuário. Modelo Multicritério. Abordagem Construtivista. Gerência de Operações. 1 INTRODUÇÃO Os portos marítimos movimentam cerca de 90% das mercadorias negociadas pelo comércio internacional (GUNER, 2015; BERGANTINO; MUSSO; PORCELLI, 2013; WADHWA, 1992). A preferência pelos portos marítimos, dentre os diversos meios de transporte, segundo Simões e Marques (2010), deve-se pela capacidade de lidar com o tráfego pesado de mercadorias a baixo custo e em boas condições, além da natureza polivalente da produção nos portos (SIMÕES; MARQUES, 2010). Assim, estes são elementos essenciais dentro das cadeias de abastecimento. A globalização e o desenvolvimento do comércio eletrônico mundial fizeram com que houvesse mudanças significativas nas cadeias de abastecimento do comércio nacional e do internacional. Dentre essas mudanças, destaca-se a alteração na logística do ambiente em que os portos operam, tendo em vista que as empresas concorrem com outras, tanto no comércio local, quanto no mercado mundial. Essa concorrência traz consigo o desafio de encurtar o tempo de entrega dos produtos vendidos como forma de melhorar a

Upload: hoangdiep

Post on 09-Nov-2018

214 views

Category:

Documents


0 download

TRANSCRIPT

AVALIAÇÃO MULTICRITÉRIO DE DESEMPENHO DE PORTOS MARÍTIMOS BRASILEIROS:

ESTUDO DE CASO PARA APOIAR À GESTÃO DO PORTO DE SÃO FRANCISCO DO SUL

Resumo O setor de transporte tem desempenhado um papel central na economia mundial. Nesse

setor, destaca-se a importância dos portos e seu papel fundamental dentro da cadeia de

abastecimento de produtos, que impulsionaram, ao longo do tempo, a reestruturação na

logística e na gestão eficiente dos portos. À medida que aflora o interesse numa gestão

eficaz que auxilie os portos nessa adaptação, o processo de Avaliação de Desempenho

(AD) torna-se essencial. Aqui, a AD não só ajuda a entender o status quo do porto, mas

também fornece informações para os gestores planejarem o desenvolvimento do porto a

longo prazo, bem como evidencia os aspectos importantes que necessitam serem

gerenciados e, assim, melhorar sua posição competitiva. Assim este estudo tem como

objetivo construir um modelo multicritério de Avaliação de Desempenho para apoiar a

gestão e as tomadas de decisões da Gerência de Operações do Porto de São Francisco do

Sul, situado ao sul do Brasil. Entre os principais resultados desta pesquisa exploratória

citam-se: foram identificados 43 aspectos, relacionados às áreas: atracação e desatracação

de navios, controle de gates, armazenagem, produtividade operacional, e gestão de

pessoal; a avaliação de desempenho resultou em uma pontuação de 48 pontos; foram

recomendadas ações de aperfeiçoamento nos aspectos com desempenho comprometedor

e com maior taxa de contribuição global, que, se implantadas, elevariam a avaliação

global para 62 pontos; por meio do cotejamento dos indicadores e ferramentas utilizados

na literatura com esse estudo de caso constatou-se que a maioria das ferramentas

preocupa-se apenas com a fase de avaliação, negligenciando a etapa de estruturação e de

recomendações, contemplada na metodologia MCDA-C. Como palavra final, os autores

argumentam que de posse do conhecimento e do modelo personalizado construído para a

gestão da Gerência de Operações do Porto São Francisco do Sul, o gestor pode tomar uma

decisão fundamentada e justificada.

Palavras-chave: Avaliação de Desempenho Portuário. Modelo Multicritério.

Abordagem Construtivista. Gerência de Operações.

1 INTRODUÇÃO

Os portos marítimos movimentam cerca de 90% das mercadorias negociadas pelo

comércio internacional (GUNER, 2015; BERGANTINO; MUSSO; PORCELLI, 2013;

WADHWA, 1992). A preferência pelos portos marítimos, dentre os diversos meios de

transporte, segundo Simões e Marques (2010), deve-se pela capacidade de lidar com o

tráfego pesado de mercadorias a baixo custo e em boas condições, além da natureza

polivalente da produção nos portos (SIMÕES; MARQUES, 2010). Assim, estes são

elementos essenciais dentro das cadeias de abastecimento.

A globalização e o desenvolvimento do comércio eletrônico mundial fizeram com

que houvesse mudanças significativas nas cadeias de abastecimento do comércio nacional

e do internacional. Dentre essas mudanças, destaca-se a alteração na logística do ambiente

em que os portos operam, tendo em vista que as empresas concorrem com outras, tanto

no comércio local, quanto no mercado mundial. Essa concorrência traz consigo o desafio

de encurtar o tempo de entrega dos produtos vendidos como forma de melhorar a

qualidade do seu serviço, o que satisfaz a sua demanda e altera o seu custo (WOO;

PETTITE; BERESFORD, 2011; LIU; XU; ZHAO, 2009).

Essas mudanças na concorrência mundial, somadas ao impacto que os portos

marítimos geram sobre a economia local e regional e na competitividade das nações,

impulsionaram, ao longo do tempo, a reestruturação na logística e na gestão eficiente dos

portos (GARCÍA-MORALES; BAQUERIZO; LOSADA, 2015; GUNER, 2015; LAM;

SONG, 2013; DIAS et al., 2012; MADEIRA JUNIOR et al., 2012; WU; LIANG; SONG,

2010; WU; LIANG, 2009). À medida que aflora o interesse numa gestão eficaz que

auxilie os portos nessa adaptação, o processo de Avaliação de Desempenho torna-se

essencial a fim de que continuem atrativos no mercado (LU; PARK; HUO, 2015; WOO;

PETTITE; BERESFORD, 2011; SIMÕES; MARQUES, 2010).

Nesse contexto, segundo Lu, Park e Huo (2015), uma gestão eficaz do

desempenho dos portos fornece informações valiosas para as gerências, possibilitando

melhorar a produtividade, estabelecer estratégias competitivas para o futuro e aperfeiçoar

a utilização de recursos para melhoria contínua na eficiência operacional dos portos (LU;

PARK; HUO, 2015). Assim, a Avaliação de Desempenho dos portos não só ajuda a

entender o status quo do porto, mas também fornece informações para os gestores

planejarem o desenvolvimento do porto a longo prazo (WU; LIANG; SONG, 2010), bem

como evidencia os aspectos importantes que necessitam serem gerenciados e, assim,

melhorar sua posição competitiva. Esse conhecimento é relevante tendo em vista que

ineficiências na gestão dos portos marítimos têm influência direta sobre o preço dos

serviços de transporte, resultando em aumento dos custos para todas as partes envolvidas

no comércio internacional, comprometendo a competitividade do porto (GUNER, 2015;

TALLEY; NG; MARSILLAC, 2014; BERGANTINO; MUSSO; PORCELLI, 2013;

DIAS et al., 2012; WU; LIANG; SONG, 2010; WU; LIANG, 2009). Por isso, torna-se

de fundamental importância o processo de Avaliação de Desempenho.

No contexto do processo de avaliação, o desempenho organizacional pode ser

avaliado em uma perspectiva macro ou micro, o que depende do objetivo da gestão

(DUTRA et al., 2015). No que tange à busca de sistemas para gestão de portos marítimos,

Dutra et al. (2015) chamam a atenção para o fato de os pesquisadores estarem dando

prioridade à avaliação da eficiência operacional em vez de focar no desempenho global e

estratégico.

Entre os estudos que abordam a avaliação da eficiência operacional portuária, a

maioria faz uso da ferramenta Análise Envoltória de Dados (DEA) (GUNER, 2015; LU;

PARK; HUO, 2015; BERGANTINO; MUSSO; PORCELLI, 2013; DIAS et al. 2012;

SIMÕES; MARQUES, 2010; WU; LIANG; SONG, 2010; LIU; XU; ZHAO, 2009; WU;

LIANG, 2009; WU; YAN; LIU, 2009; AL-ERAQI et al. 2008). Essa ferramenta utiliza a

programação linear para medir a eficiência de várias unidades de decisões que são

caracterizadas como uma estrutura de produção de entradas e saídas (DUTRA et al.

2015). Embora essa ferramenta seja a mais utilizada nos estudos, ela apenas permite que

o desempenho seja medido, e não gerenciado. Por isso, fazem-se necessários estudos que

desenvolvam um “sistema integrado” de gestão e mensuração de desempenho, conforme

alerta Melnyk et al., (2014, p. 175).

Nesse contexto, emerge a pergunta que norteia esta pesquisa: Como apoiar à

gestão e mensuração das operações de portos marítimos brasileiros? A fim de responder

à pergunta da pesquisa, este estudo tem como objetivo construir um modelo multicritério

de Avaliação de Desempenho para apoiar a gestão e as tomadas de decisões da Gerência

de Operações do Porto de São Francisco do Sul/SC, sediado na região sul do Brasil. Para

tal, estabeleceram-se os seguintes objetivos específicos: (i) identificar os aspectos

considerados relevantes pelo gestor de operações do Porto de São Francisco do Sul; (ii)

construir escalas ordinais e cardinais para mensurar o desempenho do Porto nos aspectos

considerados importantes ao gestor; (iii) gerar ações de aperfeiçoamento para os aspectos

considerados com desempenhos comprometedores e para aqueles com maior taxa de

contribuição para a avaliação global; e, (iv) cotejar os indicadores e ferramentas utilizados

na literatura, e, neste estudo de caso, para gestão operacional portuária.

Para dar conta do objetivo da pesquisa será utilizada, como instrumento de

intervenção, a Metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C),

por ser informada pela abordagem construtivista, a qual possibilitará ao gestor da

Gerência de Operações identificar quais são os aspectos relevantes a serem gerenciados,

compreender quais são os impactos das decisões por ele tomadas, bem como ter um

processo para gerar e identificar ações de aperfeiçoamento. Cumpre salientar que a

seleção da Metodologia MCDA-C estabelece a principal delimitação deste estudo, qual

seja, a construção de um modelo não generalista. A revisão de literatura, realizada em

artigos disponíveis nas bases Scopus, ProQuest, EBSCO, Science Direct, Wiley e Web of

Science, também se configura como uma delimitação.

A justificativa desta pesquisa é argumentada quanto à importância, à originalidade

e à viabilidade (CASTRO, 1977). Quanto à importância, este trabalho justifica-se pela

carência de estudos que abordem, para além da mensuração do desempenho portuário,

sua avaliação e possibilidade de aperfeiçoamento da situação encontrada, apontado na

literatura pelos autores Lu, Park e Huo (2015); Guner (2015); Bergantino, Musso e

Porcelli (2013); Dias et al. (2012); Simões e Marques (2010); Wu, Liang e Song (2010);

Wu, Yan e Liu (2009); Liu, Xu e Zhao (2009); Wu e Liang (2009); e Al-Eraqi et al.

(2008). É original por não terem sido encontrados, na literatura consultada, outros

trabalhos que propusessem o apoio à gestão de um porto marítimo. Percebe-se viável pelo

interesse do gestor da Gerência de Operações do Porto São Francisco do Sul na

construção de um modelo personalizado que o auxilie nas decisões, garantindo assim

acesso às informações necessárias.

Este estudo estrutura-se da seguinte forma: além desta introdução, apresenta-se,

na seção 2, a metodologia da pesquisa; na seção 3, está o referencial teórico; na seção 4,

são abordadas a apresentação e a discussão dos resultados; na seção 5, são apresentadas

as considerações finais; e, por fim, estão as referências.

2 METODOLOGIA

2.1 Enquadramento Metodológico

A presente pesquisa classifica-se como exploratória por promover a geração de

conhecimento sobre os aspectos relevantes para a Gestão de Operações do Porto de São

Francisco do Sul/SC. É descritiva por cotejar os indicadores da pesquisa com os

encontrados na literatura consultada. Faz uso de estudo de caso como procedimento

técnico, por aprofundar-se no contexto decisório para representá-lo no modelo de

Avaliação de Desempenho construído. Dessa forma, terá resultado aplicado ao contexto

que se propõe apoiar à decisão. A coleta de dados é de natureza primária, tendo em vista

que os dados serão coletados por meio de entrevistas semiestruturadas com o gestor da

Gerência de Operações do Porto. A abordagem do problema será de natureza qualitativa

e quantitativa. É qualitativa nas fases de estruturação e recomendações da metodologia

MCDA-C, e é quantitativa na etapa de avaliação, quando da construção de escalas

cardinais e da operacionalização do modelo de agregação aditiva para cálculo da

avaliação global (RICHARDSON, 1999). Utilizará como instrumento de intervenção a

Metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C).

2.2 Procedimentos para Seleção do Material para Compor o Referencial Teórico

A seleção dos artigos científicos para a construção do referencial teórico foi feita

por meio do instrumento Knowledge Development Process-Constructivist (Proknow-C),

desenvolvido pelo Laboratório de Metodologias Multicritério de Apoio à Decisão

(LabMCDA), da Universidade Federal de Santa Catarina (UFSC), e utilizado em várias

pesquisas, como em Valmorbida e Ensslin (2015), Dutra et al. (2015), Ensslin et al.

(2014), Silva et al. (2014), Valmorbida et al. (2014), Ensslin, Ensslin e Pinto (2013),

Waiczyk e Ensslin (2013) e Tasca et al. (2010). O Proknow-C é um processo estruturado

e sistematizado, constituído de quatro etapas, conforme Figura 1.

Figura 1: Fluxograma das etapas do Knowledge Development Process-Constructivist (ProKnow-C)

Fonte: Knowledge Development Process-Constructivist (ProKnow-C) (Valmorbida;

Ensslin, 2015, p. 07. Adaptado de Ensslin et al., 2010).

Por meio desse processo, busca-se selecionar artigos que estejam alinhados com

o fragmento da literatura referente ao tema de Avaliação de Desempenho Portuário,

segundo a percepção dos pesquisadores.

Nesta pesquisa, será operacionalizada apenas a primeira etapa do ProKnow-C: a

seleção de portfólio bibliográfico, visto que as demais etapas não contribuem diretamente

para os propósitos deste trabalho. Essa etapa é feita por meio da “seleção do banco de

artigos bruto”, seguido pela “filtragem do banco de artigos” e finalizada com o “teste de

representatividade dos artigos do Portfólio Bibliográfico” (ENSSLIN; ENSSLIN;

PINTO, 2013).

A seleção do banco de artigos bruto inicia com a definição dos eixos de pesquisa,

das palavras-chave e das bases de dados para a busca inicial dos artigos. Com base nessas

definições, procede-se à busca de artigos nas bases de dados com as palavras-chave

definidas e a realização do teste de aderência das palavras-chave (DUTRA et al., 2015;

SILVA et al., 2014). Nesta pesquisa, foram utilizados os seguintes eixos e palavras-

chave: Performance Evaluation (Performance Evaluation; Performance Assessment;

Performance Appraisal; Performance Measurement; Performance Management) e

Seaports (Port; Harbor; e Seaport). Assim, considerando essas palavras-chave, a busca

dos artigos foi realizada, no dia 25 de junho de 2015, sem delimitação temporal, nas

seguintes bases de dados: Scopus, ProQuest, EBSCO, Science Direct, Wiley e Web of

Science. Essa busca inicial resultou em 984 artigos distribuídos entre as bases de dados.

Na “filtragem do banco de artigos”, foram eliminados os artigos repetidos; na

sequência, verificaram-se o alinhamento do título; o reconhecimento científico dos

artigos; o alinhamento do resumo; a disponibilidade do artigo na íntegra; e o alinhamento

integral dos artigos (ENSSLIN et al., 2014; WAICZYK; ENSSLIN, 2013).

Para operacionalização dessa etapa, os 984 artigos do banco de artigos bruto foram

exportados para o software de gerenciamento bibliográfico EndNote® X7. Nesse

software, foram eliminados 382 artigos por estarem duplicados, resultando assim em 602

artigos. Desses artigos, verificou-se o alinhamento dos títulos quanto aos objetivos desta

pesquisa, e 543 artigos estavam com o título desalinhado e, por isso, foram excluídos do

processo, resultando em 59 artigos com título alinhado. Ao verificar o alinhamento dos

resumos desses artigos, 19 foram eliminados, e 40 estavam com o resumo alinhado.

A próxima etapa do ProKnow-C consiste em analisar o reconhecimento científico

dos artigos por meio do número de citações, o que permite identificar os artigos

importantes para a área. Contudo, os autores desta pesquisa optaram por utilizar toda a

sua amostra de artigos, e não realizar o corte pelo reconhecimento científico em virtude

da pequena amostra de artigos com o resumo alinhado aos objetivos da pesquisa de acordo

com a percepção dos pesquisadores.

Após identificar os artigos com resumo alinhado, verificou-se a disponibilidade

dos artigos e o seu alinhamento integral. Dos 40 artigos com resumo alinhado, quatro não

estavam disponíveis e 14 não estavam alinhados na íntegra com o objetivo desta pesquisa

na percepção dos pesquisadores. Assim, o Portfólio Bibliográfico deste estudo é

composto de 22 artigos.

A etapa do teste de representatividade dos artigos do Portfólio Bibliográfico não

foi operacionalizada, uma busca inicial foi feita sem delimitação temporal e não houve

estratificação da amostra pelo reconhecimento científico. O Quadro 1 apresenta os 22

artigos que compõem o Portfólio Bibliográfico.

Quadro 1: Artigos que compõem o Portfólio Bibliográfico

Nº Autores Título Periódico Ano

1 AL-ERAQI;

MUSTAFA;

KHADER; BARROS.

Efficiency of Middle Eastern and East

African seaports: application of DEA

using window analysis.

European Journal of

Scientific Research

2008

2 BERGANTINO;

MUSSO; PORCELLI.

Port management performance and

contextual variables: Which

relationship? Methodological and

empirical issues.

Research in

Transportation Business

& Management

2013

3 CALDEIRINHA;

FELÍCIO.

The relationship between ‘position-

port’,‘hard-port’and ‘soft-

port’characteristics and port

performance: conceptual models.

Maritime Policy &

Management

2014

4 CAUDELI; FILLOL;

RIPOLL-FELIU.

Análisis del proceso de implantación de

un sistema de gestión estratégica:

estudio de caso del Cuadro de Mando

Integral en la Autoridad Portuaria de

Valencia.

Spanish Journal of

Finance and

Accounting/Revista

Española de Financiación

y Contabilidad

2009

5 DIAS; AZEVEDO;

FERREIRA; PALMA.

Seaport performance comparison using

data envelopment analysis: the case of

Iberian container terminals.

International Journal of

Business Performance

Management

2012

6 DOI; TIWARI; ITOH. A computable general equilibrium

analysis of efficiency improvements at

Japanese ports.

Review of Urban &

Regional Development

Studies

2001

7 DUTRA; RIPOLL-

FELIU; FILLOL;

ENSSLIN; ENSSLIN.

The construction of knowledge from the

scientific literature about the theme

seaport performance evaluation.

International Journal of

Productivity and

Performance

Management

2015

8 GARCÍA-MORALES;

BAQUERIZO;

LOSADA.

Port management and multiple-criteria

decision making under uncertainty.

Ocean Engineering 2015

9 GUNER. Investigating infrastructure,

superstructure, operating and financial

efficiency in the management of

Turkish seaports using data

envelopment analysis.

Transport Policy 2015

10 LAM; SONG. Seaport network performance

measurement in the context of global

freight supply chains.

Polish Maritime Research 2013

11 LIU; XU; ZHAO. Agile service oriented shipping

companies in the container terminal.

Transport 2009

12 LU; PARK; HUO. The evaluation of operational efficiency

of the world's leading container

seaports.

Journal of Coastal

Research

2015

13 MADEIRA JÚNIOR;

CARDOSO JÚNIOR;

BELDERRAIN;

CORREIA;

SCHWANZ.

Multicriteria and multivariate analysis

for port performance evaluation.

International Journal of

Production Economics

2012

14 SCHELLINCK;

BROOKS.

Improving port effectiveness through

determinance/performance gap analysis.

Maritime Policy &

Management

2014

15 SIMÕES;

MARQUES.

Seaport performance analysis using

robust non-parametric efficiency

estimators.

Transportation Planning

and Technology

2010

16 TALLEY; NG;

MARSILLAC.

Port service chains and port

performance evaluation.

Transportation Research

Part E-Logistics and

Transportation Review

2014

17 TURNER. Evaluating seaport policy alternatives: a

simulation study of terminal leasing

policy and system performance.

Maritime Policy &

Management

2000

18 WADHWA. Planning operations of bulk loading

terminals by simulation.

Journal of waterway,

port, coastal, and ocean

engineering

1992

19 WOO; PETTIT;

BERESFORD.

Port evolution and performance in

changing logistics environments.

Maritime Economics &

Logistics

2011

20 WU; LIANG. Performances and benchmarks of

container ports using data envelopment

analysis.

International Journal of

Shipping and Transport

Logistics

2009

21 WU; LIANG; SONG. Performance based clustering for

benchmarking of container ports: an

application of DEA and cluster analysis

technique.

International Journal of

Computational

Intelligence Systems

2010

22 WU; YAN; LIU. Groups in DEA based cross-evaluation:

An application to Asian container ports.

Maritime Policy &

Management

2009

Fonte: Elaborado pelos autores.

2.3 Instrumento para Construção do Modelo Multicritério e Procedimentos para

Coleta dos Dados

A construção do modelo Multicritério será resultado da operacionalização das

fases da Metodologia Multicritério de Apoio à Decisão-Construtivista (MCDA-C),

desenvolvida pelo Laboratório de Metodologias Multicritério de Apoio à Decisão

(LabMCDA), da Universidade Federal de Santa Catarina (UFSC), e disseminada em

várias pesquisas científicas, dentre elas Valmorbida et al. (2015); Longaray e Ensslin

(2015); Ensslin et al. (2013); Ensslin et al. (2010); Ensslin, Dutra e Ensslin (2000),

conforme demonstrado na Figura 2.

Figura 2: Fases da Metodologia Multicritério de Apoio à Decisão Construtivista (MCDA-C)

Fonte: Adaptado de Ensslin, Dutra e Ensslin (2000, p.81).

Por se tratar de uma abordagem construtivista, a metodologia MCDA-C objetiva

gerar conhecimento no decisor quanto ao problema por ele percebido. Esse conhecimento

é gerado de forma reflexiva por meio de atividades interativas e recursivas, que buscam

identificar os aspectos importantes do contexto, a forma de mensurá-los e geri-los. No

contexto da metodologia MCDA-C, o decisor é parte importante do processo, é quem

justifica a existência da metodologia. Assim, as etapas e subetapas da metodologia

MCDA-C fazem uso de estratégias para orientar as entrevistas com o decisor e organizar

as informações coletadas. Esses dados primários, ou seja, as informações provenientes

das falas do gestor representam a sua percepção sobre o problema e os objetivos a serem

avaliados no contexto. Com base nessas falas, será construído o modelo de Avaliação de

Desempenho. O procedimento realizado para validação das informações da construção

do modelo é demonstrado na Figura 3.

Figura 3: Validação da precisão das informações

Fonte: Baseado em Cresswell (2010, p. 218).

3 REFERENCIAL TEÓRICO

3.1 Avaliação de Desempenho Portuária

Madeira Júnior et al. (2012) destacam que avaliar e melhorar o desempenho dos

portos é essencial para alcançar competitividade internacional. Lu, Park e Huo (2015)

acrescentam que uma avaliação eficaz do desempenho dos portos fornece informações

valiosas para as gerências, possibilitando melhorar a produtividade, estabelecer

estratégias competitivas para o futuro e otimizar a utilização de recursos para melhoria

contínua da eficiência operacional dos portos (LU; PARK; HUO, 2015). Assim, a

avaliação adequada do desempenho do porto não só ajuda a entender e melhorar sua

posição competitiva, mas também fornece uma base clara e sólida para orientar as

tomadas de decisão do gestor que favoreçam o desenvolvimento do porto a longo prazo

(WU; LIANG; SONG, 2010).

A Avaliação de Desempenho deve possibilitar o desenvolvimento do

conhecimento dos gestores do porto sobre o contexto gerido, tendo por base

procedimentos estruturados e transparentes. Consequentemente, é possível a aplicação

desse conhecimento em toda a dimensão organizacional e em todos os níveis hierárquicos

do porto. Assim, o processo de Avaliação de Desempenho possibilita a aprendizagem

organizacional portuária (DUTRA et al., 2015).

Dentro do processo de avaliação, o desempenho organizacional pode ser avaliado

de várias formas, seja em um contexto macro ou micro organizacional, o que depende do

objetivo da gestão e do processo de Avaliação de Desempenho (DUTRA et al., 2015).

De acordo com Caudeli, Fillol e Ripoll-Feliu (2009), a Avaliação de Desempenho

portuária, com enfoque estratégico, permite melhorar o processo do planejamento

(definição dos objetivos e metas estratégicas), e, com o enfoque operacional, permite o

alinhamento e a alocação de recursos (orçamentos e metas operacionais).

Embora alguns autores reconheçam a importância da Avaliação de Desempenho

na gestão dos portos para melhoria, Dutra et al. (2015) destacam que a pesquisa voltada

a essa área tem dando prioridade à avaliação da eficiência operacional nos portos

marítimos, deixando de focar no desempenho global e estratégico. Entretanto, nesse

processo de avaliação, em ambos os enfoques, indicadores são criados para monitorar e

acompanhar as metas da gestão, seja na gestão estratégia, seja na operacional.

Quanto aos indicadores, Woo, Pettite e Beresford (2011) ressaltam que

indicadores tradicionais de desempenho portuário têm foco sobre a eficiência de medidas

específicas das operações internas, como o tempo de atracação de um navio, enquanto

indicadores contemporâneos englobam todos os aspectos das operações para serem

coerentes com as estratégias da organização, como, por exemplo, qualidade do serviço e

conectividade do porto (WOO; PETTITE; BERESFORD, 2011). Assim, é necessário que

indicadores contemporâneos sejam utilizados a fim de levar em conta a estratégia e as

variáveis contextuais do ambiente complexo em que os portos se encontram

(BERGANTINO; MUSSO; PORCELLI, 2013).

Dessa forma, no processo de avaliação do porto, o alinhamento com a estratégia

portuária é importante e deve ser considerado o contexto complexo, no qual o porto está

inserido, suas peculiaridades e características próprias. Wu, Yan e Liu (2009)

acrescentam que a Avaliação de Desempenho portuária de um grupo de portos de um país

é significativamente diferente de um grupo de portos de outro país e isso é decorrente da

heterogeneidade dos portos e do ambiente em que estão instalados (WU; YAN; LIU,

2009). Assim, qualquer processo de Avaliação de Desempenho dos portos, deverá levar

em conta o efeito de variáveis contextuais para ser mais eficiente e para atender aos

objetivos propostos pela gestão (BERGANTINO; MUSSO; PORCELLI, 2013).

3.2 Estudos Similares

Dentre os estudos selecionados sobre Avaliação de Desempenho Portuário, 16

artigos destacam-se por focarem na mensuração de aspectos operacionais, similares aos

objetivos dessa pesquisa.

Liu, Xu e Zhao (2009) avaliaram o desempenho de portos marítimos de vários

continentes, no quesito eficiência, utilizando para isso a Análise Envoltória de Dados

(DEA). Semelhante a esse trabalho, Wu e Liang (2009) mediram a eficiência de 77 portos

mundiais, realizando benchmarking entre eles, também utilizando o DEA.

Já Talley, Ng e Marsillac (2014), embora não tenham avaliado o desempenho dos

portos, propuseram uma metodologia para avaliar a eficácia de serviços individuais de

um porto, considerando a capacidade operacional. Bergantino, Musso e Porcelli (2013),

em sua pesquisa, construíram um modelo com uso de modelagem estatística, para avaliar

a eficiência relativa de gestão portuária.

Utilizando-se do DEA, Guner (2015) mensurou quatro dimensões do desempenho

da gestão, entre elas a eficiência operacional de 13 portos da Turquia. Dias et al. (2012)

avaliaram o desempenho dos principais portos ibéricos, em termos de eficiência, e

compararam a evolução entre 2007 e 2009.

A pesquisa de Gárcia-Morales, Baquerizo e Losada (2015) apresenta uma

metodologia para a gestão portuária, baseada na análise da fronteira estocástica, usando

multicritérios para orientar a tomada de decisão com base no trabalho de Félix et al.

(2012). Já o estudo de Caldeirinha e Felício (2014) construiu modelos conceituais de

diferentes tipos de portos com base na relação entre o desempenho e os fatores que os

caracterizam.

Al-Eraqi et al. (2008), em seu estudo, buscaram comparar dois métodos de

Avaliação de Desempenho para analisar a eficiência dos portos, utilizando o DEA. E a

pesquisa de Lu, Park e Huo (2015) teve como objetivo a minimização das entradas e a

maximização de saídas com a aplicação de três modelos, utilizando o DEA, sobre a

eficiência da produtividade para os 20 principais portos de contentores do mundo.

Wu, Liang e Song (2010) e Wu, Yan e Liu (2009) avaliaram a eficiência do

desempenho portuário, também, utilizando o DEA. Fazendo uso dessa mesma ferramenta,

Simões e Marques (2010) avaliaram o desempenho de um conjunto de portos marítimos

europeus.

Madeira Júnior et al. (2012) construíram um modelo para a obtenção do

desempenho dos terminais de contentores, utilizando como instrumento de intervenção a

Metodologia Multicritério de Apoio a Decisão-Construtivista. Wadhwa (1992), em seu

estudo, buscou demonstrar a aplicação de modelos de simulação para a tomada de decisão

relativa à melhoria das operações portuárias e expansão de capacidade. Já Turner (2000)

analisou o impacto da política de leasing no desempenho dos portos de contentores

marítimos, utilizando um modelo estatístico próprio.

Mesmo fazendo uso de ferramentas diferentes, todos os estudos apresentaram

indicadores de desempenho, os quais estão relacionados no Quadro 2.

Quadro 2: Indicadores de Desempenho propostos em Estudos Anteriores

Autores Indicadores Propostos

Liu, Xu e Zhao (2009) Capacidade de carga e descarga dos equipamentos; Número de berços; Área

terminal; Capacidade de armazenagem.

Al-Eraqi et. al. (2008) Comprimento do ancoradouro; Área de armazenamento; Equipamento de

movimentação.

Lu, Park e Huo (2015) Taxa de transferência; Taxa de ocupação cais; Ocupação do cais; Número de

chegadas de navios; Área do porto; Número de berços, Profundidade da água;

Comprimento do cais.

Guner (2015) Área terminal; Comprimentos de cais; Número de ancoradouros; Número de

gruas; Número de rebocadores; Número de empilhadeiras.

Madeira Júnior et. al.

(2012)

Frequência de navios; Número de containers movimentados; Disponibilidade

de vaga; Número médio de containers movimentados por navio; Tempo médio

de espera do navio; Preço médio (produtividade); Proporção de desequilíbrio

de exportação / Total; Proporção de containers cheios / Total.

Wu, Liang e Song (2010) Capacidade de carga dos equipamentos; Número de ancoradouros; Área do

terminal; Capacidade de armazenamento.

Wadhwa (1992) Tempo de retorno; Filas de espera; Atraso durante o carregamento por causa

da maré; Atraso na partida por causa da maré; Navios com atraso por causa da

maré durante o carregamento; Navios com atraso de maré antes da partida;

Comprimento máximo da fila de navios; Carga perdida devido a restrições de

maré; Porto vazio.

Gárcia-Morales,

Baquerizo e Losada

(2015)

Número médio anual de chegadas de navios; Média de crescimento anual do

número de chegadas; Tempo médio de espera; Porcentagem de espera navios;

Número de anos em que o objetivo de gestão é cumprido; Quantidade total de

mercadorias desembarcadas/carregadas.

Bergantino; Musso;

Porcelli (2013)

Toneladas movimentadas; Tamanho dos cais; Número de terminais; Área do

porto para manuseio; Equipamentos de movimentação; PIB por pessoa;

Densidade populacional; Taxa de emprego; Acessibilidade.

Talley, Ng e Marsillac

(2014)

Acessibilidade do porto; Taxa de serviço de carregamento; Taxa de serviço de

descarga; Acidentes ocorridos no porto; Danos em equipamentos; Roubo de

propriedade de carga no porto.

Dias et al. (2012) Número de guindastes de cais; Área do terminal; Número de equipamentos de

estaleiro; Comprimento do cais.

Wu, Yan e Liu (2009) Capacidade de movimentação de carga máquinas; Número de Camas; Área do

terminal; Armazenamento capacidade; Taxa de transferência.

Simões e Marques (2010) Carga geral convencional; Carga contentorizada; Carga roll-on/roll-off;

Granéis sólidos; Carga de granéis líquidos e passageiros; Total das despesas.

Caldeirinha e Felicio

(2014)

Localização e desempenho da região; Tamanho do porto e infraestrutura;

Especialização na movimentação de carga; Transporte serviços; Integração da

cadeia marítima global e governança.

Wu e Liang (2009) Capacidade das máquinas de movimentação de carga; Número de

atracadouros; Área do terminal; Capacidade de armazenamento.

Turner (2000) Tempos entre chegadas dos navios; Capacidade dos navios e Taxas de

movimentação de containers.

Fonte: Elaborado pelos autores.

Percebe-se que a preocupação dos estudos é medir e quantificar a capacidade

operacional do porto, conforme se constata pelo uso dos indicadores: área, número de

berços, disponibilidade de equipamentos, capacidade de carga e descarga e

armazenamento. Vale salientar que a informação oferecida é apenas do status quo de cada

indicador; o que limita a utilidade das informações para tomada de decisão, por não

informarem os níveis de referência – o mínimo aceitável e a meta – de cada indicador e

assim impossibilitarem o conhecimento daqueles que necessitam ser gerenciados.

Outro aspecto que chama atenção é que alguns indicadores utilizados não podem

ser gerenciados pelo porto, tais como: “PIB por pessoa”, “Densidade populacional”,

“Taxa de emprego” e “Localização e desempenho da região”, dentre outros. Ao não

poderem ser gerenciados internamente, evidenciam que a intenção da avaliação proposta

era ser utilizada por instâncias externas para fundamentar decisões quer sejam de alocação

de recursos, para fins de políticas públicas, mas pouco útil para promover melhorias na

gestão interna do porto.

4 APRESENTAÇÃO E DISCUSSÃO DOS RESULTADOS

Esta seção destina-se à apresentação do Modelo construído para Avaliação de

Desempenho (AD) da Gerência de Operações do Porto São Francisco do Sul (GO-PSFS)

e análise dos indicadores utilizados em estudos similares.

4.1 Construção do Modelo de Avaliação de Desempenho utilizando a Metodologia

MCDA-C

O Porto de São Francisco do Sul é uma autarquia do governo do Estado de Santa

Catarina, que foi criada pela Lei nº 1.404, de novembro de 1955. Suas atividades

compreendem as operações portuárias de importação e exportação, objetivando o

escoamento da produção industrial, tecnológica e agrícola da região sul do Brasil.

À Gerência de Operações, enquanto órgão de atividade finalística do Porto, é

incumbida das funções de orientar, executar e fiscalizar as atividades de atracação,

desatracação, armazenagem e movimentação das cargas; desenvolver treinamentos para

os colaboradores da área; coordenar o tráfego e operacionalidade do Porto, entre outras

funções.

O modelo de Avaliação de Desempenho foi construído com base nas informações

obtidas nas entrevistas realizadas com o decisor - Gerente de Operações do Porto São

Francisco do Sul.

A fase de estruturação visa à aprendizagem sobre o contexto e teve início nas

entrevistas nas quais foi informado ao decisor que o objetivo da metodologia MCDA-C

era a geração de conhecimento sobre o contexto e o problema, para em seguida evidenciar

o que para o gestor é importante ser medido, para que suas preferências sejam

incorporadas no modelo. Em seguida, foi perguntado quem são os atores

(VALMORBIDA et al., 2015) envolvidos e intervenientes na gestão da gerência,

conforme demonstrado na Figura 4.

Figura 4: Atores envolvidos na Gestão

Fonte: Dados da Pesquisa (2015).

Além dos atores, foi definido um rótulo para o modelo “Avaliação de

Desempenho da Gerência de Operações do Porto São Francisco do Sul (PSFS)”.

Em seguida, foram identificados os Elementos Primários de Avaliação (EPAs)

que são as primeiras falas do decisor em relação às preocupações associadas à gestão

(ENSSLIN et al., 2013; LONGARAY; ENSSLIN, 2015). Com base na identificação dos

EPAs, foi solicitado ao decisor que expandisse o entendimento sobre a preocupação do

EPA para construir os conceitos (ENSSLIN et al., 2010), ou seja, indicasse a direção de

preferência representada pelos EPAs (polo presente), e qual o oposto psicológico para

entender a consequência subjacente ao objetivo que o decisor deseja evitar. No Quadro

3, são apresentados um recorte dos EPAs e conceitos construídos.

Quadro 3: EPAs e Conceitos Construídos

N. EPAS Conceitos

1 Atracação e Desatracação

de Navios

1-Ter navios atracados/desatracados no menor tempo possível ...

Perder oportunidade de aumentar o número de navios atracados no

Porto

5 Disponibilidade de Práticos

e Rebocadores

5-Monitorar a relação com os práticos e a disponibilidade de

rebocadores... Ter problemas na atracação dos navios

25 Tempo de Permanência dos

Caminhões no Gate

25-Controlar a circulação de caminhões ... Ter fila de caminhões

dificultando as atividades do Porto

29 Pranchas 29-Cumprir a prancha ... Perder oportunidade de aumentar a

produtividade operacional de movimentação no Porto

32 Armazenagem 32-Garantir maior rotatividade de cargas no Armazém ... Perder

oportunidade de aumentar a movimentação do Porto

45 Confiabilidade 45-Garantir a confiabilidade da imagem do Porto ... Ter má

reputação perante a sociedade

48 Colaboradores 48-Promover capacitação contínua para os colaboradores do Porto ...

Ter problemas por manuseio inadequado de cargas e/ou acidentes no

Porto

Fonte: Dados da Pesquisa (2015).

Ao todo, foram construídos 61 conceitos, os quais foram, posteriormente,

agrupados em cinco Áreas de Preocupação, (VALMORBIDA et al., 2015), formando a

Estrutura Hierárquica de Valor (EHV), denominada de Família de Pontos de Vista

Fundamentais (LACERDA et al., 2014) que foi testada quanto à necessidade e suficiência

(VALMORBIDA et al., 2015).

Em seguida, foi solicitado ao decisor que refletisse sobre a EHV afim de verificar

se ela representava as preocupações da Gerência de Operações e se havia algum valor não

contemplado. Como a resposta foi negativa, iniciou-se a organização dos conceitos em

mapas de relações meios-fins (ENSSLIN et al., 2010). A Figura 5 apresenta o mapa para

o Ponto de Vista Fundamental “Pranchas”.

Figura 5: Mapa de relações meios-fins do PVF "Pranchas"

Fonte: Dados da Pesquisa (2015).

Na sequência, foram identificados os clusters e os subclusters formados no mapa

que deram origem à árvore de valor com os Pontos de Vista Elementares (PVEs)

(KEENEY, 1992). Para os PVEs são construídas as escalas ordinais (descritores) que

permitem medir o desempenho das propriedades do contexto que operacionalizam os

objetivos estratégicos apresentados no mapa. Adicionalmente, foram estabelecidos os

níveis de referência (VALMORBIDA et al., 2015) para cada escala ordinal, formando

assim o indicador. A Figura 6 apresenta a EHV e os descritores para o PVF “Pranchas”.

Figura 6: Estrutura Hierárquica de Valor e Descritores construídos - PVF "Pranchas"

Fonte: Dados da Pesquisa (2015).

Ao todo, foram construídos 43 indicadores que representam agora as cinco áreas

de preocupações do gestor em relação à Gerência de Operações. Assim, foi concluída a

fase de estruturação do modelo.

Na fase de avaliação, foi realizada nova interação com o decisor. Nesta, foi

questionado sobre a percepção do gestor em relação à diferença de atratividade entre cada

um dos níveis das escalas ordinais (descritores) construídas na fase de estruturação. Com

auxílio do software MacBeth, as preferências foram incorporadas na matriz de julgamento

(podendo ser muito fraca; fraca, moderada, forte, muito forte e extrema). Assim, foi

possível transformar as escalas ordinais e qualitativas em escalas cardinais e quantitativas

(funções de valor), conforme processo demonstrado na Figura 7.

Figura 7: Processo para transformar as escalas ordinais em cardinais

Fonte: Dados da Pesquisa (2015).

Em seguida, foi realizado o julgamento em relação à diferença de atratividade

entre o conjunto de indicadores do modelo. Esse procedimento é necessário para

identificarem-se as taxas de compensação, que são responsáveis por expressar, segundo

os valores do decisor, a contribuição relativa de cada critério avaliado para o modelo

global (ROY, 1996; ENSSLIN et al., 2010). Primeiro, solicitou-se ao decisor que

refletisse e ordenasse os descritores segundo sua preferência entre os descritores

subordinados a cada ramificação da Árvore de Pontos de Vista. Depois de ordenada a

preferência, novamente fez-se uso do MacBeth para julgamento da diferença de

atratividade entre os critérios. A Figura 8 ilustra esse procedimento.

Figura 8: Processo de julgamento de ordenação de preferência e atratividade

Fonte: Dados da Pesquisa (2015).

Após a construção das funções de valor e das taxas de compensação, pode-se fazer

uso do modelo de agregação aditiva para avaliação do status quo (ENSSLIN;

MONTIBELLER NETO; NORONHA, 2001). A Equação 1 representa o modelo de

agregação realizado para o presente estudo de caso.

Equação 1: Equação do Modelo Global Simplificada

𝑉𝐴𝐷_𝑂𝑝𝑒𝑟𝑎çõ𝑒𝑠_𝑃𝑆𝐹𝑆(𝑎)

= 0,10 ∗ 𝑉Atracação e desatracação de navios(𝑎) + 0,30 ∗ 𝑉𝐶𝑜𝑛𝑡𝑟𝑜𝑙𝑒 𝑑𝑒 𝐺𝑎𝑡𝑒𝑠(𝑎) + 0,10

∗ 𝑉𝐴𝑟𝑚𝑎𝑧𝑒𝑛𝑎𝑔𝑒𝑚(𝑎) + 0,25 ∗ 𝑉𝑃𝑟𝑜𝑑𝑢𝑡𝑖𝑣𝑖𝑑𝑎𝑑𝑒 𝑂𝑝𝑒𝑟𝑎𝑐𝑖𝑜𝑛𝑎𝑙(𝑎) + 0,25

∗ 𝑉Gestão de Pessoal(𝑎)

Na Equação 1, 𝑉(𝑎) = valor global do status quo da Gerência de Operações do

Porto. O (a) corresponde à avaliação de todos os elementos vinculados a cada uma das

áreas de preocupação. O valor de (a) é obtido multiplicando-se a pontuação obtida por

cada indicador pela taxa de compensação estabelecida para cada um dos PVEs e PVFs

que estão acima do indicador.

Após essa etapa, foi possível realizar a avaliação global, com base na coleta de

informações da gerência do Porto, e identificar a contribuição de cada área para a

avaliação global, conforme demonstrado na Figura 9.

Figura 9: Avaliação Global da Gestão da Gerência de Operações do Porto São Francisco do Sul

Fonte: Dados da Pesquisa (2015).

Conforme visto na Figura 9, percebe-se que as áreas “atracação e desatracação de

navios; controle de gates; produtividade operacional” proporcionam boa contribuição à

avaliação global, enquanto que a armazenagem, embora tenha participação de apenas

10% no valor global, apresenta baixa pontuação, o que sugere que tem potencial para

melhoria.

A fim de testar a sensibilidade do modelo, foram realizadas simulações de

cenários para identificar se o desempenho das alternativas poderia alterar o desempenho

global do modelo em virtude de mudanças nas taxas de compensação dos critérios. Foi

possível verificar a ausência de alterações no modelo. Assim, o modelo foi considerado

estável.

Na fase de recomendações, o desempenho dos descritores foi analisado em relação

à pontuação obtida e ao respectivo nível de referência em que se encontram (nível de

excelência, de mercado (ou competitivo e comprometedor), conforme apresentado na

Figura 6. Essa análise identifica quais são as áreas que comprometem o desempenho

global e que esforços devem ser alocados. Assim, para os indicadores que apresentaram

desempenho comprometedor, foram propostas ações e estratégias para alavancar o

desempenho global (ENSSLIN et al., 2010; BORTOLUZZI; ENSSLIN; ENSSLIN,

2011).

Dos 43 descritores construídos no modelo, cinco estão com desempenho em nível

de Excelência, 35 no nível de Mercado e três encontram-se no nível Comprometedor. O

Quadro 4 apresenta ações de melhorias propostas para alavancar o desempenho da

gerência nesses três indicadores.

Quadro 4: Ações de Melhoria para Descritores Com Desempenho Comprometedor

1. Indicador: Carga Geral (PVE Eficiência no Carregamento)

Média de toneladas de cargas granel carregadas por hora, no último mês.

Ações Propostas:

Agilizar entrada de caminhões no Porto;

Diminuir o tempo de espera dos caminhões no gate;

Criar procedimentos que agilizem o processo de carga;

Motivar e capacitar o pessoal para agilidade no carregamento;

Ter equipamentos mais eficientes e ágeis para o carregamento das cargas.

Responsável Gerente de Operações do Porto

Prazo de Atendimento Semestralmente

Impacto no descritor Passaria do N1 (Pontuação -49) para o N2 (Pontuação 0)

2. Indicador: Carga Geral (PVE Eficiência no Descarregamento)

Média de toneladas de outras cargas granel descarregadas por hora, no último mês.

Ações Propostas

Criar procedimentos que agilizem o processo de descarga;

Motivar e capacitar o pessoal para agilidade no descarregamento;

Ter equipamentos mais eficientes e ágeis para o descarregamento das cargas;

Responsável Gerente de Operações do Porto

Prazo de Atendimento Semestralmente

Impacto no descritor Passaria do N1 (Pontuação -49) para o N2 (Pontuação 0)

3. Indicador: Capacitação de Pessoal (PVF Gestão de Pessoal)

Carga horária média de capacitação disponibilizada pelo Porto para os colaboradores da Gerência, no

último ano.

Ações Propostas

Realizar parcerias com empresas promotoras de cursos para a capacitação dos funcionários; (não envolve

recursos financeiros)

Disponibilizar cursos relacionados às atividades portuárias desenvolvidas; (envolve recursos financeiros)

Promover palestras motivacionais (envolve recursos financeiros);

Proporcionar treinamento direcionado às atividades dos funcionários; (envolve recursos financeiros)

Discutir com os funcionários suas metas e fornecer feedback dos seus resultados (não envolve recursos

financeiros).

Responsável Gerente de Operações do Porto

Prazo de Atendimento Anualmente

Impacto no descritor Passaria do N5 (Pontuação -58) para o N3 (Pontuação +47)

Fonte: Dados da Pesquisa (2015).

Como se percebe, as situações, antes vistas como problemáticas e fora do controle

do gestor, apresentam agora oportunidades de melhorias no contexto gerido. Essa fase

estimula a geração do conhecimento baseado nas consequências relativas às decisões do

gestor (KEENEY, 1992; ROY, 1993; ROY, 1996).

Entre os três descritores com desempenho comprometedor, percebe-se que dois

estão relacionados com a Eficiência no Carregamento e no Descarregamento das

Pranchas de Carga Geral, em que o Regulamento do Porto determina, como mínimo,

8.000 toneladas de carga geral carregadas/descarregadas, e o desempenho do Porto está

inferior a 7.000 toneladas.

Além desses descritores, a Capacitação de Pessoal encontra-se também com

desempenho comprometedor. Chama atenção a necessidade de ações de melhoria para

esse descritor, pois, além do seu desempenho ser comprometedor, este é um dos

indicadores com maior contribuição para o desempenho global da Gerência de Operações,

ou seja, seu desempenho afeta significativamente o desempenho global. Adicionalmente

à Capacitação de Pessoal, outros dois descritores destacam-se por terem uma contribuição

significativa e também se encontram na área da Gestão Pessoal: Eficiência e

Desempenho. O descritor Eficiência já encontra-se com desempenho de Excelência,

motivo pelo qual o desafio do gestor é mantê-lo, assegurando que as ações já

implementadas tenham continuidade. Para o descritor Desempenho, que encontra-se no

nível de Mercado, ações foram propostas para que a excelência seja alcançada no médio

prazo, conforme pode-se observar no Quadro 5.

Quadro 5: Ações de Melhoria para Descritores Com Maior Contribuição Global

Indicador: Desempenho (PVF Gestão de Pessoal)

Volume de carga / descarga média por colaborador da Gerência, no último mês (em toneladas)

Ações Propostas

Criar procedimentos que agilizem o processo de carga e descarga

Responsável Gerente de Operações do Porto

Prazo de Atendimento Anualmente

Impacto no descritor Passaria do N3 (Pontuação +45) para o N4 (Pontuação +100).

Fonte: Dados da Pesquisa (2015).

Em relação ao desempenho global, se todas as ações de melhoria recomendadas

forem implementadas, tanto nos descritores com desempenho Comprometedor quanto

nos com maior contribuição, o desempenho global da Gerência de Operações passaria de

48,36 para 62,89 pontos. Assim, torna-se essencial que tais ações sejam incorporadas pela

Gerência.

4.2 Cotejamento com Estudos Anteriores

Durante a fase de estruturação do modelo, as preocupações do decisor, no caso, o

gerente de Operações do Porto de São Francisco do Sul, foram consideradas para o

desenvolvimento de descritores e indicadores, e, para construção de um modelo de

avaliação, o desempenho que considerasse as peculiaridades e características específicas

do Porto conforme a percepção do decisor.

No entanto, essas preocupações são divergentes das preocupações encontradas na

literatura, uma vez que este estudo de caso trata da construção de um modelo de Avaliação

de Desempenho construtivista para auxiliar a tomada de decisão do gerente de Operações.

Assim, além das preocupações, os indicadores propostos pela literatura também são

divergentes dos indicadores construídos com base nas preocupações do decisor. O Quadro

6 compara os indicadores propostos pela literatura com os que foram construídos pelo

modelo no estudo de caso.

Quadro 6: Indicadores Propostos pela Literatura x Indicadores do Estudo de Caso

Autores Indicadores Propostos pela Literatura

Indicadores do Estudo de

Caso

Indicadores

Propostos

pela

Literatura

Similares aos

Utilizados no

Estudo de

Caso

Lu, Park e Huo

(2015); Gárcia-Morales, Baquerizo

e Losada (2015)

Número de chegadas de navios; Número médio anual de

chegadas de navios;

Quantidade de navios

atracados mensalmente

Madeira Júnior et.

al. (2012); Gárcia-Morales, Baquerizo

e Losada (2015)

Tempo médio de espera; Tempo médio de espera para atracação a partir da chegada

do navio na Barra / Canal

Indicadores

Propostos

pela

Literatura

não

Utilizados no

Estudo de

Caso

Liu, Xu e Zhao

(2009); Al-Eraqi et.

al. (2008); Lu, Park e Huo (2015);

Guner (2015);

Madeira Júnior et. al. (2012); Wu,

Liang e Song

(2010); Wadhwa (1992); Gárcia-

Morales, Baquerizo

e Losada (2015); Bergantino; Musso;

Porcelli (2013);

Talley, Ng e Marsillac (2014);

Dias et al. (2012);

Wu, Yan e Liu (2009); Simões e

Marques (2010);

Caldeirinha e Felicio (2014); Wu

e Liang (2009); Turner (2000).

Capacidade de carga e descarga dos equipamentos;

Capacidade de armazenagem; Capacidade dos navios;

Número de berços; Área do porto; Área de armazenamento; Área do porto para manuseio; Tamanho do porto e

infraestrutura; Porto vazio; Comprimento do ancoradouro;

Comprimento do cais; Ocupação do cais; Equipamento de movimentação; Frequência de navios; Disponibilidade de

vaga; Número de ancoradouros; Número de gruas; Número

de rebocadores; Número de empilhadeiras; Número de guindastes de cais; Número de equipamentos do estaleiro;

Número de containers movimentados; Equipamentos de

movimentação; Número médio de containers movimentados por navio; Tempo de retorno; Filas de

espera; Comprimento máximo da fila de navios; % de

espera de navios; Tempos entre chegadas dos navios; Atraso durante o carregamento por causa da maré; Atraso

na partida por causa da maré; Navios com atraso por causa

da maré durante o carregamento; Navios com atraso de maré antes da partida; Carga perdida devido a restrições de

maré; Acidentes ocorridos no porto; Taxa de serviço de

descarga; Taxa de transferência; Taxas de movimentação de containers. Taxa de ocupação cais; Carga geral

convencional; Carga contentorizada; Carga roll-on/roll-off; Granéis sólidos; Carga de granéis líquidos e passageiros;

Total das despesas; Especialização na movimentação de

carga; Transporte serviços; Integração da cadeia marítima global e governança; Profundidade da água; Preço médio

(produtividade); Proporção de desequilíbrio de exportação

/ Total; Proporção de containers cheios / Total.

-

Indicadores

não

Propostos

pela

Literatura

Utilizados no

Estudo de

Caso

- - Fiscalização de órgãos internos

/ intervenientes; Programação

prévia dos navios atracados / desatracados; Condições

climáticas; Atendimento ao

padrão ate; Tempo de liberação dos caminhões; Programação

prévia dos caminhões; Entrada

e saída de caminhões; Danos ambientais; Tempo de

nacionalização das cargas; Tempo de carregamento das

cargas; Agilidade na

documentação; Atendimento das pranchas; Desempenho do

pessoal.

Fonte: Dados da Pesquisa (2015).

Com base no Quadro 4, percebe-se que a maioria dos indicadores construídos

neste estudo não é utilizada pela literatura científica sobre o tema, o que é consequência

do viés construtivista desta pesquisa, que, ao personalizar o modelo ao contexto,

considera apenas as preocupações relevantes do ambiente do Porto de São Francisco do

Sul, segundo a percepção do gestor.

Além disso, percebe-se que diversos indicadores propostos pela literatura não são

gerenciáveis, como, por exemplo, Capacidade de carga e descarga dos equipamentos;

Capacidade de armazenagem; Capacidade dos navios; Número de berços; Área do Porto;

Área de armazenamento; e Área do Porto para manuseio. Dessa forma, esses indicadores

apresentam limitações gerenciais, uma vez que as ações que a Gerência de Operações

passa a tomar para melhorar o desempenho de tais indicadores são limitadas.

A literatura também apresenta indicadores interessantes e passíveis de

gerenciamento que não foram considerados no contexto do Porto de São Francisco do

Sul, pois não faziam parte das preocupações atuais do gestor, como, por exemplo, número

de anos em que o objetivo de gestão é atingido.

Entre os indicadores similares entre a literatura e este estudo de caso estão a

quantidade de navios atracados e o tempo médio de espera dos navios, os quais são

importantes para a Gestão de Operações, uma vez que uma das suas preocupações é

atracar mais navios em menos tempo. Assim, como ações para aumentar a quantidade de

navios atracados e diminuir o tempo médio de espera dos navios são necessárias, torna-

se essencial medir e gerenciar tais indicadores.

Outro aspecto analisado, em relação aos estudos anteriores, foram as ferramentas

utilizadas. Constatou-se que 56% dos estudos anteriores encontrados para Avaliação de

Desempenho das operações portuárias utilizaram a Análise Envoltória de Dados (DEA).

Ainda 31% dos trabalhos abordaram a gestão das operações do Porto de forma estatística.

Percebe-se que o ponto forte desses trabalhos é a realização da Avaliação do

Desempenho. O presente estudo de caso utilizou a metodologia MCDA-C, que também

realiza a Avaliação do Desempenho. No entanto, os trabalhos anteriores não priorizam a

estruturação do problema e proporcionar ações de melhoria do desempenho, aspectos

estes que são contemplados pela metodologia ora proposta. A MCDA-C realiza a

estruturação do problema antes de sua resolução, sendo realizada com base nas entrevistas

do gestor e leva em conta aspectos que, segundo a percepção do gestor, são importantes

no contexto e podem ser tomadas ações para melhoria. Aspectos que não podem ser

gerenciados internamente pelo gestor não são incluídos no modelo, o que ocorre em

alguns dos estudos anteriores.

Além disso, a metodologia MCDA-C preocupa-se também com a identificação

dos níveis de referência de desempenhos individuais esperados, para posteriormente

confrontá-los com os desempenhos encontrados no contexto gerenciado. Ainda,

preocupa-se com recomendações de aperfeiçoamento para os indicadores em nível

comprometedor, elencando ações a serem desenvolvidas para melhoria do desempenho

atual. Esse aspecto não foi encontrado nos trabalhos anteriores, o que evidencia a

diferenciação da metodologia MCDA-C das demais observadas.

5 CONSIDERAÇÕES FINAIS

Este trabalho teve como objetivo construir um modelo multicritério de Avaliação

de Desempenho para apoiar a gestão e as tomadas de decisões da Gerência de Operações

do Porto de São Francisco do Sul/SC.

Para dar conta da construção do modelo personalizado para gestão da Gerência de

Operações do Porto, inicialmente, foram realizadas entrevistas não estruturadas com o

gestor da Gerência de Operações do Porto, onde procurou-se conhecer as operações sob

a responsabilidade da gerência em questão. Com base nas entrevistas, foram identificados

os aspectos considerados relevantes pelo gestor de Operações do Porto de São Francisco

do Sul. Assim, foram construídos 42 Elementos Primários de Avaliação (EPA).

Ao questionar o gestor sobre a preocupação relacionada ao EPA, foi possível

expandir o conhecimento sobre a preocupação associada e o seu oposto psicológico, dos

quais resultaram na construção de 61 conceitos, relacionados a cinco áreas de

preocupação: atracação e desatracação de navios; controle de gates; armazenagem;

produtividade operacional; e gestão de pessoal. Esses conceitos foram agrupados em

mapas de relações meios-fins.

Após esse agrupamento, foram construídos indicadores para os 43 aspectos

operacionais identificados nos mapas. Para esses indicadores foram construídas escalas

ordinais e apontados níveis de referência (excelência, competitivo ou comprometedor).

Em seguida, foram incorporados juízos de valor do gestor às escalas ordinais construídas.

Esse juízo de valor deu-se pela indicação de diferença de atratividade entre um nível e

outro dos indicadores, originando as escalas cardinais. O julgamento ainda foi necessário

para identificação das taxas de compensação entre os critérios do modelo. Com a

incorporação dessas informações quantitativas aos indicadores do modelo, antes

qualitativos, foi possível a avaliação global, que indicou uma pontuação de 48 pontos,

numa escala de 0 a 100. Ainda foi possível realizar a avaliação em nível estratégico por

área de preocupação.

Após a identificação do status quo na fase de avaliação, foi possível identificar os

aspectos da Gestão de Operações do Porto com desempenho que comprometem a

avaliação global e os com maior taxa de contribuição global. Para estas, foram

recomendadas ações de aperfeiçoamento que, se implantadas, conseguiriam aumentar a

avaliação global de 48 para 62 pontos. Nessa fase, foi possível auxiliar o gestor a refletir

sobre o contexto e sobre as atividades realizadas pelo Porto com maior contribuição

global que indicam aspectos que, embora estejam com desempenho dentro do nível

competitivo, devem ser monitorados pelo gestor, a fim de permanecer com desempenho

dentro do esperado, ou melhorar para não comprometer outras atividades da gerência.

Realizou-se também cotejamento dos indicadores e ferramentas utilizados na

literatura e neste estudo de caso para gestão operacional portuária. Quanto aos

indicadores, foi possível constatar semelhanças e divergência nos construídos por este

estudo de caso e os encontrados na literatura, conforme demonstrado na seção 4.2. Esse

resultado já era esperado, à medida que este estudo se encarrega da personalização de um

modelo de apoio à gestão segundo as percepções do gestor, que possivelmente serão

diferentes das percepções de outra pessoa. Quanto à análise das ferramentas de Avaliação

de Desempenho utilizadas nos estudos anteriores, foi possível identificar que a maioria

delas preocupa-se apenas com a fase de avaliação, também observada na metodologia

MCDA-C. No entanto, falham nas etapas de estruturação e de recomendações,

contempladas na MCDA-C, que são capazes de envolver as preferências e percepções do

gestor no processo da estruturação do problema de modo a identificar os aspectos

estratégicos e operacionais a serem gerenciados, medir o desempenho e gerar ações de

aperfeiçoamento para os aspectos comprometedores.

Na percepção dos autores deste trabalho, com a construção do modelo

personalizado para a gestão da Gerência de Operações do Porto São Francisco do Sul, o

gestor agora dispõe de uma ferramenta que contribui para apoiar as decisões. Esse apoio

às tomadas de decisões consubstancia-se à medida que estão evidenciados, no modelo, os

aspectos importantes a serem gerenciados e consequentemente levados em conta na

tomada de decisões, bem como o desempenho atual e o esperado. Com essa identificação,

é possível tomar uma decisão fundamentada nos aspectos considerados importante por

ele e consequentemente justificar as decisões tomadas.

Este trabalho limita-se à construção de um modelo singular para apoiar a gestão

da Gerência de Operações do Porto São Francisco do Sul/SC no que tange às decisões a

serem tomadas. Sendo assim, sua replicação a outros trabalhos necessita de adaptações.

Sugerem-se para futuras pesquisas a aplicação da metodologia MCDA-C, em

outras áreas e no contexto global do porto marítimo; o acompanhamento de séries de

desempenho da Gerência de Operações do Porto São Francisco do Sul; a construção de

um modelo em um porto privado e comparado com o presente estudo; e a construção de

um modelo em outro porto público e comparado com o presente estudo.

REFERÊNCIAS

AL-ERAQI, A. S.; MUSTAFA, A.; KHADER, A. T.; BARROS, C. P. Efficiency of

Middle Eastern and East African seaports: application of DEA using window analysis.

European Journal of Scientific Research, v. 23, n. 4, p. 597-612, 2008.

BERGANTINO, A. S.; MUSSO, E.; PORCELLI, F. Port management performance and

contextual variables: Which relationship? Methodological and empirical issues.

Research in Transportation Business & Management, v. 8, p. 39-49, 2013.

BORTOLUZZI, S. C.; ENSSLIN, S. R.; ENSSLIN, L. Avaliação de desempenho

multicritério como apoio à gestão de empresas: aplicação em uma empresa de serviços.

Gestão & Produção, v. 18, n. 3, p. 1-18, 2011.

CALDEIRINHA, V. R.; FELÍCIO, J. A. The relationship between ‘position-port’,‘hard-

port’and ‘soft-port’characteristics and port performance: conceptual models. Maritime

Policy & Management, v. 41, n. 6, p. 528-559, 2014.

CAUDELI, J. A. A.; FILLOL, A. G.; RIPOLL-FELIU, V. M. Análisis del proceso de

implantación de un sistema de gestión estratégica: estudio de caso del Cuadro de Mando

Integral en la Autoridad Portuaria de Valencia. Spanish Journal of Finance and

Accounting/Revista Española de Financiación y Contabilidad, v. 38, n. 142, p. 189-

212, 2009.

CASTRO, C. M. A prática da pesquisa. São Paulo: McGraw-Hill do Brasil, 1977.

CRESWELL, J. W. Projeto de Pesquisa: Métodos Qualitativos, Quantitativos e Mistos.

Tradução: Magda Lopes. Porto Alegre: Artmed, 2010. 296 p.

DIAS, J. C. Q.; AZEVEDO, S. G.; FERREIRA, J. M.; PALMA, S. F. Seaport

performance comparison using data envelopment analysis: the case of Iberian container

terminals. International Journal of Business Performance Management, v. 13, n. 3-

4, p. 426-449, 2012

DOI, M.; TIWARI, P.; ITOH, H. A computable general equilibrium analysis of efficiency

improvements at Japanese ports. Review of Urban & Regional Development Studies,

v. 13, n. 3, p. 187-206, 2001.

DUTRA, A.; RIPOLL-FELIU, V. M.; FILLOL, A. G.; ENSSLIN, S. R.; ENSSLIN, L.

The construction of knowledge from the scientific literature about the theme seaport

performance evaluation. International Journal of Productivity and Performance

Management, v. 64, n. 2, p. 243-269, 2015.

ENSSLIN, L./ GIFFHORN, E.; ENSSLIN, S. R.; PETRI, S. M.; VIANNA, W. B.

Avaliação do Desempenho de Empresas Terceirizadas com o Uso da Metodologia

Multicritério de Apoio à Decisão- Construtivista. Revista Pesquisa Operacional, v. 30,

n. 1, p. 125-152, 2010.

ENSSLIN, L.; DUTRA, A; ENSSLIN, S. R.; MCDA: A Construtivist Approach to the

Management of human Resources at a Governmental Agency. International

Transactions in Operational Research- ITORS, v. l7, p. 79-100, 2000.

ENSSLIN, L.; MONTIBELLER NETO, G.; NORONHA, S. M. Apoio à Decisão.

Florianópolis: Insular, 2001.

ENSSLIN, L.; ENSSLIN, S. R.; PINTO, H. M.; Processo de investigação e Análise

bibliométrica: Avaliação da Qualidade dos Serviços Bancários. RAC – Revista de

Administração Contemporânea, v. 17, n. 3, p. 325-349, 2013.

ENSSLIN, S. R.; ENSSLIN, L.; IMLAU, J. M.; CHAVES, L. C. Processo de

mapeamento das publicações científicas de um tema: portfólio bibliográfico e análise

bibliométrica sobre avaliação de desempenho de cooperativas de produção agropecuária.

Revista de Economia e Sociologia Rural (Impresso), v. 52, p. 587-608, 2014.

ENSSLIN, S. R.; ENSSLIN, L.; BACK, F.; LACERDA, R. T. O.; Improved decision

aiding in human resource management: a case using constructivist multi-criteria decision

aiding. The International Journal of Productivity and Performance Management, v.

62, p. 735-757, 2013.

GARCÍA-MORALES, R. M.; BAQUERIZO, A.; LOSADA, M. Á. Port management and

multiple-criteria decision making under uncertainty. Ocean Engineering, v. 104, p. 31-

39, 2015.

GUNER, S. Investigating infrastructure, superstructure, operating and financial

efficiency in the management of Turkish seaports using data envelopment analysis.

Transport Policy, v. 40, n. 0, p. 36-48, 2015.

KEENEY, R. L. Value Focused-Thinking: A Path to Creative Decision-making.

Cabridge: Harvard Univ. Press, 1992.

LACERDA, R. T. D. O.; ENSSLIN, L.; ENSSLIN, S. R.; DUTRA, A. A Constructivist

Approach to Manage Business Process as a Dynamic Capability. Knowledge and

Process Management, v. 21, n. 1, p. 54-66, 2014. ISSN 1099-1441. Disponível em:

<http://dx.doi.org/10.1002/kpm.1428>.

LAM, J. S. L.; SONG, D.-W. Seaport network performance measurement in the context

of global freight supply chains. Polish Maritime Research, v. 20, n. Special Issue, p. 47-

54, 2013.

LIU, W.; XU, H.; ZHAO, X. Agile service oriented shipping companies in the container

terminal. Transport, v. 24, n. 2, p. 143-153, 2009.

LONGARAY, A. A.; ENSSLIN, L. Use of Multi-Criteria Decision Aid to Evaluate the

Performance of Trade Marketing Activities of a Brazilian Industry. Management and

Organizational Studies, v. 2, p. 15-31, 2015.

LU, B.; PARK, N. K.; HUO, Y. The evaluation of operational efficiency of the world's

leading container seaports. Journal of Coastal Research, p. 248-254, 2015.

MADEIRA JÚNIOR, A. G.; CARDOSO JÚNIOR, M. M.; BELDERRAIN, M. C. N.;

CORREIA, A. R.; SCHWANZ, S. H. Multicriteria and multivariate analysis for port

performance evaluation. International Journal of Production Economics, v. 140, n. 1,

p. 450-456, 2012.

MELNYK; Steven A.; BITITCI, Umit; PLATTS, Ken; TOBIAS, Jutta; ANDERSEN,

Bjørn. Is performance measurement and management fitfor the future? Management

Accounting Research, v. 25, p. 173-186, 2014.

RICHARDSON, R. J. Pesquisa Social: métodos e técnicas. São Paulo: Atlas, 1999.

ROY, B. Decision science or decision-aid science? European Journal of Operational

research, v. 66 p. 184-203, 1993.

ROY, B. Multicriteria Methodology for Decision Aiding. Kluwer Academic Publisher,

1996.

SCHELLINCK, T.; BROOKS, M. R. Improving port effectiveness through

determinance/performance gap analysis. Maritime Policy & Management, v. 41, n. 4,

p. 328-345, 2014.

SILVA, R. V.; ENSSLIN, S. R.; RIPOLL-FELIU, V. M.; SOLER, C. C. E-government

and Public Accounting Information: Bibliometric and Systemic Analysis. International

Research Journal of Finance and Economics, v.1, Issue 122, ISSN: 1450-2887, p.76-

91, 2014.

SIMÕES, P.; MARQUES, R. C. Seaport performance analysis using robust non-

parametric efficiency estimators. Transportation Planning and Technology, v. 33, n.

5, p. 435-451, 2010.

TALLEY, W. K.; NG, M.; MARSILLAC, E. Port service chains and port performance

evaluation. Transportation Research Part E-Logistics and Transportation Review,

v. 69, p. 236-247, 2014.

TASCA, J. E.; ENSSLIN, L.; ENSSLIN, S. R.; ALVES; M. B. M. An approach for

selecting a theoretical framework for the evaluation of training programs. Journal of

European Industrial Training, ISSN: 0309-0590, v. 34, n. 7, p. 631-655, 2010.

TURNER, H. S. Evaluating seaport policy alternatives: a simulation study of terminal

leasing policy and system performance. Maritime Policy & Management, v. 27, n. 3, p.

283-301, 2000.

VALMORBIDA, S. M. I., ENSSLIN, S. R., ENSSLIN, L. Avaliação de Desempenho

para Auxílio na Gestão de Universidades Públicas: Análise da Literatura para

Identificação de Oportunidades de Pesquisas. Contabilidade, Gestão e Governança, v.

17, n. 3, p.4–28, 2014.

VALMORBIDA, S. M. I.; ENSSLIN, S. R.; Avaliação de Desempenho de Rankings

Universitários: Revisão da Literatura e diretrizes para futuras investigações. In: Anais do

Encontro da ANPAD (XXXIX EnANPAD 2015) Belo Horizonte-MG. 2015.

VALMORBIDA, S. M. I.; ENSSLIN, S. R.; ENSSLIN, L.; RIPOLL-FELIU, V. M.

University Management with Focus on Multicriteria Performance Evaluation: Illustration

in the Brazilian Context. GCG: Journal of Globalization, Competitiveness &

Governability, v. 9, n. 2, p. 61-75. May-Aug. 2015. ISSN: 1988-7116.

WADHWA, L. C. Planning operations of bulk loading terminals by simulation. Journal

of waterway, port, coastal, and ocean engineering, v. 118, n. 3, p. 300-315, 1992.

WAICZYK, C.; ENSSLIN, S. R. Avaliação de produção científica de pesquisadores:

mapeamento das publicações científicas. Revista Contemporânea de Contabilidade.

ISSN 2175-8069, v. 10, n. 20, p. 97-112, 2013.

WOO, S.-H.; PETTIT, S.; BERESFORD, A. K. C. Port evolution and performance in

changing logistics environments. Maritime Economics & Logistics, v. 13, n. 3, p. 250-

277, 2011.

WU, J.; LIANG, L. Performances and benchmarks of container ports using data

envelopment analysis. International Journal of Shipping and Transport Logistics, v.

1, n. 3, p. 295-310, 2009.

WU, J.; LIANG, L.; SONG, M. Performance based clustering for benchmarking of

container ports: an application of DEA and cluster analysis technique. International

Journal of Computational Intelligence Systems, v. 3, n. 6, p. 709-722, 2010.

WU, J.; YAN, H.; LIU, J. Groups in DEA based cross-evaluation: An application to Asian

container ports. Maritime Policy & Management, v. 36, n. 6, p. 545-558, 2009.