ISCTE - Seminário em Business Intelligence e …home.iscte-iul.pt/~earc/Seminars/ISCTE 18_10_2016...

© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016

1

Overcoming common critical mistakes in decision-making:

The web-based qualitative MACBETH socio-technical approach

Carlos A. Bana e Costa

http://web.tecnico.ulisboa.pt/carlosbana

ISCTE - Seminário em Business Intelligence e

Sistemas Integrados de Apoio à Decisão


2


3

Introdução

Decision makers in all organisations

continually face the difficult task

of balancing benefits against costs

and the risks of realising the benefits.


4

Análise de Decisão: Porquê?

There Are Limits to Working Memory Capacity. By Andrew Angus on May 26, 2011


5

Boa prática: dividir para conquistar.

Mas… ordenar é suficiente?

… depois, pontue as propostas atribuindo a cada uma delas uma pontuação igual ao número de propostas consideradas piores…

Total

11

12

13

6

Ordenações Crit.1 Crit.2 Crit.3 Crit.4 Crit.5 Crit.6 Crit.7

Proposta A 3 0 1 3 0 1 3

Proposta B 2 3 0 2 3 0 2

Proposta C 1 2 3 1 2 3 1

Proposta D 0 1 2 0 1 2 0

Procedimento usado para avaliar quatro propostas (A, B, C, D): Método de Borda. Primeiro, ordene as propostas…

0 pontos4º

1 ponto3º

2 pontos2º

3 pontos1º

finalmente, escolha a proposta com mais pontos


Proposta A 1o 4o 3o 1o 4o 3o 1o

Proposta B 2o 1o 4o 2o 1o 4o 2o

Proposta C 3o 2o 1o 3o 2o 1o 3o

Proposta D 4o 3o 2o 4o 3o 2o 4o

© Carlos A. Bana e Costa IE, Madrid 11 de Outubro 2016 Lisbon

… a ordenação final das propostas seria invertida!

6

Observe que C domina D. No entanto, ao aplicar-se o método de Borda apenas para

as propostas A, B e C…

E se uma proposta "irrelevante" for excluída?

0 pontos

Ordenações Crit.1 Crit.2 Crit.3 Crit.4 Crit.5 Crit.6 Crit.7 Total

Proposta A 2 0 1 2 0 1 2

Proposta B 1 2 0 1 2 0 1

Proposta C 0 1 2 0 1 2 0

3º

1 ponto2º

2 pontos1º

6

7

8


Proposta A 1o 4o 3o 1o 4o 3o 1o

Proposta B 2o 1o 4o 2o 1o 4o 2o

Proposta C 3o 2o 1o 3o 2o 1o 3o

Proposta D 4o 3o 2o 4o 3o 2o 4o

3o 2o 3o 2o

3o 3o


7

Não chega ordenar …

B 3 B 2

A 0

C 2 C 1

D 1

A 0

1 1

2

1

Não independência relativamente

a “alternativas restantes”

(apenas existe informção ordinal)

Porquê?

A diferença de atratividade entre B e C é

maior, igual ou menor do que

a diferença de atratividade entre C e A ?

Obter informação sobre

diferenças de atratividade

(informação preferencial cardinal)

O que fazer?


8

Eleger um vencedor: qual escolher?

8 votantes 7 votantes 4 votantes 4 votantes 2 votantes

A B E D CC D C E ED C D B DB E B C BE A A A A

Método do escrutínio uninominal a duas voltas B

Quem é eleito?

AMétodo do escrutínio uninominal por maioria de votos

Método do escrutínio uninominal com eliminação sucessiva de um candidato E

Método de Borda (1770) D

CMétodo de Condorcet (Marquis de Condorcet, 1785)

Sistema de voto:

Ordenação dos

candidatos por

parte dos

votantes

Exemplo com 5 candidatos de A a E e 25 votantes


9

Teorema da Impossibilidade de Arrow (1951)

k candidatos (k > 2)

m votantes (m > 1), fornecendo cada um deles uma ordenação dos k candidatos

Será possível encontrar um método de agregação de todas as preferências

individuais numa preferência coletiva tal que:

1. os candidatos resultem ordenados

2. respeite a unanimidade

3. um candidato resultar preferível a outro não dependa dos restantes

4. o método não é a ditadura ? Resposta: NÃO!!


10

Complexidade Incerteza

Determinada por:

• número de fatores

(objetivos, atores,

recursos, opções,

consequências ...)

e os seus ritmos de

variação;

• número de relações entre

fatores

(facilidade de identificação

dos fatores-chave para a

tomada de decisão).

Fontes de incerteza:

• Incerteza sobre os ‘valores’:Objetivos pouco claros.

• Incerteza sobre o futuro:Informação escassa.

• Incerteza sobre o contexto: Informação pouco precisa.

• Incerteza sobre decisões relacionadas:

• Falta de coordenação.


11

Ponderação de critérios...

Ralph L. Keeney

1992

Considerando a limpeza de antigos locais de armazenamento

de resíduos perigosos, ordene os seguintes critérios por ordem

de importância:

• custos da limpeza;

• potencial perda de vidas humanas ou doença devido ao perigo;

• danos potenciais causados ao meio ambiente (flora e fauna).

2 biliões de euros são menos importantes que:

- o agravamento das dificuldades respiratórias de 6 pessoas?

ou

- a destruição de 1 hectare de pinhal?

Erro critico mais comum


12

Intervalos de impacto devem ser considerado na

ponderação

Keeney, 1992 (p.279)

Evitar o ‘erro crítico mais

comum’


13

Ponderação de critérios...

Afinal, o que é mais

importante, o custo

de construção ou

prazo?


Na estruturação:

• Um indicador não é um critério

• Meios não são fins; causas não são efeitos

• Redundância de critérios conduz a resultados desajustados

• Escassez de dados sobre impactos num aspeto

não implica que deva ser retirado da análise

Na avaliação:

• Impacto não é valor. Normalizar não é medir valor

• Subjetividade não é arbitrariedade

• Atribuir pesos aos critérios apenas com base na noção intuitiva

de importância relativa é o erro crítico mais comum

• Ordenar não é medir valor; dizer que A é melhor do que B não permite concluir se é pouco ou muito melhor

• Somar escores ordinais produz resultados globais arbitrários

Na elaboração de recomendações:

• Um método não é um decisor; os outputs de um modelo não são inquestionáveis

Erros críticos mais comuns

14

O modelo deve ser simples,

mas não simplista


Uma visão oposta da tomada de decisão …

“Nothing good ever came from a management decision.

Avoid making decisions whenever possible.

They can only get you in trouble.”

• Aja de forma confusa

• Forme um grupo de trabalho com pessoas demasiado

ocupadas para se reunirem

• Mande o pessoal recolher mais informação

• Perca documentos que requerem a sua aprovação

• Diga que está à espera de outro para acelerar o

processo

• Faça anotações ilegíveis nas margens dos

documentos que requerem uma decisão sua

Dogbert

1996

15


Os processos de avaliação podem ser prejudicados

por procedimentos analíticos inconsistentes

Processo analítico

• Adoptar técnicas quantitativas sem

base teórica

• Adoptar técnicas quantitativas

robustas mas cujas condições

teóricas são violadas durante a

aplicação

• Adoptar técnicas quantitativas

robustas mas que não se ajustam às

características do problema em

análise

• Crer que os resultados da aplicação

de métodos analíticos são sempre

mais correctos do que as decisões

intuitivas.

• Não independência face à presença

de “opções irrelevantes”

• Inconsistência na ponderação de

critériosF

on

tes d

e

inco

nsis

tên

cia

Pro

ble

mas


17Os métodos de avaliação

devem ter

uma sólida base teórica

…in the same way that we rely so firmly upon

the natural sciences for our technological

advances.Elliot Jaques

Requisite Organization, 1988


18

Medição de desempenho

Avaliação e priorização de projetos

Alocação de recursos e budgeting

Desenho de políticas e escolha estratégica

Análise de risco

Tomada de decisão em grupo e negociação

… tendo em conta

dados reais, factos,

julgamentos

informados e

incerteza

Estruturação

Avaliação

Recomendações

… para ajudar a fazer melhores avaliações e escolhas


…avaliação e seleção de

fornecedores

para várias instituições nacionais

e internacionais

…melhorar as matrizes de risco e a

gestão

testado numa empresa de geração de energia na Suíça

… priorização e alocação de recursos

de forma transparente

e.g. para uma empresa

farmacêutica

…seleção de um portfolio

e.g. para uma empresa portuguesa

de distribuição de eletricidade

… através do desenvolvimento de soluções à medida

19


… usando sistemas de apoio à decisão

20

M-MACBETH Welphi


21

• Objetivo: Melhorar os processos de avaliação e tomada de decisão

• Quadro metodológico: Metodologia multicritério

• Tipo de abordagem multicritério: Medição de diferenças de valor

• Tipo de modelação: Construção de modelos quantitativos de avaliação

com base em juízos qualitativos de diferenças de valor

• Software: Sistemas de apoio à decisão M-MACBETH e Welphi

Metodologia multicritério MACBETH


22

Metodologia multicritério MACBETH


23

MACBETH

Categorias

MACBETH de

diferenças

de valor

V(A) ̶ V(C) < V(D) ̶ V(B)

Julgamentos de comparação de

opções duas a duas

C A B D

A C D B

(Bana e Costa et al., 2012)


24

A componente social do processo de avaliação

Grupos de avaliação grandes / ou

geograficamente dispersos / ou com

agendas inconciliáveis

Conferência de decisão com MACBETH

Grupos de avaliação pequenos vs.

Welphi – Processo de Delphi em base webBANA Consulting Lda.

Ecrã com

dados

informativos Ecrã com os

julgamentos


25

Phillips, L.D., Bana e Costa, C.A. (2007)

Processos de conferência de decisão Processos de Delphi em base web

• Realização de um ou mais workshops presenciais

• Presença de atores chave que representam as

diversas perspetivas sobre o problema

• Facilitada por um especialista imparcial em

processos de grupo e análise de decisão

• Usa um modelo ajustado (tão simples quanto

possível), criado in loco para ajudar a estruturar o

pensamento

Características gerais do Delphi: anónimo e iterativo

evita pressões sociais; feedback controlado e

resumo estatístico envolvimento na discussão

usando um processo não presencial

(Linstone, Turoff et al. 2002)

Características especificas do web-Delphi: processo

de execução rápida; custos baixos; participantes

respondem ao seu ritmo; número elevado de

participantes, geograficamente dispersos; interface

amigável e atraente reduz desistências

A componente social do processo de tomada de decisão

Grupos de avaliação grandes / ou

geograficamente dispersos / ou com

agendas inconciliáveis

Grupos de avaliação pequenos vs.


Na estruturação:

• Um indicador não é um critério

• Meios não são fins; causas não são efeitos

• Redundância de critérios conduz a resultados desajustados

• Escassez de dados sobre impactos num aspeto

não implica que deva ser retirado da análise

Na avaliação:

• Impacto não é valor. Normalizar não é medir valor

• Subjetividade não é arbitrariedade

• Atribuir pesos aos critérios apenas com base na noção intuitiva

de importância relativa é o erro crítico mais comum

• Ordenar não é medir valor; dizer que A é melhor do que B não permite concluir se é pouco ou muito melhor

• Somar escores ordinais produz resultados globais arbitrários

Na elaboração de recomendações:

• Um método não é um decisor; os outputs de um modelo não são inquestionáveis

Relembrando os erros críticos mais comuns

26


Exemplo: Avaliação de três projetos (B1, B2 e B3)

Avaliação relativa: Queremos escolher o melhor ou queremos ordenar os projetos Comparamos os

projetos entre si

B2 preferível a B1 preferível a B3

Avaliação absoluta: Queremos saber se os projetos são suficientemente bons Comparamos cada

projeto com referências de valor intrínseco

B2 Bom B1 B3 Neutro

Avaliação cardinal: Queremos saber não só que um projeto é melhor do que outro (avaliação ordinal),

mas também quanto melhor é “Medimos” diferenças de valor entre projetos

B2 Bom B1 B3 Neutro

ModeradaFraca

Avaliação relativa, avaliação absoluta, ou

ambas? Avaliação ordinal ou cardinal?

27


28

Quão atrativa é uma melhoria de desempenho?

Cluster de indicadores presencialmente dependentes deve formar um só critério

de avaliação; caso contrário modelos de agregação mais complexas do que a

soma ponderada devem ser considerados, e.g., modelo bilinear (Rodrigues et al. 2016)

(Bana e Costa and Oliveira, 2012)

O valor de publicar um artigo depende da sua qualidade

Neutro

Bom

Neutro

Bom

Gráfico 1 Gráfico 2

Artigos Qualidade Artigos Qualidade


Tipo de função de valor:

Será que cada unidade de desempenho vale o mesmo?

Custo Acessibilidade

Low High

Value

Performance

Value

PerformanceLow High

29

ValorValor

Menor Maior Menor Maior

Desempenho Desempenho


30

Agregação de indicadores

)()(1

indicator

n

indicatorindicator ScoreWeightIndex

Modelo básico para desenvolver um índice composto:

Soma ponderada

Para desempenhar o papel de um critério de avaliação, o indicador

deve ser isolável (preferencialmente independente dos restantes)

Nota: Independência preferencial não é o mesmo que independência estatística


31

Outros erros críticos comuns

“Determinants account for 75 percent of the overall ranking and outcomes

account for 25 percent, a shift from the 50/50 balance in the original 1990 index.

This reflects the importance and growing availability of determinant data.”

Normalizar não é medir valor

… Normalização Min-Max

… Distância a uma referência

… Estandardização

…

in America’s Health Rankings®— 2011

http://www.americashealthrankings.org/

OECD, Handbook on Constructing

Composite Indicators, 2014

A ponderação não se baseia apenas na noção intuitiva de “importância” /

A falta de dados implica a ausência de peso?


Benefício: 470

Custo: 6,8

Benefício: 269

Custo: 6.9

Orçamento

benefício prioritização

Custo cumulativo

Ben

efí

cio

cu

mu

lati

vo

Erro comum: selecção de projectos olhando somente para os seus benefícios


Wise modelling

33

“Make it simple,

not simplistic”

ISCTE - Seminário em Business Intelligence e …home.iscte-iul.pt/~earc/Seminars/ISCTE 18_10_2016...

Documents

Transcript of ISCTE - Seminário em Business Intelligence e …home.iscte-iul.pt/~earc/Seminars/ISCTE 18_10_2016...