A avaliação de desempenho é realizada com base nas medidas de desempenho, representadas por meio de indicadores.
A medição do desempenho de uma atividade é realizada quando são comparados parâmetros produzidos com planejados. Com a medição do desempenho têm-se as medidas as quais caracterizam quantitativa ou qualitativamente o fenômeno analisado (NPR, 1997).
Conforme Artley e Stroh (2001), a Universidade da Califórnia classifica as medidas de desempenho de acordo com a Tabela 5.1:
Tabela 5.1 Classificação das medidas de desempenho.
Medida Descrição
Eficiência a habilidade de realizar uma atividade
Eficácia A coerência entre o que foi planejado e o
que foi executado
Qualidade A realização correta de uma atividade. No entanto, a definição de correto deve ser baseada na visão do usuário.
Pontualidade (timeliness) Se as atividades foram realizadas no tempo certo. A definição de tempo certo também deve ser dada pelo usuário Produtividade A quantidade de recursos para realizar
uma determinada atividade
Destacam-se como pontos deficitários das medidas de desempenho (Artley e Stroh, 2001) os seguintes:
9 não fornecem facilmente a causa e o efeito dos resultados alcançados; 9 os resultados identificados não espelham a situação do processo de execução; 9 as medidas são apenas aproximações da realidade; e
9 as medidas não asseguram a conformidade completa com leis e regulamentos.
Os indicadores são elementos que possibilitam as comparações necessárias à medição do desempenho. São definidos por CEROI (2004) como elementos que representam as principais características de um objeto. Assim, indicadores são símbolos que verificam o alinhamento dos resultados alcançados com os objetivos e metas estabelecidas. São tradutores dos fenômenos observados que permitem que o mesmo seja medido.
Os indicadores de desempenho, além de definir melhor prática ou a melhor atividade dentre um grupo a ser avaliado (OECD, 2001) e ser uma ferramenta importante de disseminação de informações (Royuela, 2001), são utilizados com a seguinte finalidade (Diógenes, 2002):
9 prover informações 9 gerenciar ações;
9 auxiliar na tomada de decisões;
9 contribuir para melhoria na alocação de recursos; e 9 permitir comparações.
A Tabela 5.2 apresenta as principais características que um indicador deve possuir (Department of Treasury and Finance of the Western Australia, 1998 e Takashina e Flores apud Diógenes, 2002):
Tabela 5.2 Características dos indicadores.
Característica Descrição
Relevância inserção no contexto do que se deseja
avaliar
Abrangência suficientemente representativos
Adequação relacionado com as necessidades de quem
busca a informação Facilidade de compreensão simples e não ambíguo
Rastreabilidade e acessibilidade possibilidade de serem documentados e disponibilidade de dados
Mensuráveis Possibilidade de serem traduzidos
quantitativa ou qualitativamente Comparabilidade Facilidade de comparação com as
referências
Baixo custo O custo para coleta, processamento e avaliação não deve ser superior ao benefício trazido pela medida.
NPR (1997) destaca ainda que boas medidas de desempenho devem ser sensíveis para indicar variações.
As principais fases de um processo de definição de indicadores segundo Takashina e Flores apud Diógenes (2002) são (Figura 5.3):
Figura 5.3 Metodologia de desenvolvimento de indicadores proposta por Takashina e Flores
(Fonte: Diógenes, 2002.)
Magalhães (2004), em sua dissertação, também propôs uma metodologia para desenvolvimento de indicadores, conforme apresentado abaixo (Figura 5.4):
Figura 5.4 Metodologia para desenvolvimento de indicadores proposta por Magalhães (2004).
Segue abaixo a descrição dos passos definidos na Figura 5.4:
A. Elaboração
i. Definição do agente que vai coordenar o processo
A definição de um coordenador que centralize o processo permite o controle do procedimento a ser desenvolvido. Esse coordenador deve ser neutro e possuir credibilidade para com os demais membros da equipe a fim de evitar resistências.
ii. Estabelecimento de uma rede de cooperação
embora seja mais trabalhoso por gerar muitos debates, pode conduzir a melhores resultados, reduzindo os riscos de não aceitação dos indicadores definidos.
iii. Planejamento estratégico e análise de processos de decisão
Caso não exista um planejamento estratégico este deve ser elaborado, pois o mesmo define visões, preocupações, princípios, objetivos e metas que são balizadoras das decisões e, dessa forma, possuem relevância no processo de definição de indicadores.
iv. Definição de grupos-alvo de informações
Nesta etapa são identificados os principais agentes que possuem interesse no processo. As informações necessárias são então sistematizadas e são definidos quais elementos devem ser representados pelos indicadores.
v. Desenvolvimento de um modelo para a organização da informação
Os modelos auxiliam na determinação do que é relevante para o conjunto de indicadores, qual o nível de refinamento necessário e evitam ambigüidades e repetições.
Segnestam (2002) sintetiza os modelos existentes em três categorias:
• Modelos baseados no ciclo de projeto
Os modelos baseados em ciclos de projeto são também conhecidos com entrada-saída- resultado-impacto e permitem o monitoramento da efetividade de um projeto.
São então definidos indicadores de entrada, os quais monitoram os recursos; indicadores de saída, que analisam os produtos e serviços gerados, indicadores de resultado, que medem resultados de curto prazo; e indicadores de impacto, os quais acompanham os resultados de longo prazo, relacionando-os aos objetivos do projeto.
• Modelo PSR (Pressure-State-Response)
O modelo Pressão-Estado-Resposta, assim como suas variações, são aplicados para realização de análises nos planos tático e estratégico.
Pressão é o efeito da atividade humana sobre o ambiente. Estado corresponde à condição do objeto analisado e é afetado pelas pressões. Os indicadores, de maneira
geral, refletem os objetivos principais das políticas. As respostas são os verificadores do retorno da sociedade aos impactos.
• Modelo baseado em temas
Os modelos baseados em temas possibilitam uma avaliação do nível estratégico de decisão. Atuam na seleção de assuntos relevantes a serem tratados pelo tomador de decisões.
vi. Definição de critérios de seleção
Nesta esta são definidos os critérios para seleção de indicadores a fim de se adotar as mesmas considerações para o desenvolvimento de todos os indicadores, evitando, dessa forma, que o conjunto definido seja incoerente ou não se consiga responder às questões analisadas.
vii. Desenvolvimento metodológico e seleção dos indicadores
Os indicadores existentes são então levantados e uma verificação de qual elemento do sistema ele representa é realizada. Caso haja aspectos não representados pelos indicadores, devem ser desenvolvidos novos que se adequem ao que se deseja verificar.
viii. Definição de um conjunto de indicadores
Após a seleção dos indicadores de cada um dos elementos do sistema, deve ser determinado o conjunto de indicadores que será utilizado para as análises. A concepção deve considerar a necessidade de cada um dos grupos-alvo identificados. Para tanto, devem ser considerados os motivos que conduziram à abordagem adotada e os grupos- alvo.
ix. Definição das ferramentas de análise
Consiste na definição das ferramentas de análise e recursos necessários para que cada grupo-alvo utiliza o conjunto de indicadores (ex.: mapas, tabelas, entre outros).
x. Validação dos resultados do projeto de indicadores
Nesta etapa, o sistema de indicadores deve ser avaliado pelos grupos-alvo quanto a sua aceitação e viabilidade. Devem ser avaliados: disponibilidade de recursos, dados,
tecnologia para montagem do sistema, além de testes estatísticos dos indicadores. Caso o sistema seja considerado inviável, devem ser reavaliadas as seguintes etapas:
• Desenvolvimento metodológico e seleção dos indicadores • Definição de critérios de seleção
• Desenvolvimento de um modelo para a organização da informação • Definição de grupos-alvo de informações
B. Implementação
i. Mapeamento e coleta de dados
Consiste no levantamento dos dados existentes e disponíveis e a definição de meios para obtenção de outros dados que se mostrem necessários. Deve-se, ainda, verificar a qualidade dos dados e do procedimento de coleta.
ii. Definição e desenvolvimento da tecnologia
A tecnologia para desenvolvimento da base de dados e do sistema de informação deve ser selecionada, ou desenvolvida, caso seja necessário.
iii. Desenvolvimento da base de dados e sistema
Nesta etapa, os dados coletados serão tratados, inseridos no sistema e verificados. As funcionalidade necessárias para a análise são implementadas, complementando o sistema.
iv. Desenvolvimento de recursos humanos
Aqui os recursos humanos que manipularão o sistema de indicadores devem ser treinados para utilizar o sistema de forma adequada.
Verifica-se que as propostas apresentam algumas diferenças. No entanto, estas discrepâncias não entram em conflito, mas se complementam.
A metodologia de Magalhães (2004) aborda apenas o processo de montagem e coleta dos indicadores. Já Takashina e Flores apud Diógenes (2002), embora tenham a descrição do processo de elaboração e implementação mais frágil, apresenta dois passos adicionais e de grande importância, que se refere à utilização dos dados dos resultados obtidos e um sistema de avaliação de melhoria que tem a função de retroalimentar o processo de desenvolvimento de indicadores.
Destaque-se, todavia, que a etapa de implementação proposta por Magalhães e as duas etapas adicionais da proposta de Takashina e Flores correspondem às próximas fases do processo de avaliação de desempenho proposto pela presente dissertação, pois se referem à aplicação dos indicadores e não à sua montagem. Portanto, não serão contempladas nesta etapa de definição de indicadores.
Por se apresentar melhor estruturada, será utilizada como referência para a definição dos indicadores a metodologia de Magalhães. No entanto, considerando que as etapas de montagem da equipe e levantamento dos objetivos e metas já foram contempladas na metodologia de avaliação de desempenho, e que a etapa de implementação deverá ser contemplada na fase 1.4.5 da etapa de aplicação, estas serão excluídas da fase de definição dos indicadores.
O desenvolvimento dos indicadores deve, então, seguir os seguintes passos (Figura 5.5):
Figura 5.5 Metodologia de desenvolvimento de indicadores proposta por Magalhães (2004) – Etapa de Elaboração.
5.4 ETAPAS DO PROCESSO DE MEDIAÇÃO E AVALIAÇÃO DE