4. Metode
4.5. Statistisk analyse
A pesquisa pretendeu identificar indicadores mais adequados aos que atualmente são utilizados para a avaliação das atividades de criminalística, por meio de levantamento bibliográfico, pesquisa de campo e coleta de dados nos arquivos do Instituto Nacional de Criminalística em meio físico e no SISCRIM da Polícia Federal.
O método escolhido para a pesquisa apresenta certas limitações. A primeira é que existe a possibilidade de que o grupo selecionado para responder aos questionários pode não ser representativo do universo estudado.
Outra limitação é que os respondentes dos questionários possam apresentar ter interesses diversos dos resultados da pesquisa, uma vez que se objetiva apontar indicadores que futuramente podem controlar sua própria produtividade.
Com relação ao tratamento e análise dos dados do SISCRIM, é preciso ressalvar eventuais registros inconsistentes ou falhas de cadastramento, o que pode induzir ao erro a pesquisa. Outro aspecto a considerar é a quantidade de atividades funcionais desenvolvidas pelos peritos que não redundam em laudos elaborados, mas neste sentido busca-se minimizar este aspecto.
Outros fatores também foram observados, tais como utilização de equipamentos, padronização de procedimentos, utilização de meios computacionais para automatização de elaboração de laudos, bem como outras variáveis peculiares a cada estado da federação, entretanto, serviram apenas como subsídio à análise principal dos dados de produção de laudos, por meio de tratamento estatístico paramétrico.
Finalizando, este capítulo procurou apresentar a metodologia de pesquisa utilizada, os tipos de pesquisa, o universo e amostra, coleta e tratamento de dados, bem como as limitações do método.
5. ANÁLISE DE DADOS
Após a revisão bibliográfica sobre indicadores e assuntos relacionados, bem como da apresentação das características da atividade de criminalística da Polícia Federal, foram aplicados questionários a 64 Peritos Criminais Federais de diversas unidades da Polícia Federal, entre chefes e subordinados, com tempos de serviço e graduações variados. Os quesitos dos questionários aplicados encontram-se no Apêndice I.
O questionário tinha como objetivo subsidiar a análise dos dados estatísticos obtidos no SISCRIM e colher informações sobre a aplicabilidade de indicadores de produtividade nas suas unidades, assim como conhecer suas respectivas peculiaridades locais.
5.1. O Questionário
Os questionários aplicados tiveram um retorno em número de 34, ou seja, 53% do total. Com base nas informações preliminares constantes no cabeçalho dos questionários, foi observado que 14 (41%) foram preenchidos por peritos lotados no INC, 18 (53%) lotados em SETECs, 01 (3%) lotado em UTEC e 01 (3%) lotado em outra unidade central.
Observou-se também que 21 (62%) foram preenchidos por peritos que exercem função de chefia e 13 (38%) não. A média aritmética do tempo de exercício no cargo de perito foi de 10,6 anos. Deste resultado, é possível constatar que os respondentes detêm uma experiência considerável na área pericial, quer seja pelo exercício da chefia, quer seja pelo tempo de exercício no cargo de perito, levando a crer que estariam aptos a responder de forma consistente o referido questionário.
Com relação às questões fechadas, foram oferecidas as seguintes possibilidades de respostas: 1–Discordo totalmente Discordância 2–Discordo parcialmente 3–Sou indiferente - 4–Concordo parcialmente Concordância 5–Concordo totalmente
Os resultados obtidos foram compilados em forma de tabela e apresentados no tópico a seguir.
5.2. Dados analisados
A Tabela 1 apresenta a compilação das respostas aos questionários (questões fechadas), sendo que, além dos quantitativos registrados para cada opção, também foram calculadas tendências centrais como a média aritmética, o desvio-padrão e mediana.
Tabela 1- Resultado completo dos questionários.
PERGUNTAS Média
Desvio-
padrão Mediana 1 2 3 4 5
1. Os indicadores de produtividade utilizados atualmente pelo Instituto Nacional de Criminalística são adequados para avaliar o desempenho das
unidades? 2,71 1,19 2 6 12 2 14 0
2. Os atuais indicadores representam a produtividade da sua unidade?
2,44 1,16 2 8 13 3 10 0 3. A quantidade de laudos produzidos em
determinado período representa o nível de
produtividade da unidade? 2,47 1,21 2 7 16 0 10 1 4. A adoção de pesos e ponderações por tipos de
laudos poderia melhorar os indicadores de
produtividade? 4,47 0,99 5 2 0 0 10 22
5. A quantidade de tempo gasto por tipo de laudo pode representar esse peso ou ponderação?
4,21 0,73 4 0 2 0 21 11 6. A quantidade de materiais a serem
examinados deve ser considerada no cálculo de
produtividade? 4,68 0,59 5 0 0 2 7 25
7. As características dos materiais são relevantes para o cálculo de produtividade? (Exemplo:
capacidade do HD, tipo da cédula, etc.) 4,59 0,61 5 0 0 2 10 22 8. A localização da unidade (região do país)
influencia no tempo médio de elaboração de tipo de
laudo pericial? 3,74 1,21 4 2 5 3 14 10
9. A forma de cadastramento e de desmembramento dos expedientes de requisição de
laudo impacta no cálculo de produtividade? 4,15 1,08 4 2 1 2 14 15 10. Os afastamentos dos peritos (excluídas as
viagens a serviço) impactam a produtividade do
setor? 4,35 0,85 5 0 2 2 12 18
11. Os afastamentos de servidores devem ser considerados para o cálculo da produtividade?
4,59 0,70 5 0 1 1 9 23 12. A padronização de procedimentos periciais
pode resultar em maior produtividade?
4,29 0,91 4,5 0 3 1 13 17 13. A melhoria dos processos administrativos no
setor poderia resultar na redução do tempo de
atendimento dos exames? 3,91 0,93 4 1 2 4 19 8 14. Os equipamentos disponíveis em sua unidade
são insuficientes para melhoria da sua
produtividade? 2,76 1,23 2 5 13 3 11 2
15. Os equipamentos disponíveis em sua unidade diferem dos equipamentos de outras unidades?
PERGUNTAS Média
Desvio-
padrão Mediana 1 2 3 4 5
16. A capacitação dos servidores da sua unidade tem resultado em melhoria na produtividade?
4,09 0,79 4 0 2 3 19 10 17. O aumento da produtividade de laudos
necessariamente reduz sua qualidade?
2,62 1,10 2 5 14 4 11 0
Após a análise dos resultados para cada uma das questões, estas foram agrupadas e pôde-se chegar às seguintes conclusões:
Nas questões 1, 2 e 3 foram questionados sobre a percepção do respondente sobre os atuais indicadores e sua adequabilidade para medir desempenho e produtividade, sendo que houve uma pequena prevalência da discordância em relação à concordância, confirmado pelas medidas de tendência central, demonstrando que, os respondentes estão divididos, havendo, portanto, espaço para melhorias, pois há uma parcela insatisfeita com os atuais indicadores.
Tabela 2 - Resultado das questões 1, 2 e 3 dos questionários.
PERGUNTAS Média
Desvio-
padrão Mediana 1 2 3 4 5
1. Os indicadores de produtividade utilizados atualmente pelo Instituto Nacional de Criminalística são adequados para avaliar o desempenho das
unidades? 2,71 1,19 2 6 12 2 14 0
2. Os atuais indicadores representam a produtividade da sua unidade?
2,44 1,16 2 8 13 3 10 0 3. A quantidade de laudos produzidos em
determinado período representa o nível de
produtividade da unidade? 2,47 1,21 2 7 16 0 10 1
Nas questões 4, 5, 6, 7, 8, 9, 10 e 11 foram questionados sobre a utilização de pesos, tempo, quantidade e tipo de material, localização da unidade, forma de cadastramento e de afastamentos de peritos no cálculo dos indicadores. As respostas apresentadas na Tabela 3 demonstram uma ampla prevalência pela concordância, indicando que é necessária a melhoria dos indicadores com a inclusão de tais itens no seu cálculo.
Tabela 3 - Resultado das questões 4, 5, 6, 7, 8, 9, 10 e 11 dos questionários.
PERGUNTAS Média
Desvio-
padrão Mediana 1 2 3 4 5
4. A adoção de pesos e ponderações por tipos de laudos poderia melhorar os indicadores de
produtividade? 4,47 0,99 5 2 0 0 10 22
5. A quantidade de tempo gasto por tipo de laudo pode representar esse peso ou ponderação?
PERGUNTAS Média
Desvio-
padrão Mediana 1 2 3 4 5
6. A quantidade de materiais a serem examinados deve ser considerada no cálculo de
produtividade? 4,68 0,59 5 0 0 2 7 25
7. As características dos materiais são relevantes para o cálculo de produtividade? (Exemplo:
capacidade do HD, tipo da cédula, etc.) 4,59 0,61 5 0 0 2 10 22 8. A localização da unidade (região do país)
influencia no tempo médio de elaboração de tipo de
laudo pericial? 3,74 1,21 4 2 5 3 14 10
9. A forma de cadastramento e de desmembramento dos expedientes de requisição de
laudo impacta no cálculo de produtividade? 4,15 1,08 4 2 1 2 14 15 10. Os afastamentos dos peritos (excluídas as
viagens a serviço) impactam a produtividade do
setor? 4,35 0,85 5 0 2 2 12 18
11. Os afastamentos de servidores devem ser considerados para o cálculo da produtividade?
4,59 0,70 5 0 1 1 9 23
As questões 12 e 13 referem-se à melhoria nos processos internos e padronização como uma forma melhoria na produtividade. Assim como no grupo anterior de questões houve uma ampla prevalência pela concordância, concluindo que tais itens afetam na melhoria da produtividade e a redução do tempo de atendimento dos pedidos de perícia.
Tabela 4 - Resultado das questões 12 e 13 dos questionários.
PERGUNTAS Média
Desvio-
padrão Mediana 1 2 3 4 5
12. A padronização de procedimentos periciais pode resultar em maior produtividade?
4,29 0,91 4,5 0 3 1 13 17 13. A melhoria dos processos administrativos no
setor poderia resultar na redução do tempo de
atendimento dos exames? 3,91 0,93 4 1 2 4 19 8
As questões 14 e 15 referem-se à utilização de equipamentos na melhoria na produtividade das unidades, sendo que houve equilíbrio nas respostas, levando a concluir que enquanto em algumas unidades há equipamentos suficientes ou adequados, em outras é preciso disponibilizar recursos para este fim, trazendo equilíbrio ou uniformidade entre tais unidades.
Tabela 5 - Resultado das questões 14 e 15 dos questionários.
PERGUNTAS Média
Desvio-
padrão Mediana 1 2 3 4 5
14. Os equipamentos disponíveis em sua unidade são insuficientes para melhoria da sua
produtividade? 2,76 1,23 2 5 13 3 11 2
15. Os equipamentos disponíveis em sua unidade diferem dos equipamentos de outras unidades?
3,15 1,18 4 3 10 2 17 2
A questão 16 trata do impacto da capacitação dos servidores na produtividade. O resultado foi de ampla concordância, indicando que há a percepção de que os investimentos em capacitação podem trazer melhoria na produtividade. Neste aspecto, cabe observar que, apesar desse resultado sobre a percepção, os indicadores de produtividade podem não refletir o efeito da capacitação em curto prazo, assim como podem não ser perceptíveis aos dados e parâmetros utilizados no SISCRIM.
Tabela 6 - Resultado da questão 16 dos questionários.
PERGUNTAS Média
Desvio-
padrão Mediana 1 2 3 4 5
16. A capacitação dos servidores da sua unidade tem resultado em melhoria na produtividade?
4,09 0,79 4 0 2 3 19 10
A questão 17 refere-se à relação inversa entre produtividade e qualidade. No resultado houve pequena prevalência pela discordância, indicando que para um pouco mais da metade dos respondentes entendem que se pode aumentar produtividade sem a perda de qualidade. É preciso, todavia, de um maior aprofundamento no tema relacionado a indicadores de qualidade, mas não é objeto deste trabalho.
Tabela 7 - Resultado da questão 17 dos questionários.
PERGUNTAS Média
Desvio-
padrão Mediana 1 2 3 4 5
17. O aumento da produtividade de laudos necessariamente reduz sua qualidade?
2,62 1,10 2 5 14 4 11 0
Após a análise das respostas das questões fechadas, passou-se a análise individual das questões abertas. A análise de conteúdo consistiu na leitura e agrupamento dos itens inter-relacionados a fim de quantificar sua aparição nas respostas.
Na análise, foram desprezadas a atividades relacionadas diretamente aos exames periciais e a elaboração dos laudos, uma vez que estes são intrínsecos a sua própria atividade e já são consideradas no tempo médio de sua realização.
A primeira questão aberta (no 19 do questionário) foi formulada com o objetivo de identificar outras atividades exercidas pelos peritos criminais federais que impactam em sua produtividade, excetuando-se os exames periciais:
19. Se você entende que existem outras atividades, além da realização de perícias, que impactam significantemente na produtividade do setor, listes-as?
O resultado foi apresentado na Tabela 08, que contém as atividades citadas pelas respondentes que impactam na produtividade e o número de aparições nas respostas, ordenadas de forma decrescente:
Tabela 8 - Respostas relativas às atividades que impactam na produtividade.
Ordem Atividade Quantidade
1. Ações de capacitação 15 2. Atividades administrativas 14 3. Fiscalização de obras/projetos 13 4. Desenvolvimento de métodos/pesquisa 10 5. Participação de investigações/operações 8
6. Grupos de trabalho / Comissões 7
7. Comissão Disciplinar 4 8. Manutenção de equipamentos 4 9. Atividades de gestão 2 10. Varreduras de segurança 2 11. Suporte de Informática 1 12. Tutoria 1 13. Planejamento 1 14. Recepção e visitas 1 15. Vistorias 1 16. Sobreavisos 1 17. Reuniões 1
Dentre as atividades relacionadas pelos respondentes, cabe destaque as atividades de nos 2 e 3. As atividades administrativas (2) porque poderiam ser realizados por servidores de apoio, restando para os peritos suas atividades finalísticas, redundando em redução de custos na produção do laudo. A fiscalização de obras/projetos (3) porque não está
no rol de atribuições dos peritos, podendo caracterizar-se como desvio de função, ou seja, os peritos estão desempenhando atividades diversas das previstas em lei, em detrimento das suas atribuições funcionais. Quanto as atividades de nos 1 e 4 (capacitação e pesquisa), também destacadas, apesar de impactarem negativamente na produtividade no primeiro momento, em virtude do tempo ausente, tratam-se de atividades de investimento no capital humano e que a seu tempo deverá trazer retorno na produtividade, qualidade e motivação dos servidores, conforme resultado do quesito no 16.
As atividades relacionadas de 5 a 10, também tiveram um número de aparições que merecem atenção, no sentido que quantificar o tempo destinado a tais atividades para fins de produtividade. Ressaltando que tais atividades são inerentes a atividade do cargo de perito diretamente ou na condição de integrante da carreira policial federal.
A segunda questão aberta (no 20) objetiva avaliar os recursos necessários para melhoria da produtividade:
20. Que recursos (humanos, materiais, financeiros, etc) a sua unidade precisa para melhorar a produtividade (listar de forma sucinta)?
O resultado foi apresentado na Tabela 09, que contém os recursos necessários para melhoria da produtividade citados pelas respondentes e o número de aparições nas respostas, ordenadas de forma decrescente:
Tabela 9 - Respostas relativas aos recursos necessários para melhoria da produtividade.
Ordem Recursos necessários Quantidade
1. Pessoal de apoio 15
2. Efetivo de peritos criminais 15
3. Compra/atualização de equipamentos 7 4. Recursos financeiros (suprimento de
fundos)
5 5. Melhoria nas instalações/espaço físico 3 6. Simplificação de procedimentos 2
7. Capacitação 2
8. Organização administrativa 1
Após análise, mereceu destaque para melhoria da produtividade o acréscimo de recursos humanos, quer seja de pessoal de apoio, quer seja de peritos criminais. Outros recursos que também merecem destaque é a aquisição ou atualização de equipamentos, o que também foi abordado nos quesitos 14 e 15 (questões fechadas), bem como a disponibilidade
de recursos financeiros para compra de suprimentos e a melhoria nas instalações ou espaço físico. E por fim, simplificação de procedimentos, também entendido como racionalização dos processos, capacitação e organização administrativa, a qual deve ser objeto de estudos específicos de melhoria contínua.
Neste sentido, fica ressaltada a necessidade de considerar o efetivo de pessoal nos indicadores de produtividade de criminalística.
A terceira questão aberta (no 21) tem a pretensão de identificar outras métricas8 compatíveis com a avaliação da produtividade, de forma a complementar aquelas citadas nas questões fechadas:
21. Objetivamente, quais as métricas, no seu entendimento, deveriam ser consideradas para mensurar o trabalho das unidades de criminalística (listar)?
O resultado foi apresentado na Tabela 10, que contém as métricas sugeridas pelos respondentes e o número de aparições nas respostas, ordenadas de forma decrescente:
Tabela 10 - Respostas quanto a métricas para mensurar as atividades de Criminalística.
Ordem Atividade Quantidade
1. Tipo de exame/complexidade 20
2. Tempo de atendimento 12
3. Quantidade/tipo de material 12
4. Quantidade de laudos produzidos 12
5. Qualidade dos laudos 6
6. Tempo de deslocamento até o local 6 7. Quantidade de informações e pareceres 5 8. Quantidade de artigos/materiais
publicados
4
9. Satisfação dos clientes 3
10. Sentenças judiciais que citem o laudo 3
11. Participação em eventos 3
12. Atividade administrativa ou extra-perícia 3 13. Quantidade requisições (entradas) 2
14. Quantidade de peritos 2
15. Tempo de capacitação/treinamento 2 16. Denúncias do Ministério Público 2
17. Requisições pendentes 2 18. Grupos de trabalho 2 19. Atividades de chefia/gestão 2 20. Clima organizacional 2 21. Quantidade de atendimentos 1 8
Ordem Atividade Quantidade
22. Valores periciados 1
23. Dias de viagem fora da unidade 1
24. Idade da requisição 1
25. Desvio-padrão da média dos peritos 1 26. Quantidade de projetos em andamento 1 27. Quantidade de missões policiais 1 28. Participação como fiscal de contrato 1
29. Custo do laudo 1
30. Participação em pesquisa 1
31. Ineditismo/recorrência 1
32. Disponibilidade de meios 1
Na análise foram excluídas as métricas relativas às atividades alheias à criminalística, bem como aqueles que fogem ao escopo deste trabalho.
Cabe destacar os itens de 1 a 7 pelo número de aparições, sendo que destes apenas os itens 2, 4 e 7 são utilizados atualmente como indicadores pelo INC e mesmo assim de forma separada, ou seja, sem a relação entre eles.
Outros itens listados podem ser melhor agrupados ou excluídos por não se relacionarem com a produtividade, ou não merecem destaque por seu baixo impacto, todavia podem ser adotados como outros tipos de indicadores, tais como qualidade, clima organizacional, custos.
5.3. Indicadores utilizados
Durante a pesquisa bibliográfica forma analisados os relatórios de atividades do INC dos últimos 5 anos, entretanto, tomou-se por base o Relatório Anual de Atividades de 2011 para observa-se o detalhamento de todas as atividades de criminalística, quer seja pelas unidades descentralizadas, quer seja pelo INC.
O referido relatório apresenta diversos dados estatísticos e informações que são tratados como indicadores e que servem para a tomada de decisão dos gestores para diversas ações administrativas, especialmente quanto a: lotação de servidores, distribuições de recursos, estabelecimentos de metas, atuação concentrada (força-tarefa), definição de temas de pesquisa, mudanças de procedimentos, melhoria de processos, entre outras.
Dentre os indicadores atualmente utilizados pela INC, podemos destacar: a quantidade de laudos produzidos, quantidade acumulada de requisições (também denominada
de pendências), prazo de atendimento, tipos de laudos produzidos, “idade” da requisição, produtividade por perito, pendências por perito, número de peritos, percentual de peritos em relação aos delegados.
Cabe destacar um amplo conjunto de indicadores obtidos por meio do SISCRIM, mas que ainda são insuficientes para medir de forma adequada a produtividade das unidades de criminalística. O resultado obtido por meio dos questionários confirma tal essa percepção.
5.4. Indicadores Propostos
Após a análise dos questionários na seção anterior, foi verificado que, apesar de alguns dos indicadores utilizados pelo INC terem sua função em termos de medição da produção/produtividade, existem métricas que deveriam ser consideradas para que aprimorasse o método de mensuração.
Dentre os itens citados nas questões fechadas avaliados como pertinentes, assim como os sugeridos nos quesitos abertos, houve uma convergência para inclusão de algumas métricas relevantes.
A partir da tabela de métricas sugeridas, foram excluídas aquelas que não estavam relacionadas à produtividade e agregadas informações sobre sua atual utilização ou não pelo INC como indicador, disponibilidade no SISCRIM e possibilidade de utilização imediata9. Desta forma, chegou-se na Tabela 11, agrupados pela coluna “Utilização
imediata”:
Tabela 11 – Relação de métricas
Quant.10 Métricas Utilizadas
Atualmente
Disponíveis SISCRIM
Utilização Imediata
20 Tipo de exame/complexidade Sim Sim Sim
12 Tempo de atendimento Sim Sim Sim
12 Quantidade de laudos produzidos Sim Sim Sim
5 Quantidade de informações e pareceres - Sim Sim
2 Quantidade requisições (entradas) Sim Sim Sim
2 Quantidade de peritos Sim Sim Sim
2 Requisições pendentes Sim Sim Sim
2 Atividades de chefia/gestão - Sim Sim
1 Quantidade de atendimentos Sim Sim Sim
1 Dias de viagem fora da unidade - Sim Sim
9 Sem modificações significativas no SISCRIM.
Quant.10 Métricas Utilizadas Atualmente Disponíveis SISCRIM Utilização Imediata
1 Idade da requisição Sim Sim Sim
1 Desvio-padrão da média dos peritos - Sim Sim
1 Quantidade de missões policiais - Sim Sim
12 Quantidade/tipo de material - - -
6 Tempo de deslocamento até o local - - -
4 Quantidade de artigos/materiais publicados
- - -
3 Participação em eventos - Sim -
2 Tempo de capacitação/treinamento - - -
1 Participação em pesquisa - - -
Após o agrupamento, observou-se que apenas seis métricas não permitiam a utilização imediata, as quais estão listadas na Tabela 12 com suas respectivas análises:
Tabela 12 - Métricas indisponíveis no SISCRIM.
Quant. Métricas Análise
12 Quantidade/tipo de material Apesar de o SISCRIM possuir campo em que se possa incluir o tipo de material, ainda não há uma forma de comparar tais dados entre os diferentes tipos de laudos, uma vez que estão em formato texto.
6 Tempo de deslocamento até o local Não há campo com esse detalhamento, entretanto essa informação poderá ser suprida pelo tempo intrínseco para realização daquele tipo de exame pericial.
4 Quantidade de artigos/materiais publicados
Essas medições devem ser inseridas no SISCRIM, assim como os demais documentos científicos de rotinas (laudos, informações técnicas e pareceres), como uma forma de valorizar a inovação e a pesquisa.
1 Participação em pesquisa
3 Participação em eventos Essa informação pode ser suprida com a métrica
“Dias de viagem fora da unidade”, ou seja, o
controle de afastamentos da sede.
2 Tempo de capacitação/treinamento
Outra análise feita tendo como base a Tabela 13 foi com relação aos dados disponíveis no SISCRIM, mas ainda não utilizados como indicadores.
Tabela 13 - Métricas não utilizadas atualmente.
Quant. Métricas Análise
5 Quantidade de informações e pareceres
Tal informação também está disponível, mas não é tratada de forma quantitativa na avaliação da produtividade.
2 Atividades de chefia/gestão A atividade de chefia, embora não seja considerada como um indicador, pode ser tratada dentre de uma fórmula de índice.
1 Dias de viagem fora da unidade Considerando que a atividade pericial em grande parte das vezes é necessária o deslocamento da sede, tal informação deve fazer parte de indicadores, assim como todos os afastamentos dos peritos, tais como