5.5 I TERATION 3: IDENTIFYING REMAINING OPPORTUNITIES FOR CORRECTION
5.5.1 Content and dialogue-flows in the second prototype
Conforme declarado na seção 3.1, de acordo com Moresi (2004, p. 12), a pesquisa classificada como qualitativa “pode incluir entrevistas, aplicação de questionários, testes e observação participante ou não”.
Citando Yaremko et al. (1986, p. 186 apud GUNTHER, 2003, p. 1), um questionário pode ser definido como “um conjunto de perguntas sobre um determinado tópico que não testa a habilidade do respondente, mas mede sua opinião, seus interesses, aspectos de personalidade e informação biográfica”.
Apoiado nessas afirmações optou-se por utilizar, como instrumentos de validação na pesquisa, questionários com questões fechadas, semi-abertas e abertas com o objetivo de apoiar o respondente na função de avaliação dos produtos gerados e obter, como retorno, a sua contribuição de melhoria.
Conforme a norma (SPICE, 1995, p. 7), um instrumento de avaliação é construído ou adaptado a partir de uma coleção de componentes, onde cada um deles fornece apenas uma cobertura parcial de toda a gama do modelo de processo. De acordo com Gunther (2003, p. 3) para definir as características de um questionário, “o objetivo do estudo determinará os conceitos a serem investigados”. Neste caso o objetivo é: (i) a “avaliação de algo existente”, ou seja, do Processo de Elaboração de Diagnóstico da GC e Plano de Gestão do Conhecimento, e dos modelos de documentos de Diagnóstico da GC e do PGC; e (ii) o tipo de pesquisa é social acadêmica com dois atores: pesquisador e o sujeito que responderá.
Seguindo as instruções de Gunther (2003, p. 8), a primeira tarefa na elaboração do questionário é incluir informações que estabeleçam confiança entre o respondente e o
pesquisador, como, por exemplo, com e para quem trabalha e qual o objetivo do questionário. Em seguida, há que se capturar o interesse do respondente para o tema em avaliação.
Na elaboração das perguntas, Gunther (2003, p. 16) alerta para uma escolha importante: se utilizar questões abertas ou fechadas. De acordo com o autor, “para uma pesquisa inicial, exploratória, não conhecendo a abrangência ou a variabilidade das possíveis respostas, são necessárias perguntas abertas”. No caso do objetivo de avaliação de tema específico e conhecido do respondente – como é o caso desta pesquisa, quando existem muitos respondentes e/ou pouco tempo, deve-se usar perguntas fechadas. O autor ainda lembra que, “perguntas abertas, especialmente em questionários auto-aplicáveis, exigem mais esforço do respondente; aumentando o custo de resposta, diminui a probabilidade de concluir e devolver o questionário”. Pelos motivos expostos, as questões dos questionários desta pesquisa são fechadas e semi-abertas, utilizando-se o recurso de uma última questão aberta para oferecer liberdade de expressão ao respondente em tópicos ou abordagens de seu interesse.
Para questões fechadas, há que se definir o tipo de escala a ser utilizada para estruturar as respostas. Ainda baseado no conteúdo de Gunther (2003, p. 26) sobre o assunto, a Escala Likert é a mais utilizada em avaliações e pesquisas de opinião. “Nela pede-se ao respondente que avalie um fenômeno numa escala de, geralmente, cinco alternativas: aplica-se totalmente, aplica-se, nem sim nem não, não se aplica, definitivamente não se aplica”. Outras possibilidades de alternativas são: 1 - muito ruim, 2 - ruim, 3 - razoável, 4 - bom, 5 - muito bom. Ou ainda, utilizando as expressões “concordo – discordo” no lugar de “bom – ruim”. Caso não seja interessante deixar ao respondente a opção de uma resposta intermediária, utilizam-se quatro alternativas de resposta: 1 - muito ruim, 2 – ruim, 3 – bom, 4 – muito bom. Concluindo a estruturação do questionário, decide-se sobre o tipo de aplicação. Gunther (2003, p. 33) sugere que um dos tipos de aplicação mais eficazes “do ponto de vista da padronização das perguntas e do potencial para transcrever as respostas, instrumentos distribuídos por meio de e-mail tem grande potencial”.
Para a validação dos produtos, como haveria uma curta apresentação do conteúdo para nivelamento de conhecimentos sobre o tema ser avaliado na OAPF, antes dos respondentes terem acesso aos questionários, foi utilizado um tipo de aplicação similar à sugerida por Gunther (2003, p. 33): o conteúdo a ser avaliado deveria ser enviado com antecipação de, pelo menos dez dias, aos respondentes por e-mail para que pudessem estudá-lo. Uma cópia impressa do questionário deveria ser entregue nas mãos do respondente ao final da apresentação da pesquisadora.
Já para a validação do processo, os respondentes estavam distribuídos em vários locais, inclusive em cidades diferentes, o que dificultava um encontro. Por isso, a melhor forma de aplicação do questionário era por e-mail. Cada um dos respondentes, após concluir o processo de respostas, deveria devolvê-lo por mesma via à pesquisadora.
Para a construção das perguntas dos questionários de levantamento de dados de validação dos produtos e do processo, foram utilizados os critérios de qualidade e aceitação definidos no modelo de Qualidade de Produto e no modelo de Qualidade de Processo definidos na seção 3.7. Além disso, foram evitadas expressões que permitissem compreensão ambígua do conteúdo da pergunta, ou que, de alguma forma, dessem caráter tendencioso para determinada resposta ou, ainda, que oferecessem qualquer tipo de constrangimento ao respondente. O conteúdo completo dos questionários e os convites para resposta estão disponíveis nos apêndices “A” a “D” deste documento de dissertação.
3.8.3.1 Instrumento de Levantamento de Dados para Validação de Produto
Para avaliar os produtos da pesquisa, foram elaborados os instrumentos de levantamento de dados – “Instrumento de Validação do Diagnóstico da Gestão do Conhecimento utilizando o Método OKA” e “Instrumento de Validaçãodo Plano de Gestão do Conhecimento utilizando o Método OKA” – os quais contém onze questões, sendo uma aberta, cinco semi-abertas e cinco fechadas (apêndice “B” desta dissertação).
O tipo de resposta utilizado em ambos os questionários nas questões semi-abertas e fechadas foi: concordo totalmente, concordo parcialmente, não sei responder, discordo parcialmente e discordo totalmente, ora nesta ordem, ora na ordem inversa. E, também, houve uma das questões fechadas com o tipo de resposta: totalmente satisfeito, parcialmente satisfeito, parcialmente insatisfeito, totalmente insatisfeito e não sei responder.
Nas questões semi-abertas, além das opções de resposta, e na questão aberta foram incluídas algumas linhas para o respondente escrever sobre sua resposta, seja esclarecendo-a, seja justificando-a ou explicitando críticas, sugestões ou elogios.
Para ambos os instrumentos de avaliação dos produtos, foi incluído, na primeira página do instrumento de validação, um convite à participação do respondente para preencher o questionário (apêndice “B” desta dissertação). O texto desse convite tem a finalidade de contextualizar o respondente e agradecer a sua contribuição na pesquisa. Além disso, essa página de rosto apresenta um pequeno questionário com dados demográficos do respondente.
As questões são: a) Trabalho na OAPF (em anos); b) Sexo; c) Escolaridade; d) Nível hierárquico; e e) Meu nível de conhecimento sobre GC.
A seguir, são apresentadas a Tabela 16 e a Tabela 17 que detalham as perguntas dos questionários: “Instrumento de Validação do Diagnóstico da Gestão do Conhecimento utilizando o Método OKA” e “Instrumento de Validação do Plano de Gestão do Conhecimento utilizando o Método OKA”.
Essas tabelas segmentam o instrumento de levantamento de dados identificando: (i) qual característica ou sub-característica do modelo construído para qualidade de produto está sendo medida na pergunta (seção 3.7.1.3) – Eficácia, Produtividade, Usabilidade (sub- características Inteligibilidade, Atratividade e Conformidade), Funcionalidade (sub- característica Interoperabilidade), Portabilidade (sub-característica Adaptabilidade) e Satisfação; (ii) a qual visão de qualidade essa característica está vinculada – qualidade em uso ou qualidade interna e externa (seção 2.8.1); (iii) o texto explicativo da característica ou da sub-característica que está sendo medida; e (iv) as perguntas que compõem o questionário.
Tabela 16 – Perguntas por característica de qualidade na validação do Diagnóstico da GC
AVALIAÇÃO DO DIAGNÓSTICO DA GC
Característica: Eficácia Qualidade em Uso
A eficácia é a capacidade do produto Diagnóstico da GC de permitir que usuários atinjam metas especificadas com acurácia e completude, em um contexto de uso especificado.
01 – Este Diagnóstico da GC apresenta a situação da gestão do conhecimento da OAPF de acordo com as dimensões do método OKA? Aspectos que considerei ausentes no documento. 02 – A situação da gestão do conhecimento apresentada no conteúdo do documento Diagnóstico da GC reflete a realidade que reconheço na OAPF? Conteúdo em desacordo com a situação da gestão do conhecimento na OAPF.
Característica: Produtividade Qualidade em Uso
A produtividade é a capacidade do produto Diagnóstico da GC de permitir que seus usuários empreguem quantidade apropriada de recursos em relação à eficácia obtida.
03 – O conteúdo apresentado no Diagnóstico da GC pode facilitar a implantação de melhorias na gestão do conhecimento da organização?
04 – O conteúdo apresentado no Diagnóstico da GC pode ajudar a reduzir recursos humanos e materiais a serem empregados na implantação das melhorias necessárias, uma vez que já oferece o detalhamento de cada item a ser trabalhado?
Característica: Usabilidade Qualidade Externa e Interna
Sub-característica: Inteligibilidade
Capacidade de possibilitar ao usuário compreender se o documento é apropriado e como ele pode ser usado.
Característica: Usabilidade Qualidade Externa e Interna Sub-característica: Atratividade
Neste teste, o usuário pode averiguar se a estrutura do Diagnóstico da GC é atraente visualmente, se é bonita e agradável ao usuário.
06 – A linguagem utilizada no modelo do Diagnóstico da GC facilita o seu entendimento para uso?
Característica: Usabilidade Qualidade Externa e Interna
Sub-característica: Conformidade relacionada à usabilidade
Requisito de teste para o modelo do Diagnóstico da GC que averigua se o padrão de
construção está de acordo com o padrão ou regulamentações do método OKA publicadas. Em caso de inexistência de padrão para o usuário, poderão ser verificadas padronizações da língua ou adequações à organização.
07 – A apresentação visual do Diagnóstico da GC possibilita a compreensão intuitiva para o uso efetivo do instrumento? Sugestões de ajuste na apresentação visual para compreensão mais intuitiva do documento:
Característica: Funcionalidade Qualidade Externa e Interna
Sub-característica: Interoperabilidade
No caso do modelo do Diagnóstico da GC, a interoperabilidade significa o modelo apresentar capacidade de interagir com outros documentos.
08 – As necessidades de melhoria apresentadas parecem alinhadas às estratégias da organização?
Característica: Portabilidade Qualidade Externa e Interna
Sub-característica: Adaptabilidade
No produto Diagnóstico da GC, a sub-característica adaptabilidade pode ser validada como a capacidade do documento de ser adaptado para diferentes organizações, sem necessidade de ajustes em sua estrutura.
09 – A estrutura do documento Diagnóstico da GC da OAPF pode ser utilizada em outras organizações públicas sem necessidade de modificações? Sugestões de ajuste no documento para utilização em outras organizações:
Característica: Satisfação Qualidade em Uso
A satisfação avaliada na qualidade em uso é a capacidade do produto Diagnóstico da GC de satisfazer usuários, em um contexto de uso especificado. Satisfação é a resposta do usuário à interação com o produto e inclui atitudes relacionadas ao uso do produto.
10 – Qual é o seu nível geral de satisfação com o documento Diagnóstico da GC produzido para a OAPF? Sugestões de alterações para tornar o documento mais satisfatório para a minha compreensão do conteúdo:
Críticas e Sugestões
11 – A seguir, temos um espaço para anotação de alguma crítica, comentário ou mais sugestões de melhorias sobre o Diagnóstico da GC. Sua opinião é muito importante para que possamos aprimorá-lo:
Fonte: Elaborado pela autora
Tabela 17 – Perguntas por característica de qualidade na validação do PGC
AVALIAÇÃO DO PLANO DE GC
Característica: Eficácia Qualidade em Uso
A eficácia é a capacidade do produto Plano de GC de permitir que usuários atinjam metas especificadas com acurácia e completude, em um contexto de uso especificado.
01 – Este Plano de GC apresenta a situação da gestão do conhecimento da OAPF de acordo com as dimensões do método OKA? Aspectos que considerei ausentes no documento.
02 – A situação da gestão do conhecimento apresentada no conteúdo do documento Plano de GC reflete a realidade que reconheço na OAPF? Conteúdo em desacordo com a situação da gestão do conhecimento na OAPF.
Característica: Produtividade Qualidade em Uso
A produtividade é a capacidade do produto Plano de GC de permitir que seus usuários empreguem quantidade apropriada de recursos em relação à eficácia obtida.
03 – O conteúdo apresentado no Plano de GC pode facilitar a implantação de melhorias na gestão do conhecimento da organização?
04 – O conteúdo apresentado no Plano de GC pode ajudar a reduzir recursos humanos e materiais a serem empregados na implantação das melhorias necessárias, uma vez que já oferece o detalhamento de cada item a ser trabalhado?
Característica: Usabilidade Qualidade Externa e Interna
Sub-característica: Inteligibilidade
Capacidade de possibilitar ao usuário compreender se o documento é apropriado e como ele pode ser usado.
05 – A estrutura do Plano de GC está bem organizada para ser agradável de usar?
Característica: Usabilidade Qualidade Externa e Interna
Sub-característica: Atratividade
Neste teste, o usuário pode averiguar se a estrutura do Plano de GC é atraente visualmente, se é bonita e agradável ao usuário.
06 – A linguagem utilizada no modelo do Plano de GC facilita o seu entendimento para uso?
Característica: Usabilidade Qualidade Externa e Interna
Sub-característica: Conformidade relacionada à usabilidade
Requisito de teste para o modelo do Plano de GC que averigua se o padrão de construção está de acordo com o padrão ou regulamentações do método OKA publicadas. Em caso de inexistência de padrão para o usuário, poderão ser verificadas padronizações da língua ou adequações à organização.
07 – A apresentação visual do Plano de GC possibilita a compreensão intuitiva para o uso efetivo do instrumento? Sugestões de ajuste na apresentação visual para compreensão mais intuitiva do documento:
Característica: Funcionalidade Qualidade Externa e Interna
Sub-característica: Interoperabilidade
No caso do modelo do Plano de GC, a interoperabilidade significa o modelo apresentar capacidade de interagir com outros documentos.
08 – As necessidades de melhoria apresentadas parecem alinhadas às estratégias da organização?
Característica: Portabilidade Qualidade Externa e Interna
Sub-característica: Adaptabilidade
No produto Plano de GC, a sub-característica adaptabilidade pode ser validada como a capacidade do documento de ser adaptado para diferentes organizações, sem necessidade de ajustes em sua estrutura.
09 – A estrutura do documento Plano de GC de OAPF pode ser utilizada em outras organizações públicas sem necessidade de modificações? Sugestões de ajuste no documento para utilização em outras organizações:
Característica: Satisfação Qualidade em Uso
A satisfação avaliada na qualidade em uso é a capacidade do produto Plano de GC de satisfazer usuários, em um contexto de uso especificado. Satisfação é a resposta do usuário à interação com o produto e inclui atitudes relacionadas ao uso do produto.
10 – Qual é o seu nível geral de satisfação com o documento Plano de GC produzido para a OAPF? Sugestões de alterações para tornar o documento mais satisfatório para a minha compreensão do conteúdo:
Críticas e Sugestões
11 – A seguir, temos um espaço para anotação de alguma crítica, comentário ou mais sugestões de melhorias sobre o Plano de GC. Sua opinião é muito importante para que possamos aprimorá-lo:
Fonte: Elaborado pela autora
3.8.3.2 Instrumento de Levantamento de Dados para Validação de Processo
Para validar o “Processo de Elaboração do Diagnóstico da GC e do Plano de Gestão do Conhecimento utilizando o Método OKA” no instrumento de levantamento de dados “Instrumento de Validaçãodo Processo de Elaboração do Diagnóstico da GC e do Plano de Gestão do Conhecimento utilizando o Método OKA” foram criadas doze questões, sendo uma aberta, três semi-abertas e oito fechadas.
O tipo de resposta utilizado no questionário seguiu o mesmo modelo dos questionários utilizados para validação dos produtos, ou seja, nas questões semi-abertas e fechadas foi: concordo totalmente, concordo parcialmente, não sei responder, discordo parcialmente e discordo totalmente, ora nesta ordem, ora na ordem inversa. E, também, houve uma das questões fechadas com o tipo de resposta: totalmente satisfeito, parcialmente satisfeito, parcialmente insatisfeito, totalmente insatisfeito e não sei responder.
Nas questões semi-abertas, além das opções de resposta, e na questão aberta foram incluídas algumas linhas para o respondente escrever sobre sua resposta, seja esclarecendo-a, seja justificando-a ou explicitando críticas, sugestões ou elogios.
Ainda à semelhança dos instrumentos de avaliação dos produtos, foi incluído, na primeira página do instrumento de validação, um convite à participação do processo de responder o questionário (apêndice “D” desta dissertação). O texto desse convite tem a finalidade de contextualizar o respondente e agradecer a sua contribuição na pesquisa. Além disso, essa página de rosto apresenta um pequeno questionário com dados demográficos do respondente. As questões são: a) Trabalho na OAPF (em anos); b) Sexo; c) Escolaridade; d) Nível hierárquico; e e) Meu nível de conhecimento sobre GC.
A seguir, é apresentada a Tabela 18 que detalha as perguntas do questionário “Instrumento de Validaçãodo Processo de Elaboração do Diagnóstico da GC e do Plano de Gestão do Conhecimento utilizando o Método OKA”.
Essa tabela segmenta o instrumento de levantamento de dados identificando: (i) qual característica do modelo construído para qualidade de processo está sendo medida na pergunta (seção 3.7.2.2) – Funcionalidade, Usabilidade, Manutenção e Portabilidade; (ii) a qual visão de qualidade essa característica está vinculada – qualidade de processo (seção 2.8.2); (iii) o texto explicativo da característica que está sendo medida; e (iv) as perguntas que compõem o questionário.
Tabela 18 – Perguntas por característica de qualidade na validação do Processo
Característica: Funcionalidade Qualidade de Processo
A funcionalidade do processo é a existência de funções que satisfaçam as necessidades estabelecidas como meta ou as necessidades implícitas para o alcance do objetivo final.
01 – Este processo possibilita a execução das atividades de análise dos resultados gerados pela aplicação do método OKA?
02 – Este processo possibilita a execução das atividades de geração do documento Diagnóstico da GC apresentando o resultado do diagnóstico pelo método OKA?
03 – Este processo possibilita a execução das atividades de geração do documento Plano de Gestão do Conhecimento contendo o planejamento da implantação das ações de melhoria da GC resultantes da análise do diagnóstico pelo método OKA?
Característica: Usabilidade Qualidade de Processo
A usabilidade do processo é: i) a análise de se a documentação do processo está completa, clara e de fácil entendimento para o usuário, provendo informações consistentes sobre o uso, recursos e limitações do processo; ii) se a interface do processo com o usuário é amigável; se há treinamentos e suporte disponíveis para a execução do processo; iii) como está a capacidade do processo de adaptação a domínios específicos.
04 – A documentação deste processo está completa para atender ao usuário no suporte da sua execução?
05 – A documentação deste processo é de fácil compreensão no seu uso?
06 – A documentação deste processo apresenta com clareza os recursos necessários à sua execução?
07 – O fluxo do processo é de execução simples?
Característica: Portabilidade Qualidade de Processo
A portabilidade do processo implica na capacidade de ser executado em vários ambientes diferentes adequando-se a culturas diferentes, níveis de maturidade diferentes e metas ou visões estratégicas diferentes, atendendo a todos e cumprindo os objetivos de cada usuário conforme suas necessidades de uso.
08 – Este processo pode ser ajustado para condições específicas de execução em diferentes organizações?
Nota: Essas condições específicas podem ser, por exemplo, culturas diferentes, níveis de maturidade diferentes, metas ou visões estratégicas diferentes.
Característica: Manutenção Qualidade de Processo
A manutenção do processo é o esforço necessário para fazer adaptações no processo modificando seu escopo ou estrutura. O ideal é que isso seja fácil de realizar, possivelmente até pelo próprio usuário.
09 – As adaptações a este processo são de fácil operacionalização em caso de necessidade de atualização para adequar-se a novos paradigmas?
Fonte: Elaborado pela autora