2.3 Læring og kunnskapsdeling i prosjektbaserte organisasjonar
2.3.3 Læringslandskapet: "Læringsmekanismane i praksis"
Incialmente procedeu-se análise exploratória dos dados para cada coordenada colorimétrica separadamente. Os valores considerados outliers foram identificados de acordo com a distância interquartídea e então substituídos pela média até o limite de 10% do tamanho da amostra. Em seguida a análise descritiva foi conduzida novamente e duas abordagens foram adotadas. Na primeira, para cada corpo-de-prova, foram calculadas as diferenças entre os valores da mesma coordenada nos dois momentos de leitura (ΔL*, Δa*, Δb*). O pressuposto de normalidade das diferenças foi avaliado por meio das medidas de forma Assimetria e Curtose, o qual foi atendido de acordo os limites propostos por Kline43.
Em seguida, foram calculados limites de concordância e construídos gráficos de dispersão do tipo Bland-Altman utilizando-se o programa MedCalcStatistical Software, versão 13.2.0 (MedCalc Software bvba, Ostend, Belgium; http://www.medcalc.org; 2014).12,48 A
reprodutibilidade intraexaminador das medidas das três coordenadas colorimétricas foi estimada por meio do Coeficiente de Correlação Intraclasse () e seu Intervalo de Confiança (IC95%), para concordância absoluta e medidas únicas, considerando-se o modelo de Análise
de Variância a dois fatores aleatórios49. Em função do valor de obtido, o grau de
concordância entre as medidas foi classificado segundo a proposta de Fermanian26 (Tabela
1). O nível de significância adotado foi de 5%. Os valores das medidas das três coordenadas nos dois momentos de leitura (ΔL*, Δa*, Δb*) também foram utilizados para o cálculo do ΔE, de acordo com a Equação 1, para se avaliar o comprometimento que uma possível falta de concordância possuiria do ponto de vista prático. Cabe esclarecer que o estatístico responsável pelas análises esteve cego quanto à origem dos dados.
Tabela 1. Classificação da concordância, segundo proposta de Fermanian26. Araraquara,
São Paulo, 2014. CCI Concordância <0,31 Nula 0,31├0,51 Pobre 0,51├0,71 Moderada 0,71├0,91 Boa 0,91├┤1,00 Muito boa
5 RESULTADOS
De acordo com a Tabela 2, os espécimes que tiveram as medidas de cor realizadas na superfície de esmalte mostraram os maiores valores de leitura para a coordenada L* e baixa variabilidade entre os diferentes corpos-de-prova (CVL*1=5,77%; CVL*2=5,86%), em
relação aos demais parâmetros colorimétricos. Os dois outros parâmetros (a* e b*) apresentaram valores baixos de leituras, compreendendo valores negativos e positivos. A dispersão entre esses espécimes foi extremamente alta, especialmente para a coordenada b* (CVa*1=159,34%; CVa*2=205,23%; CVb*1=2232,54%; CVb*2=35935,72%).
Tabela 2. Estatísticas descritivas da avaliação das coordenadas colorimétricas L*, a*, b* obtidas em dois momentos distintos de avaliação (1 e 2) para os espécimes de esmalte bovino. Araraquara, São Paulo, 2014.
Coordenadas Estatísticas
Colorimétricas Média Desvio-padrão Mediana Mínimo Máximo
L*1 59,87 3,45 59,90 48,22 67,35 L*2 60,22 3,53 60,55 49,32 68,39 a*1 -0,66 1,05 -0,74 -2,87 2,76 a*2 -0,51 1,05 -0,58 -3,03 3,26 b*1 -0,11 2,43 -0,51 -5,06 6,85 b*2 -0,01 2,56 -0,68 -5,03 7,37
Os gráficos de dispersão Bland-Altman para análise de concordância dos parâmetros L*, a* e b* nos espécimes em esmalte estão mostrados na Figura 12 (L, a, b). Para a coordenada L*, foi observado que 7% dos espécimes apresentaram diferenças (ΔL*) fora dos limites de concordância estabelecidos, sendo 6% abaixo do limite inferior. Graficamente notou-se suave tendência do ΔL* diminuir proporcionalmente ao aumento nos valores médios da coordenada L*, no entanto, a correlação não foi estatisticamente significativa (r=- 0,095; t= -0,9444; p= 0,3472). Notou-se que 8% dos espécimes apresentaram Δa* fora da faixa de 95% concordância, distribuídos uniformemente acima e abaixo dos limites. No gráfico é possível verificar uma nuvem de pontos sem nenhuma tendência aparente, o que
foi confirmada pela correlação não significativa entre o Δa* e a média das leituras (r=0,0067; t=0,0661; p= 0,9474).
A análise da concordância entre as duas leituras da coordenada b* mostrou que 7% dos espécimes apresentaram Δb* fora dos limites de concordância estabelecidos, sendo 5% acima do limite superior. Notou-se graficamente uma tendência do Δb* diminuir proporcionalmente ao aumento nos valores médios dessa coordenada, a qual foi considerada estatisticamente significativa (r=-0,2444; t=-2,4947; p=0,0142). Apesar disso, essa correlação possuiu força reduzida já que apenas 5,97% das variações no Δb* podem ser explicados pela variação nos valores médios da coordenada b*.
Os corpos-de-prova com a superfície dentinária exposta mostraram comportamentos diferentes para cada coordenada colorimétrica (Tabela 3). De forma semelhante ao esmalte, a coordenada L* apresentou os maiores valores de leitura e a menor variabilidade inter- amostras (CVL*1=6,54%; CVL*2=6,36%), enquanto que os valores medidos para o parâmetro
a* compreenderam valores negativos e positivos e alta variabilidade (CVa*1=113,38%;
CVa*2=105,33%). As leituras da coordenada b* apresentaram apenas valores positivos e
variabilidade intermediária entre os demais parâmetros (CVb*1=30,33%; CVb*2=30,47%).
Tabela 3. Estatísticas descritivas da avaliação das coordenadas colorimétricas L*, a*, b* obtidas em dois momentos distintos de avaliação (1 e 2) para os espécimes de dentina bovino. Araraquara, São Paulo, 2014.
Coordenadas Estatísticas
Colorimétricas Média Desvio-padrão Mediana Mínimo Máximo
L*1 63,39 4,15 63,47 51,92 73,54 L*2 63,12 4,01 63,07 51,52 72,56 a*1 -0,66 0,74 -0,63 -2,14 1,85 a*2 -0,70 0,74 -0,63 -2,37 2,08 b*1 8,28 2,51 8,20 3,32 14,71 b*2 8,10 2,47 8,19 2,56 13,80
Os gráficos de dispersão Bland-Altman para análise de concordância dos parâmetros L*, a* e b* nos espécimes em dentina estão mostrados na Figura 13 (L, a, b), respectivamente.
Foi observado que 12% dos espécimes apresentaram ΔL* fora da faixa de 95% concordância, distribuídos uniformemente acima e abaixo dos limites. Apesar da discreta tendência linear observada graficamente, a correlação entre o ΔL* e a média das leituras não foi significativa (r=0,1193; t=1,1891; p=0,2372). Para a coordenada a*, 8% dos espécimes apresentaram Δa* fora da faixa de 95% concordância, distribuídos uniformemente acima e abaixo dos limites. A maioria das diferenças entre os valores obtidos nas duas leituras (60%) se localizaram abaixo da média calculada e a nuvem de pontos não mostrou correlação linear entre o Δa* e a média das leituras (r=0,0145; t=0,1440; p= 0,8858). Com relação à coordenada b*, observou-se que 4% dos corpos-de-prova apresentaram Δb* fora da faixa de 95% concordância. As diferenças entre os valores obtidos nas duas leituras se distribuíram uniformemente (50%) acima e abaixo da média calculada, sendo observada correlação não significativa entre o Δb* e a média das leituras (r=0,0625; t=0,6203; p=0,5365).
A análise de reprodutibilidade intraexaminador mostrou valores de CCI classificados como “Muito Bom” (CCI ≥ 0,91) de acordo com a proposta de Fermanian26 para as todas as
coordenadas nos dois tipos de espécimes, com exceção da coordenada a* em esmalte bovino, a qual foi considerada “Boa” (0,71≤CCI>0,91). Para as leituras em esmalte, não se observa cruzamento dos limites dos IC95% da coordenada a* com as demais, confirmando a
menor reprodutibilidade desse parâmetro (Figura 14) Nos espécimes de dentina, a coordenada a* também mostrou valor de CCI inferior, porém houve embricamento com os IC95% das outras medidas, embora isto tenha ocorrido bem próximo ao limite dos intervalos.
A realização de duas leituras em cada espécime também possibilitou estimar a variação de cor (ΔE) entre os dois momentos. Para os corpos-de-prova com superfície em esmalte, observou-se média de ΔE=1,02 (IC95%=0,92-1,12; Mínimo=0,05; Máximo=2,59) e
as medidas em dentina resultaram em média de ΔE=1,16 (IC95%=1,01-1,32; Mínimo=0,14;
Figura 12. Dispersão das diferenças entre a primeira e a segunda leitura das três coordenadas colorimétricas (ΔL*, Δa*, Δb*) em relação à média das duas leituras (gráfico Bland-Altman) dos corpos-de-prova de esmalte bovino. A linha contínua refere-se à média das diferenças e as linhas tracejadas referem-se aos limites de concordância (1,96 x desvio padrão) superior e inferior. Araraquara, São Paulo, 2014.
Figura 13. Dispersão das diferenças entre a primeira e a segunda leitura das três coordenadas colorimétricas (ΔL*, Δa*, Δb*) em relação à média das duas leituras (gráfico Bland-Altman) dos corpos-de-prova de dentina bovino. A linha contínua refere-se à média das diferenças e as linhas tracejadas referem-se aos limites de concordância (1,96 x desvio padrão) superior e inferior. Araraquara, São Paulo, 2014.
Figura 14. Coeficiente de Correlação Intraclasse (CCI) e respectivos Intervalos de Confiança (IC95%) obtidos para análise de reprodutibilidade intra-examinador das três coordenadas colorimétricas (L*, a*, b*) em esmalte e dentina bovina. Araraquara, São Paulo, 2014.
6 DISCUSSÃO
Em qualquer pesquisa científica, o requisito essencial para a realização de uma medida é que os dados obtidos a partir dela sejam válidos e confiáveis23. As
análises de concordância e reprodutibilidade são abordagens estatísticas utilizadas para se avaliar confiabilidade e dizem respeito ao grau em que medidas repetidas em unidades experimentais estáveis (pacientes e corpos-de-prova, por exemplo) proporcionam resultados semelhantes. A variação existente entre diferentes avaliações em uma mesma unidade amostral é reconhecido como o erro de medida11.Dessa forma, cabe aos pesquisadores a quantificação e controle desse
componente de erro,a fim de garantir que as fontes de variação não desejadas sejam controladas adequadamente para a coleta dos dados.
O estudo da cor na Odontologia vem sendo frequentemente realizado por meio de medidas baseadas no espaço CIELAB, as quais podem ser obtidas com a utilização de equipamentos como os espectrofotômetros38. Os fabricantes desses
dispositivos normalmente garantem a calibração de fábrica dos mesmos, o que muitas vezes é mal interpretado levando à sua utilização científica sem a realização de calibração dos pesquisadores para a tomada das medidas colorimétricas1,4,14,16,18,21- 2,24,31,46-7,50,64.Já foi previamente descrito que a superfície onde o espectrofotômetro é
amparado no momento das leituras, assim como a luminosidade do ambiente podem interferir nos valores de L*, a* e b* aferidos e, quando tais fatores não são controlados durante um experimento, causam prejuízos na reprodutibilidade dos dados2,16. De fato,
é sugerido na literatura que diferenças entre os valores provenientes de medidas repetidas podem resultar do próprio instrumento de medida e das circunstâncias em que as medições são realizadas, como temperatura e luminosidade23.Outras fontes de
variação podem ser provenientes da variação biológica e temporal, características da variável dependente em análise, como é o caso da cor23.Por essa razão, no presente
estudo as medidas de cor nos dois momentos de avaliação foram realizadas segundo as recomendações de Camposet. al.16, sendo utilizados um mesmo ambiente físico,
uma placa de acrílico branco leitosa sob o anteparo do espectrofotômetro, controle da iluminação natural e artificial, e o intervalo entre as medidas repetidas foi de apenas uma hora.
Uma vez controlada a variação natural, a relacionada ao instrumento e acircunstancial, espera-se que qualquer diferença encontrada entre medidas repetidas
tenha origem aleatória, a qual teoricamente não pode ser controlada, mas possui a tendência a se anular dentro de um mesmo experimento. Além disso, foi estabelecido um protocolo para confecção de corpos-de-prova de dente bovino com dimensões uniformizadas e superfícies de leitura regularizadas, de forma a se diminuir a variabilidade entre os diferentes espécimes. Após essas padronizações, as leituras das coordenadas colorimétricas foram tomadas por um único examinador, em dois momentos distintos, e foram conduzidas as análises para avaliação de concordância e reprodutibilidade.
Uma técnica muito utilizada para avaliação de confiabilidade de uma medida quantitativa é o Coeficiente de Correlação Intraclasse (CCI). De acordo com essa proposta, a variabilidade total do experimento é dividida em uma parcela devida as diferentes unidades amostrais e outra devida à variabilidade dentro de cada unidade amostral (erro de medida). Os valores de CCI podem variar de zero a um, sendo que quando não há erro de medida, isso é, quando todas as medidas para a mesma unidade são iguais, o CCI é igual a um48.Neste trabalho observou-se valores
de CCI elevados (> 0,91) para todas as coordenadas em ambos os substratos, com exceção da coordenada a* em esmalte. Como os valores de CCI não possuem unidade de medida, neste trabalho optou-se pela utilização da classificação proposta por Fermanian em 198426 para auxiliar na interpretação dos dados.De acordo com
esse critério, a reprodutibilidade intra-examinadorda coordenada a* em esmalte foi considerada ‘Boa’, enquanto que para os demais parâmetros, a reprodutibilidade foi considerada como ‘Muito Boa’.Campos et al.16 também notaram pior reprodutibilidade
da coordenada a* em relação as demais coordenadas para avaliação de cor em espécimes de resina composta. Com relação à avaliação em dentes naturais, Doyglaset.al.25 reportou valores de CCI maiores que 0,94 para todas as coordenadas
CIELab (intra e inter-examinadores) quando um colorímetro acoplado a um dispositivo confeccionado com o intuito de padronizar análise de cor intra-bucal foi utilizado. No estudo conduzido por Hassel et. al.33 valores de CCI acima de 0,73 e 0,83 foram
obtidos durante avaliação de reprodutibilidade inter-examinador de um espectrofotômetro clínico em superfície de esmalte de incisivos e caninos, respectivamente. No entanto, as coordenadas colorimétricas L*C*h* foram utilizadas, o que não permite uma comparação direta com os resultados do presente estudo. Além disso, os autores não relataram calibração intra-examinadores previamente as análises. Resultados semelhantes foram encontrados por Browninget. al.15 que
também realizaram avaliação intra-bucal com espectrofotômetro e verificaram CCI de 0,87 e 0,80 para as coordenadas Luminosidade e Croma, respectivamente.
Nesse estudo, a concordância das medidas também foi investigada pela construção do gráfico Bland-Altman9,11-2 considerada uma abordagem relativamente
simples e eficaz. Esse método se baseia na construção de um diagrama de dispersãoXY no qual a média obtida nos dois momentos de leitura, para cada unidade amostral, é colocada no eixo X e a diferença entre os valores das duas leituras no eixo Y. Em seguida, são calculados os limites de concordância para as diferenças observadas, sendo a média e o desvio-padrão dessas diferenças a base para o cálculo dos limites. É esperado que esses limites incluam 95% das diferenças entre as duas medidas.48,51 De acordo com essa proposta, foi possível observar que,
independentemente do substrato utilizado, as leituras relacionadas à luminosidade (L*: branco-preto) mostraram maior amplitude dos limites de concordância, e consequentemente, menor concordância entre as medidas repetidas, seguida da coordenada b* (azul-amarelo) e da a* (verde-vermelho). Também foi possível notar que, para os parâmetros L* e b*, os limites de concordância foram mais amplos na análise em dentina, em comparação com as análises em esmalte, sugerindo que a tomada da cor em dentina produza resultados menos precisos para essas coordenadas.
Outra observação possível de ser realizada após a construção dos gráficos foi acorrelação significativa entre os valores de Δb* e a média das duas avaliações dessa coordenada em esmalte, sugerindo a possível ocorrência de um viés proporcional.A coordenada b* se relaciona com o eixo azul-amarelo e a correlação negativa indicou que quanto mais próxima da cor amarela, menor é a concordância das leituras. Tem sido sugerido que características intrínsecas do esmalte podem influenciar negativamente as medidas, como a sua superfície côncava e a heterogeneidade da cor num mesmo elemento dental33,65.Na dentina, apesar de não
se observar esse mesmo viés proporcional, os limites de concordância da coordenada b*foram mais amplos em comparação com o esmalte. Pela própria composição da dentina, espera-se que esta superfície apresente coloração com maior tendência ao amarelo do que o esmalte, o que foi confirmado pelas leituras em espectrofotômetro (todos os espécimes apresentaram valores positivos nas leituras indicando tendência ao amarelo). Isso mais uma vez parece indicar que leituras da coordenada b* com maior tendência a cor amarela podem apresentar maiores problemas de concordância.No entanto, mesmo quando o viés proporcional foi observado deve-se levar em consideração que uma fraca correlação foi observada e sua interpretação precisa ser feita com cautela, principalmente porque não foram encontrados estudos que tenham relatado um comportamento semelhante.
Como já descrito anteriormente, uma pequena diferença entre duas medidas repetidas na mesma amostra, sob as mesmas condições, é inevitável e fruto do erro aleatório inerente à medida que se pretende realizar. O importante, portanto, é se estimar o quanto as medidas discordam e se estabelecer qual o nível de discordância aceitável na prática12. No entanto, o julgamento de quão relevante é a
discordância na prática é uma questão que os métodos estatísticos não podem responder sozinhos, pois está na dependência de características inerentes a variável de resposta e seu contexto clínico12,51.Por essa razão, as medidas obtidas nas duas
leituras, para cada substrato, foram utilizadas para o cálculo do ΔE, o qual representa a alteração de cor entre dois momentos distintos e é o parâmetro clínico considerado para análise de estabilidade de cor.
Para os corpos-de-prova com superfície em esmalte, a média dos valores de ΔE foi de 1,02 (IC95%: 0,92-1,12) e para dentina foi encontrada a média de
1,16 (IC95%: 1,01-1,32). Resultado semelhante foi encontrado durante avaliação da
reprodutibilidade de um espectrofotômetro intra-bucal, no qual um ΔE médio de 1,50 foi relatado15.Por outro lado, a utilização de colorímetrosintra-bucais resultaram em
valores de ΔE com alta variabilidade entre os dentes aferidos, variando de 0,25 a 2,02 e de 1,1 a 32,1 nos estudos de Douglas et. al.25 e Goldstein &Schmitt,29
respectivamente. No presente estudo, apesar da diferença entre as médias de esmalte e dentina não ser considerada estatisticamente significativa, é importante relatar que dois espécimes confeccionados em dentina apresentaram ΔE > 3,30, o que é considerado o parâmetro clínico de percepção de alteração de cor a olho nu36,56,67. De
acordo com Goldstein & Schmitt29, quando um instrumento proporciona leituras de cor
com um erro de medida grande, este poderia estar falsamente indicando uma mudança de cor, o que não é aceitável nas pesquisas científicas. Assim, os resultados apresentados, juntamente com os dados da literatura chamam atenção uma vez que a baixa concordância das leituras (altos valores de ΔE) pode ter implicações na qualidade dos resultados dos estudos, pois a diferença encontrada por efeito de erro de medida poderia ser interpretada como uma alteração de cor devido a algum procedimento terapêutico, como o clareamento. A baixa concordância pode ser explicada pela dificuldade intrínseca das leituras cor em dentes naturais, já que estes apresentam superfície e composição irregular65, ou seja, as medidas colorimétricas só
poderiam ser perfeitamente repetidas se o ponto exato fosse medido duas vezes65.Na
tentativa de minimizar esses problemas, foram feitas marcações nos corpos-de-prova para que estes fossem igualmente posicionados nos dois momentos de leitura. No
entanto, a realização dessa padronização parece não ter sido suficiente para se evitar baixa concordância em alguns espécimes.
Kottner et al.44 em 2011 publicaram um texto com o propósito de
estabelecer uma diretriz para redação de textos científicos frutos de análise de confiabilidade e concordância, a qual foi denominada GRRAS (Guidelines for
Reporting Reliability and Agreement Studies)44.De acordo com essa diretriz, o nível de
mensuração da variável dependente, ou de resposta, tem papel determinante na seleção do tipo de análise a ser conduzida, juntamente com o objetivo do estudo. Para estudo de confiabilidade e concordância em variáveis quantitativas contínuas, o Coeficiente de Correlação Intraclasse (CCI) e o gráfico Bland-Altman são considerados métodos apropriados e por isso foram utilizados nesse estudo44.
Do ponto de vista estatístico, o cálculo do CCI é considerado adequado para estudos de reprodutibilidade de uma variável numérica sendo que o delineamento do estudo deve ser levado em consideração para se determinar qual a versão apropriada do CCI aos dados em análise44,48-9. No entanto, algumas limitações do CCI
vêm sendo apontadas na literatura como a falta de uma interpretação clínica imediata para o valor estimado, a sua dependência ao grau de variabilidade nas amostras, e a falta de informação sobre possíveis vieses nos dados48. É importante ressaltar que
embora o termo ‘correlação’ esteja presente na denominação do CCI, o cálculo deste índice e sua interpretação são muito distintos dos coeficientes de correlação simples. Embora ainda sejam utilizadas para avaliação de reprodutibilidade em estudos de cor54,59,coeficientes de correlação como o de Pearson ou Spearman são considerados
abordagens desaconselhadas para análise de concordância e reprodutibilidade10-1,61,.
Por outro lado, no diagrama de Bland-Altman é possível visualizar o viés (o quanto as diferenças se afastam do valor zero), o erro (a dispersão dos pontos das diferenças ao redor da média), além de outliers e tendências34.Em uma busca simples
no Pubmed, com o termo ‘Bland-Altman plot’ nos últimos 5 anos, foram encontrados 543 registros de artigos de diversas áreas cujo objetivo é a análise de precisão de medidas. No entanto, não foram encontrados trabalhos que tenham utilizado essa técnica para o estudo de concordância de instrumentos de cor em Odontologia. Uma vantagem importante dessa abordagem é a possibilidade de se identificar pares de avaliações cuja diferença esteja além do limite clínico de tolerância48, 61.Análise do ΔE
no presente estudo indicou que alguns espécimes em dentina apresentaram valores considerados clinicamente inaceitáveis. É interessante notar que a interpretação dos gráficos Bland-Altman também sugeriu menor concordância nos dados coletados a
partir das análises em dentina, enquanto que os valores de CCI não sugeriram tal comportamento. Uma eventual desvantagem dessa estratégia é a suposição de distribuição normal para as diferenças, na determinação dos limites de concordância48.Além disso,a construção desse gráfico pode ser considerada uma
análise limitada devido a sua característica descritiva e ao fato de que possibilita a comparação de apenas duas leituras (dois métodos ou dois examinadores). Quando há muitas avaliações o CCI é uma estratégia possível, desde que seja especificado o modelo estatístico adotado48.Os resultados do presente estudo mostraram resultados
complementares após a realização dos dois tipos de análise, o que só contribuiu para uma melhor interpretação dos achados. Assim, embora, dependendo do problema estudado, apenas uma abordagem possa ser suficiente, a utilização de mais de uma forma de análise pode gerar resultados e informações complementares.