Os exames de proficiência possuem escalas para estabelecer os níveis de proficiência definidos de acordo com situações específicas. As escalas de proficiência se constituem como um conjunto de descrições a respeito do quê um examinando é capaz de fazer em uma determinada língua. As escalas se subdividem em níveis e cada um desses níveis descreve um estágio de desenvolvimento de competência, sendo vantajosas e úteis, pois podem ajudar a determinar objetivos de aprendizagem e servir tanto como base para avaliar o progresso de um examinando como para saber quando seus objetivos foram atingidos, segundo informações do SIL (Summer Institute of Linguistics, Inc18).
Para fazer a distinção entre os níveis de proficiência, North (2003) destaca três instrumentos importantes, além das escalas (scales): as grades (grids) e as listas de verificação collection of homework, etc. metalanguage itself is an important source of learning because it is genuinely communicative.
18http://www.sil.org. No original: A proficiency scale is a set of descriptions of what you can do in a language. Each level in the scale describes a stage in your development of competence. Proficiency scales are beneficial when setting language learning goals, or evaluating your progress.
(checklists). Segundo o autor, as escalas se caracterizam como instrumento básico, com descritores para cada faixa. No que diz respeito a uma grade, esta envolve um número de escalas paralelas para categorias diferentes, e uma lista de verificação se constitui como descritores adjuntos para todas essas categorias em uma única faixa pertencente à grade. O Anexo 16 traz exemplificações de escalas, grades e listas de verificação, com base em North (op.cit.).
Uma vez que um dos objetivos do presente estudo é discutir os descritores de vocabulário contidos na escala de proficiência do TEPOLI, esta subseção aborda as teorias referentes às escalas. Normalmente, as escalas distinguem-se em dois tipos: holísticas e analíticas.
As escalas holísticas, conforme afirma Luoma (2004), oferecem uma impressão geral da capacidade de um examinando por meio de uma nota e que, “quando utilizadas como escalas de avaliação, os examinadores podem observar várias diferenças em desempenho ou prestar atenção apenas na impressão geral” (LUOMA, op.cit., p.61)19. As notas atribuídas à oralidade expressam o quão bem os examinandos são capazes de falar a língua avaliada, sendo normalmente categorias numéricas, mas podendo ser também categorias verbais como “excelente” ou “fraco”, ou ainda a combinação de ambas as categorias. Além da nota, de acordo com Luoma (op.cit, p.59), geralmente há afirmações mais curtas ou mais longas que descrevem o que a nota significa e uma série de afirmações que se estendem do nível mais baixo para o mais alto.
Já nas escalas analíticas, a proficiência é separada em categorias linguísticas que descrevem o que os examinandos realmente fazem, ou seja, a proficiência é analisada em seus múltiplos componentes. As escalas analíticas contêm um número de aspectos, geralmente de três a cinco, cada um com descritores para os diferentes níveis das escalas, segundo Luoma
19 No original: When holistic scales are used as rating scales, the raters may be asked to note several different features in the performances or pay attention to overall impression only.
(op.cit). Dentre as categorias que compõem as escalas analíticas, relevantes à avaliação de PO, é possível citar a fluência, tomada de turno, acuidade gramatical, amplitude de vocabulário, etc. A escala analítica forma uma grade e os examinandos recebem um delineamento das notas, sendo uma para cada critério. Segundo Luoma (op.cit, p. 68),
As vantagens das escalas analíticas incluem uma orientação detalhada aos examinadores e informações valiosas sobre determinados pontos fortes ou fracos no desempenho dos examinandos20.
Portanto, as escalas holísticas propõem avaliar a proficiência do examinando como um todo, baseando-se na apreciação subjetiva e impressionista do examinador. Em contrapartida, as escalas analíticas indicam uma avaliação da proficiência de diferentes aspectos do todo, ou seja, avalia separadamente os aspectos envolvidos na PO.
Outrora, por volta dos anos 1950, as primeiras escalas de PO foram produzidas para o teste FSI (Foreign Service Institute), contendo uma lista de verificação composta por aspectos como pronúncia, compreensão, fluência, gramática e vocabulário, avaliados de forma holística (FULCHER, 2003), ou seja, de acordo com uma visão global e integrada. Nos anos 1970, as escalas holísticas foram introduzidas e mais utilizadas na avaliação de produção escrita e produção oral, de acordo com North (op. cit.).
Conforme dito anteriormente, as escalas de proficiência de ACTFL, publicadas em 1982 e redefinidas em 1986, tiveram o intuito de ser compatíveis com as escalas do FSI (Foreign Service Institute), um dos testes orais precursores para se avaliar a competência comunicativa. Durante os anos 1980, segundo North e Schneider (1998), a utilização de escalas de proficiência foi direcionada pela finalidade de transparência nos contextos educacionais, além de tentar uma maior integração internacional, especialmente na Europa.
20 No original: The advantages of analytic scales include the detailed guidance that they give to raters, and rich information that they provide on specific strengths and weaknesses in examinee performances.
Tal fato resultou em uma proliferação de escalas européias que não estavam embasadas em escalas americanas, como por exemplo, British National Language, Eurocentres Scale of Language Proficiency, Finnish Scale of Language Proficiency e ALTE Framework, uma vez que nesse período, as que se baseavam na escala do FSI (Foreign Service Institute) eram bem raras.
De maneira geral, as escalas são “escritas para um propósito e para um determinado contexto”. Assim, as escalas “podem necessitar serem reescritas para contextos diferentes” (LUOMA, 2004, op.cit., p.94)21. Segundo North e Schneider (1998),
Muitas escalas de proficiência representam o que Bachman (1990: 325-330) descreveu como abordagem de mundo real ou comportamental da avaliação, por haver a tentativa de ilustrar o que um examinando é capaz de fazer em contextos de vida real. Já outras escalas adotam o que Bachman descreve como capacidade- interativa, em uma tentativa de descrever os aspectos da capacidade linguística do examinando.22
Dessa maneira, os testes de proficiência têm níveis que são definidos com base no objetivo específico de cada teste. Se há a intenção de se avaliar a proficiência, normalmente tem-se escalas para descrever cada uma das quatro habilidades da língua – leitura (reading), escrita (writing), compreensão oral (listening) e produção oral (speking) – sendo a última habilidade referente à competência linguístico-comunicativa, ou seja, a PO. Segundo Scaramucci (1999, apud SCARAMUCCI, 2000, p.15), um indivíduo alcança um nível mínimo de proficiência estabelecido por um determinado teste ou exame, elaborado com objetivos e conteúdos previamente definidos, o que significa que alcançou a posição de
21No original: (…) scales are always written for a purpose and an audience, and sometimes they may need to be re-written for different audiences.
22 No original: Many scales of proficiency represent what Bachman (1990: 325-330) has described as the "real- life" or behavioural approach to assessment. This is because they try to give a picture of what a learner at a particular level can do in the real world. Other scales take what Bachman describes as an "interactive-ability" approach attempting to describe the aspects of the learner‟s language ability being sampled
domínio desse exame, o ponto ou escore de corte. O nível de proficiência, assim, depende do contexto, o que restringe o conceito de domínio.
O domínio constitui-se no escopo maior da linguagem e assim, o domínio de uso da L- alvo se refere ao conjunto de tarefas específicas de uso da língua que o indivíduo provavelmente encontrará fora da situação de teste. No caso da avaliação de PO, espera-se poder fazer inferências da capacidade linguístico-comunicativa dos examinandos de usar a língua em um domínio de uso de L-alvo. Já no que diz respeito à avaliação de línguas por meio de exames de proficiência, o objetivo principal é poder fazer inferências da capacidade linguística dos examinandos de usar a língua em um domínio de uso de L-alvo (TLU domain), segundo Bachman e Palmer (1996). Tais inferências generalizam àqueles domínios específicos nos quais provavelmente os examinandos precisarão usar a língua e Bachman e Palmer (op.cit., p. 44) mencionam dois domínios importantes: o domínio de vida real (real- life domain), definidor da abrangência de proficiência, em que a língua é utilizada para os propósitos da comunicação e, o domínio de instrução linguística (language instruction domain), em que a língua é usada para o propósito do processo de ensino e aprendizagem.
Ao se desenvolver uma avaliação de línguas, pode-se identificar inicialmente o domínio de uso da L-alvo, ou seja, as situações de uso. No caso deste estudo, o domínio de uso se caracteriza pela produção oral de vocabulário por alunos-formandos em Letras. E no âmbito deste domínio, pode-se identificar um número de contextos de uso da língua diferentes, como, por exemplo, o conhecimento de itens lexicais e a produção oral desses itens, tanto em contextos de ensino como em situações de teste.
O estabelecimento de critérios que possam descrever a PO em diferentes níveis de habilidade, contidos em escalas ou faixas de proficiência, e suas implicações e aplicações na construção de testes orais e atribuições de notas, tem sido o foco de inúmeras pesquisas
desenvolvidas no mundo23. A presença de critérios específicos a respeito do que está sendo avaliado em um determinado teste, em que este se fundamenta, como são validadas as notas atribuídas e em que elas se baseiam é mais do que desejável, é necessária.
Segundo Fulcher (2003), desde o princípio dos processos de desenvolvimento de escalas de avaliação para testes orais, os avaliadores, com interesse na avaliação holística, focavam a atenção na competência linguística e na capacidade comunicativa, o que, por vezes, ainda acontece nos dias de hoje. Para medir a PO de um examinando, é desejável que todos os fatores que a compõem estejam claramente especificados nas faixas das escalas.
Assim, o uso exclusivo de escalas holísticas é muitas vezes rejeitado, pois, segundo North (2003), esse tipo de escala pode oferecer aos examinadores uma visão impressionista e hipotética dos examinandos logo no início do teste. Deste modo, dependendo do propósito do teste é necessário que haja a utilização de escalas holísticas e analíticas para o processo de avaliação da PO. Contudo, cabe notar que as escalas analíticas são mais difíceis no processo de operacionalização do construto, pois requerem mais tempo e atenção por parte dos examinadores. Idealmente, é também desejável que os envolvidos no teste, elaboradores e principalmente os examinadores se submetam a um processo de treinamento, por meio do qual seria facilitada a utilização de escalas analíticas.
Seria igualmente desejável que as faixas descrevessem os níveis de proficiência na língua existentes no mundo real, com as descrições baseadas em termos de elementos da linguagem ou da capacidade funcional, daí a importância de que o construto esteja definido em uma escala de proficiência (FULCHER, op.cit.). Ou seja, para se avaliar a PO, é preciso que se entenda o que a avaliação pressupõe, para assim decidir o tipo de produção oral que se
23
Conforme já citadas no início deste capítulo, as pesquisas na area de avaliação de PO que merecem destaque são as de Saville e Hargreaves (1999); Douglas (2000), O‟Sullivan, Weir e Saville (2002), Lazaraton (2002); Fulcher (2003); Luoma (2004); Brown (2006); Brown e Taylor (2006); Taylor e Falvey (2007); Fulcher e Davidson (2007); Galaczi e Ffrench (2007); Galaczi e Khalifa (2009); além das pesquisas desenvolvidas por Cambridge ESOL (2009).
deseja testar em determinado contexto, por meio de tarefas e critérios de avaliação que testem o desejado, de acordo com Luoma (2004). Além disso, informar aos avaliados o quê está sendo testado e assegurar que o processo de avaliação e as escalas sejam fiéis ao planejado é fundamental.
A produção oral, segundo Luoma (op.cit.), é uma interação significativa entre as pessoas e implica influência mútua, por isso deve-se analisar o tipo de produção oral a ser avaliado em um determinado contexto, em termos de necessidades situacionais e sociais. Assim, retomo o conceito de proficiência de Scaramucci (2000) com vistas à capacidade de usar a competência, ressaltando que a capacidade linguístico-comunicativa, e não a competência comunicativa, que abrange tanto o conjunto de conhecimentos linguísticos e aspectos da comunicação bem como a capacidade de uso, vinculados a fatores socioculturais e situacionais.
Para se avaliar a produção oral no que diz respeito à descrição linguística, a gramática falada e o vocabulário apropriado ao uso da língua são essenciais. Para Fulcher (op. cit.), quando um indivíduo almeja produzir oralmente em LE, deve, além de aprender a gramática e o vocabulário da língua e dominar seus sons, também saber planejar, formular e produzir o que quer dizer, de maneira automática para possibilitar a fluência, a interação, o uso de vocabulário, entre outros fatores importantes para a proficiência oral.
Deste modo, ressalta-se a dificuldade e a complexidade em se abordar a proficiência oral em faixas de proficiência. Os elementos definidores de proficiência organizados em uma escala e distribuídos ao longo de descritores específicos tornam possível inferir a visão de proficiência de um teste.
No que concerne às escalas de proficiência oral, vale lembrar que segundo Luoma (op.cit), as notas representam a qualidade de PO que os examinandos apresentam e são representadas por notas numéricas e descrições. O autor coloca que, uma vez que são
compostas por uma série ascendente de níveis, estão de alguma maneira, relacionadas à aquisição de segunda língua (L2). Porém, não se constituem como objetivo direto das pesquisas sobre aquisição, pois “o objetivo dos estudos sobre aquisição de L2 não têm sido o de construir escalas de avaliação24” (LUOMA, op.cit., p.59). Seria ideal que os descritores correspondessem realmente aos níveis de aquisição, porém a dificuldade incide sobre como validá-los.
Scaramucci (2000) afirma que a avaliação de proficiência nem sempre é conduzida de maneira adequada, comprometendo os resultados dos estudos. No que concerne à avaliação da PO, seria ideal, conforme já mencionado, que os testes tivessem escalas holísticas e escalas analíticas devidamente utilizadas para não comprometer a operacionalização do construto e com vistas à avaliação clara e objetiva dos aspectos linguísticos. Se a avaliação é clara, ganham examinandos e principalmente os examinadores, pois a interpretação que fazem dos descritores de proficiência contidos nas faixas holísticas apenas pode influenciar os resultados da avaliação, decorrendo daí, a importância da utilização conjunta das escalas analíticas.
Uma vez que o foco deste estudo é a análise da produção oral de vocabulário, tanto em contextos de ensino e aprendizagem como em situação de teste, é necessário considerar como a avaliação desse componente é feita pelas faixas de algumas escalas. Isto é, torna-se necessário verificar como determinados testes de PO tratam o vocabulário nos descritores das faixas e principalmente se os testes possuem ainda uma escala analítica além da escala holística.
Sabe-se que a competência lexical influencia o desempenho de uma determinada tarefa juntamente com outras competências linguísticas e a capacidade que os examinandos têm em lidar com determinadas tarefas. Tal fato confere à avaliação de vocabulário na
produção oral muito mais que o mero reconhecimento de palavras. É imprescindível mencionar o uso dessas palavras.
Porém, em níveis mais avançados, por exemplo, muitas faixas fazem referência à capacidade de se expressar com precisão e com vocabulário rico, segundo Luoma (2004). Contudo, cabe considerar que tanto palavras simples, como expressões produzidas oralmente de forma natural, também fazem parte de uma capacidade linguístico-comunicativa avançada, sendo são indícios de uma PO alta. Ou seja, o nível avançado de PO não pressupõe exclusivamente palavras menos frequentes na L-alvo, pois palavras frequentes também fazem parte dessa PO.
Neste estudo, as faixas de proficiência do teste oral do FCE e do teste oral do IELTS são discutidas mais adiante. O foco da discussão incide sobre a produção de vocabulário observada por meio dos referidos instrumentos. Do mesmo modo, as faixas do teste TEPOLI são analisadas para que a linguagem produzida pelos alunos participantes da pesquisa durante os testes seja examinada minuciosamente, com base nos critérios que envolvem o vocabulário.
Portanto, as escalas representam muito mais do que um entendimento sobre o desempenho de um candidato, possibilitando distinguir como um bom desempenho é diferente de um desempenho fraco. Sobretudo, as escalas “fazem parte da definição do construto avaliado no teste” (LUOMA, op.cit., p.59). Vale lembrar que esta tese adota a visão de construto como um conceito teórico e, portanto, não observável, que corresponde à representação de uma capacidade subjacente a ser medida por um teste (McNAMARA, 2000; FULCHER,2003). Os construtos dos instrumentos utilizados neste estudo representam a capacidade linguístico-comunicativa avaliada pelos testes, e neste estudo, a atenção se volta para o vocabulário observado na proficiência oral. Dessa maneira, no que diz respeito a um teste de proficiência oral em LE, por conta das muitas questões que surgem sobre a
subjetividade desse tipo de avaliação, as escalas exercem papel fundamental sobre o quê deve ser avaliado durante a produção oral em uma determinada LE e também sobre a validade de um teste. O conceito de validade é complexo, entretanto, basicamente de acordo com sua conceituação clássica (HUGHES, 1989), refere-se à precisão com a qual ele mede aquilo que se propõe medir.
Esta subseção procurou apresentar algumas questões básicas sobre as escalas de proficiência. A seguir, aprofunda-se o assunto com vistas à questão da validade, do construto e das tarefas de instrumentos de avaliação de proficiência oral.