A componente aleat´oria que constitui o modelo de regress˜ao linear m´ultipla, i, ∀i =
1, . . . , n, admite uma distribui¸c˜ao de probabilidade que usualmente, para efeitos de inferˆen- cia estat´ıstica, se sup˜oe ser Normal, sendo este um dos pressupostos de elevada importˆancia uma vez que a sua viola¸c˜ao n˜ao permite a obten¸c˜ao da distribui¸c˜ao de probabilidade de um conjunto de vari´aveis aleat´orias que constituem a base do processo de constru¸c˜ao de intervalos de confian¸ca e/ou testes de hip´oteses para os parˆametros do modelo.
Em Alpuim (2013) a elabora¸c˜ao dos testes de hip´oteses ´e baseada nas ”Condi¸c˜oes de Gauss Markov”, da normalidade dos termos de erro e, tamb´em, no seguinte teorema: Teorema 1. Seja Y = Xβ + um modelo linear em que = [1. . . n]T ´e um vetor de
vari´aveis aleat´orias independentes e identicamente distribu´ıdas, com distribui¸c˜ao Normal N (0, σ2). Ent˜ao,
1. O estimador de m´ınimos quarados do vetor de parˆametros β, isto ´e, β =ˆ (XTX)−1XTY tem distribui¸c˜ao Normal multivariada, N (β, σ2(XTX)−1); 2. A vari´avel aleat´oria
(n − p − 1)S2
σ2 =
T
σ2 (3.26)
tem distribui¸c˜ao Qui-quadrado com n − p − 1 graus de liberdade; 3. ˆβ e S2 s˜ao independentes.
De notar que com este resultado ´e poss´ıvel construir qualquer uma das estat´ısticas de teste subjacentes aos testes de hip´oteses utilizados no presente estudo.
Nulidade de um coeficiente: Teste t
Tendo em conta o princ´ıpio da parcim´onia na elabora¸c˜ao de um modelo preditivo, ou seja, num cen´ario em que existam dois modelos distintos, que n˜ao difiram significativa- mente no que diz respeito `a qualidade do ajustamento, deve optar-se sempre pelo mais simples. Ao adicionar uma vari´avel a um modelo de regress˜ao s˜ao esperadas as seguintes situa¸c˜oes: aumenta a soma de quadrados da regress˜ao e a soma de quadrados dos erros di- minui, por outro lado a variˆancia dos valores ajustados aumenta. Assim sendo, deve-se ter em conta que apenas se devem incluir num modelo as covari´aveis que explicam a vari´avel resposta, ou seja, aquelas cujo coeficiente ´e estatisticamente diferente de zero.
Desta forma, nesta Sec¸c˜ao ser´a explorado o problema de avaliar a significˆancia de cada uma das covari´aveis per si, ou seja, ser˜ao realizados testes `a nulidade de cada um dos parˆametros βj, j = 1, . . . , p, de forma isolada. As hip´oteses em teste ser˜ao ent˜ao dadas por
Cap´ıtulo 3. Modelos de Regress˜ao Linear
A n˜ao rejei¸c˜ao de H0 significa, neste caso, n˜ao rejeitar a nulidade do parˆametro em
teste, o que equivale a dizer que a vari´avel xj que lhe est´a subjacente n˜ao influencia
significativamente a vari´avel resposta Y e, consequentemente, n˜ao deve ser inclu´ıda no modelo.
No ponto 1 do Teorema 1 ´e referido que ˆβ ∼ N (β, σ2(XTX)−1), pelo que se se considerar zij como o j-´esimo elemento da diagonal principal da matriz (XTX)−1 tem-se
que V ar( ˆβj) = σ2zij. Utilizando os pontos do Teorema 1 e tendo em conta que o quociente
entre uma Normal padr˜ao e a ra´ız de uma Qui-quadrado a dividir pelo seu n´umero de graus de liberdade tem distribui¸c˜ao t de Student com esses mesmos graus de liberdade, conclui- se que, sob a validade da hip´otese nula, uma estat´ıstica de teste poss´ıvel para testar as hip´oteses mencionadas ´e
T = ˆ βj √ σ2z jj r (n−p−1)S2 σ2 n−p−1 = ˆ βj S√zjj ∼ tn−p−1, j ∈ {1, . . . p}.
A regi˜ao de rejei¸c˜ao do teste bilateral, cujas hip´oteses foram definidas em 3.27, ´e dada por | ˆβj|
S√zjj
> tn−p−1;1−α2,
em que tn−p−1;1−α2 representa o quantil de probabilidade 1−α2 da distribui¸c˜ao t de Student
com n − p − 1 graus de liberdade.
Em qualquer modelo preditivo ´e imprescind´ıvel reconhecer quais as vari´aveis que me- lhor explicam o acontecimento que se pretende modelar e podendo existir um grande n´u- mero de combina¸c˜oes de vari´aveis a considerar, ´e necess´ario determinar qual o subconjunto destas que melhor explica a vari´avel resposta entre todas as covari´aveis dispon´ıveis.
Note-se que a sele¸c˜ao de apenas um subconjunto de vari´aveis implica uma equidade entre o compromisso de obten¸c˜ao do m´aximo de informa¸c˜ao poss´ıvel e o da obten¸c˜ao de estimativas com variˆancia o mais reduzida poss´ıvel. Desta forma, surgiram v´arios m´etodos de sele¸c˜ao de vari´aveis, uma vez que a escolha destas ´e um dos dilemas na an´alise de regress˜ao. Salientam-se os m´etodos de sele¸c˜ao de covari´aveis considerados neste estudo: o m´etodo regressivo (backward elimination), o m´etodo progressivo (forward selection) e o m´etodo passo a passo (stepwise method ), que foram verificados em Chatterjee & Hadi (2009) e em Chatterjee (2000):
– M´etodo de sele¸c˜ao regressiva (Backward elimination )- ´e um m´etodo de ex- clus˜ao de vari´aveis, uma vez que se inicia com o modelo completo e em cada itera¸c˜ao ´
e eliminada a vari´avel menos significativa, at´e que se obtenha um modelo em que todas as vari´aveis que o constituem s˜ao significativas;
Modela¸c˜ao Estat´ıstica: um estudo na Gest˜ao Empresarial Local
de vari´aveis, uma vez que o procedimento se inicia com o modelo nulo e as vari´aveis v˜ao sendo adicionadas, uma a uma, conforme a importˆancia que tˆem na explica¸c˜ao da vari´avel resposta. O processo termina quando se chega a uma vari´avel que j´a n˜ao acrescenta valor ao modelo;
– M´etodo de sele¸c˜ao (Stepwise method )- ´e um m´etodo que n˜ao segue uma dire- ¸
c˜ao ´unica no que toca `a sele¸c˜ao das vari´aveis. Este m´etodo consiste na inclus˜ao e remo¸c˜ao sequencial de vari´aveis independentes, at´e que n˜ao existam mais vari´aveis significativas a incluir no modelo, ou que todas as vari´aveis j´a inclu´ıdas no modelo sejam significativas.
Nulidade de todos os coeficientes: Teste F
Nos modelos de Regress˜ao Linear M´ultipla, caso todos os coeficientes de regress˜ao sejam nulos, com exce¸c˜ao daquele que corresponde ao termo constante (β0), a equa¸c˜ao do modelo
reduz-se a Y = β0 + . Logo, admitindo que todas as covari´aveis tˆem coeficiente nulo,
assume-se que nenhuma dessas vari´aveis tem poder explicativo sobre a vari´avel resposta e, consequentemente, o ajustamento de um modelo linear ao conjunto de observa¸c˜oes em considera¸c˜ao n˜ao ´e adequado. Desta forma, para averiguar a utilidade do modelo testa-se a hip´otese de que todos os coeficientes de regress˜ao sejam simultaneamente nulos, ou seja, realizar um teste sob as hip´oteses:
H0 : β1 = β2 = . . . = βj = 0 vs H1: ∃j ∈ {1, . . . , p} : βj 6= 0.
A n˜ao rejei¸c˜ao da hip´otese nula indica que n˜ao existe raz˜ao para que n˜ao se considerem nulos todos os coeficientes de regress˜ao e, portanto, o modelo ´e in´util. Todavia, a n˜ao rejei¸c˜ao da hip´otese nula n˜ao implica uma poss´ıvel melhoria do modelo, apenas indica que pelo menos uma das covari´aveis contribui significativamente para explicar a vari´avel resposta
Um teste para esta hip´otese baseia-se na Parti¸c˜ao da Soma de Quadrados que se apresentou em 3.25. A divis˜ao dos membros dessa igualdade por σ2 resulta em:
SQT σ2 = SQE σ2 + SQR σ2 ⇔ Pn i=1(Yi− Y )2 σ2 = Pn i=1(Yi− ˆYi)2 σ2 + Pn i=1( ˆYi− Y )2 σ2 . (3.28)
De forma de avaliar a utilidade do ajuste do modelo de regress˜ao aos dados ´e efetuada a compara¸c˜ao da fra¸c˜ao da variˆancia explicada pelo modelo de regress˜ao (SQR) com a da variˆancia atribu´ıda aos res´ıduos (SQE). Caso a primeira seja significativamente superior `
a segunda, conclui-se que o modelo ´e significativo. Esta compara¸c˜ao ´e efetuada com base na distribui¸c˜ao estat´ıstica da raz˜ao entre estas duas variˆancias.
Ora, pelo Teorema 1 sabe-se que SQEσ2 = e Te
σ2 tem distribui¸c˜ao Qui-quadrado com n − p − 1 graus de liberdade. Sob a validade de H0, o modelo resume-se ao modelo
nulo e, portanto, Pn
i=1(Yi− Y )2 coincide com Pni=12i =
Pn
Cap´ıtulo 3. Modelos de Regress˜ao Linear
soma dos quadrados dos desvios `a media de vari´aveis aleat´orias Normais independentes e identicamente distribu´ıdas com valor m´edio nulo e variˆancia σ2, que se sabe ter distribui¸c˜ao Qui-quadrado com n − 1 graus de liberdade.
Isolando SQRσ2 do lado esquerdo da express˜ao 3.28 rapidamente se conclui que a parcela em ep´ıgrafe tem tamb´em distribui¸c˜ao com p = (n − 1) − (n − p − 1) graus de liberdade, uma vez que resulta da diferen¸ca entre duas covari´aveis ambas com distribui¸c˜ao Qui-quadrado.
Como SQRσ2 e
SQE
σ2 s˜ao duas quantidades independentes, a estat´ıstica de teste, que corresponde ao quociente entre elas, sob a validade da hip´otese nula, segue uma distribui¸c˜ao F com p e n − p − 1 graus de liberdade, ou seja,
F = SQR p SQE n−p−1 ∼ Fp;n−p−1.
Obtendo valores elevados da estat´ıstica de teste, leva a concluir que pelo menos uma das covari´aveis ´e significativa na explica¸c˜ao da variabilidade das observa¸c˜oes e, por isso, nesses casos rejeita-se H0.
´
E usual apresentar os resultados de uma an´alise como a que se acabou de descrever numa tabela ANOVA (Analysis Of Variance) conforme se apresenta na Tabela 3.1.
Tabela 3.1: Tabela ANOVA.
Origem da varia¸c˜ao Soma de quadrados Graus de liberdade M´edia de quadrados Estat´ıstica de teste
Regress˜ao SQR p M QR
F0= M QRM QE
Res´ıduos SQE n − p − 1 M QE
Total SQT n − 1