Capítulo 4: Predicción de la energía eólica
4.4 Métricas para medir el error en la previsión eólica
El error de predicción se define de forma general como la diferencia entre el valor medido y el valor predicho. Por ejemplo, sea P la potencia eólica inyectada a la red para el instante “k”, el error de predicción se define como [39]:
𝑒(𝑡 + 𝑘|𝑡) = 𝑃(𝑡 + 𝑘) − 𝑃̂(𝑡 + 𝑘|𝑡)
(28) Si se quiere normalizar este error, simplemente se tiene que dividir el resultado de la ecuación (28) por la potencia instalada:
𝑒(𝑡 + 𝑘|𝑡) = 1
𝑃𝑖𝑛𝑠𝑡(𝑃(𝑡 + 𝑘) − 𝑃̂(𝑡 + 𝑘|𝑡))
(29)
Normalizar el error permite obtener unos resultados independientes del tamaño del parque eólico.
Cabe destacar que cualquier error de predicción se puede descomponer en una suma de un error sistemático (𝜇𝑒) y un error aleatorio (ξ𝑒):
𝑒 = 𝜇𝑒+ ξ𝑒
(30) Los errores sistemáticos se calculan a partir del valor medio de los errores. Se calcula para todo el período de predicción mediante el BIAS. Por otro lado, el valor medio de los errores aleatorios tiene un valor igual a cero [39].
𝐵𝐼𝐴𝑆(𝑘) = 𝑢̂𝑒(𝑘) = 𝑒̅(𝑘) = 1
𝑁· ∑ 𝑒(𝑡 + 𝑘|𝑡)
𝑁
𝑡=1 (31)
Hay una serie de parámetros que nos sirven para medir la calidad de la predicción [40],[41]:
MAE (Mean Absolute Error), o media absoluta del error: es una medida de la dispersión del error de pronóstico. Consiste en el sumatorio de los errores de pronóstico, dividido entre el número de pronósticos realizados (N).
𝑀𝐴𝐸(𝑘) =1
𝑁· ∑ 𝑒(𝑡 + 𝑘|𝑡)
𝑁
𝑡=1 (32)
Donde 𝑒(𝑡 + 𝑘|𝑡) viene definido por la ecuación (28).
MSE (Mean Squared Error), o media del error cuadrático: es muy parecido al MAE. La única diferencia es que se realiza el sumatorio de los errores de pronóstico al cuadrado:
D. M. Baer | Universidad de las Islas Baleares, 2019-2020 54 𝑀𝑆𝐸(𝑘) = 1
𝑁· ∑(𝑒(𝑡 + 𝑘|𝑡))2
𝑁
𝑡=1 (33)
RMSE (Root Mean Square Error), o raíz cuadrada del valor medio cuadrático del error:
𝑅𝑀𝑆𝐸(𝑘) = √𝑀𝑆𝐸 = √1
𝑁· ∑(𝑒(𝑡 + 𝑘|𝑡))2
𝑁
𝑡=1
(34)
MAPE (Mean Absolute Percentage Error), o media absoluta del porcentaje de error: se define como la suma del cociente del error de predicción entre el valor objetivo, multiplicado por 100/N, donde N representa la cantidad de muestras que se han realizado:
𝑀𝐴𝑃𝐸(𝑘) = 1
𝑁· ∑𝑒(𝑡 + 𝑘|𝑡) 𝑃(𝑡 + 𝑘)
𝑁
𝑡=1 (35)
Cabe destacar que tanto el error sistemático como el error aleatorio tienen influencia sobre los valores del MAE, MSE, RMSE y MAPE. Una alternativa consiste en calcular el SDE (Standard Deviation Error) donde solo contribuyen los errores aleatorios [39]:
𝑆𝐷𝐸(𝑘) = √1
𝑁· ∑ ((𝑒(𝑡 + 𝑘|𝑡)) − 𝑒̅(𝑘))2
𝑁
𝑡=1 (36)
También puede resultar interesante calcular el coeficiente de determinación R2 para cada pronóstico.
Representa la habilidad del modelo para explicar las variaciones de los datos. El rango de valores va de 0-1, donde 1 representa un pronóstico perfecto. Existen casos donde puede adquirir valores negativos, por ejemplo, si se trabaja con horizontes temporales grandes:
𝑅2=𝑀𝑆𝐸0(𝑘) − 𝑀𝑆𝐸(𝑘)
𝑀𝑆𝐸0(𝑘) (37)
Donde 𝑀𝑆𝐸0(𝑘) es la media cuadrática del error para la media global del modelo. No se recomienda usar el R2 como herramienta principal para la evaluación de sistemas de predicción, y si se utiliza, se tiene que detallar como se ha calculado.
A continuación, se presentan las ventajas y las desventajas de las diferentes métricas definidas previamente [40],[42],[43],[44],[45] :
MAE
- Tiene como ventaja que todas las diferencias individuales se ponderan por igual en el promedio. Por lo tanto, no es tan sensible a errores grandes o a valores atípicos como el error cuadrático medio.
D. M. Baer | Universidad de las Islas Baleares, 2019-2020 55 - La desventaja principal es que puede tomar valores positivos y negativos de manera que
formalmente no es diferenciable.
- Un MAE grande indica que el modelo tiene problemas en ciertas áreas, mientras que un MAE pequeño indica que el modelo realiza buenas predicciones.
MSE
- Una de las ventajas es que el error nunca es negativo. Una alternativa al MAE seria obtener el valor absoluto del error, pero si se hace de esta manera la función no sería derivable, y disponer de una función derivable posibilita el uso de algoritmos de optimización muy efectivos como por ejemplo el gradiente descendiente.
- La principal desventaja de esta métrica es que si la predicción no es buena el valor del MSE puede aumentar rápidamente.
- Otra desventaja es que resulta complicado interpretar si el resultado es bueno o malo, ya que es muy sensible a los outliers. 20
- Puede tomar cualquier valor entre [0, ∞).
RMSE
- Una de las desventajas respecto al MSE es que requiere un mayor coste computacional, pero sí que se puede escalar al error original gracias a la raíz. Esto facilita la interpretación.
- Los outliers le afectan del mismo modo que al MSE.
- Puede tomar cualquier valor entre [0, ∞).
- Se puede destacar la utilidad del RMSPE (Root Mean Squared Percent Error), el cual se calcula como el RMSE, pero dividiendo entre en el valor de la predicción y multiplicando por 100.
Proporciona un porcentaje facilitando la interpretación de la desviación.
MAPE
- Es más sencillo de interpretar que el MAE ya que se puede conceptualizar mejor un porcentaje.
- No le afectan tanto como al MSE o el RMSE la presencia de outliers.
- Una de las desventajas es que, al dividir entre el valor actual de la predicción y este es cero, no se define el MAPE para ese dato. También puede crecer mucho si el valor actual es muy pequeño.
¿Qué métrica es mejor?
No existe una respuesta clara o única a esta pregunta. Depende de la aplicación y la naturaleza de los datos. Si se quiere dar una mayor importancia a los outliers conviene utilizar el RMSE o el MSE. Si se quiere minimizar el coste computacional es recomendable usar el MSE, y si se quiere mantener una mayor relación con los errores originales el RMSE. Por otro lado, el MAE y el MAPE son más sencillos de interpretar. Si queremos un porcentaje utilizaremos el MAPE, pero tendremos que preocuparnos por los datos que sean ceros, ya que estaríamos cometiendo un error sistemático al incluirlos. A veces resulta más sencillo probarlos a todos y posteriormente decidir cuál es el que mejor se adapta a la aplicación.
20 Outilers: un outlier es una observación anormal y extrema en una muestra estadística o serie temporal de datos que puede afectar potencialmente a la estimación de los parámetros de este.
D. M. Baer | Universidad de las Islas Baleares, 2019-2020 56