MTest: a Bootstrap Test for Multicollinearity

• Morales Oñate, Víctor ^[2] ; Morales-Oñate, Bolívar ^[1]
  1. [1] Universidad Técnica de Ambato

     Universidad Técnica de Ambato

     Ambato, Ecuador

     
  2. [2] Universidad de las Américas, Departamento de Economía, Quito, Ecuador; Universidad San Francisco de Quito, Colegio de Administración y Economía, Quito, Ecuador
• Localización: Revista Politécnica, ISSN-e 2477-8990, Vol. 51, Nº. 2, 2023 (Ejemplar dedicado a: Revista Politécnica), págs. 53-62
• Idioma: inglés
• DOI: 10.33333/rp.vol51n2.05
• Títulos paralelos:
  • MTest: una Prueba bootstrap para Multicolinealidad
• Enlaces
  • Texto completo
• Resumen
  • español

    Se propone una prueba no paramétrica basada en bootstrap para detectar multicolinealidad: MTest. Esta prueba brinda soporte estadístico a dos de los métodos más famosos para detectar multicolinealidad en trabajo aplicado: la regla de Klein y el Factor de Inflación de Varianza (VIF por multicolinealidad esencial). Como parte del procedimiento, MTest genera una distribución bootstrap para el coeficiente de determinación que: i) permite al investigador evaluar la multicolinealidad al establecer una significancia estadística "alfa", o más precisamente, un nivel de significancia alcanzado (ASL) para un umbral dado, ii) utilizando una prueba de Kolmogorov-Smirnov (KS) por parejas, establece una guía para una eliminación informada de las variables que están causando multicolinealidad. Para mostrar los beneficios de MTest, el procedimiento se implementa computacionalmente en una función para modelos de regresión lineal. Esta función se prueba en experimentos numéricos que coinciden con los resultados esperados. Finalmente, este documento hace una aplicación de MTest a datos reales que se sabe que tienen problemas de multicolinealidad y detecta con éxito la multicolinealidad con un ASL dado.

  • English

    A nonparametric test based on bootstrap for detecting multicollinearity is proposed: MTest. This test gives statistical support to two of the most famous methods for detecting multicollinearity in applied work: Klein’s rule and Variance Inflation Factor (VIF for essential multicollinearity). As part of the procedure, MTest generates a bootstrap distribution for the coefficient of determination which: i) lets the researcher assess multicollinearity by setting a statistical significance "alfa", or more precisely, an achieved significance level (ASL) for a given threshold, ii) using a pairwise Kolmogorov-Smirnov (KS) test, establishes a guide for an educated removal of variables that are causing multicollinearity. In order to show the benefits of MTest, the procedure is computationally implemented in a function for linear regression models. This function is tested in numerical experiments that match the expected results. Finally, this paper makes an application of MTest to real data known to have multicollinearity problems and successfully detects multicollinearity with a given ASL.

• Referencias bibliográficas
  • Achen, C. H. (1982). Interpreting and using regression. Sage.
  • Carrodus, M. L. and Giles, D. (1992). The exact distribution of R2 when the regression disturbances are autocorrelated. Economics Letters,...
  • Dinov, I. D. (2016). Methodological challenges and analytic opportunities for modeling and interpreting Big Healthcare Data.Gigascience, 5(1)....
  • Efron, B. (1992). Bootstrap methods: another look at the jackknife. Breakthroughs in statistics (pp. 569-593). Springer, New York, NY. https://doi.org/10.1214/aos/...
  • Farrar, D. E. and Glauber, R. R., (1967). Identities for negative moments of quadratic forms in normal variables. The Review of Economic and...
  • Fox, J. and Weisberg, S. (2019). An R Companion to Applied Regression, Third Edition. Thousand Oaks CA: Sage. https://socialsciences.mcmaster.ca/...
  • Godfrey, L. (2009). Bootstrap tests for regression models. Springer.
  • Gujarati, D. N. and Porter, D. C. and Gunasekar, S., (2012). Basic econometrics). McGraw-Hill, United States.
  • Horowitz, J. L. (2001). The bootstrap. In Handbook of econometrics (Vol. 5, pp. 3159-3228). Elsevier.
  • Imdadullah, M. and Aslam, M. and Altaf, S. (2016). mctest: An R Package for Detection of Collinearity among Regressors. textitThe R Journal,...
  • Jaya, I. G. N. M. and Ruchjana, B. and Abdullah, A. (2020). Comparison Of Different Bayesian And Machine Learning Methods In Handling Multicollinearity...
  • Klein, L.R. (1962). An Introduction to Econometrics. Prentic-Hall, Englewood, Cliffs, N. J, 101.
  • Koerts, J. and Abrahamse, A. P. J. (1969). On the theory and application of the general linear model. Rotterdam University Press.
  • Leamer, E. E., (1983). Model choice and specification analysis. Handbook of econometrics, 1, 285-330.
  • Longley, J. W. (1967). An appraisal of least squares programs for the electronic computer from the point of view of the user. Journal of the...
  • Marcoulides, K. M. and Raykov, T. (2019). Evaluation of variance inflation factors in regression models using latent variable modeling methods....
  • Salmerón-Gómez, R. and García-García, C. and García-Pérez, J. (2018). Variance Inflation Factor and Condition Number in multiple linear regression....
  • Salmerón-Gómez, R. and García-García, C. and García-Pérez, J. (2020). Detection of Near-Multicollinearity through Centered and Noncentered...
  • Salmerón-Gómez, R. and García-García, C. and García-Pérez, J. (2021a). Obtaining a threshold for the Stewart index and its extension to ridge...
  • Salmerón-Gómez, R. and García-García, C. and García-Pérez, J. (2021b). A guide to using the r package “multicoll” for detecting multicollinearity....
  • Stein, M.L., (1975). The detection of multicollinearity: A comment. The Review of Economics and Statistics, 366-368. https://doi.org/10.2307/1923926
  • The World Bank, (2021). World Development Indicators. https://data.worldbank.org/ Accessed: 2010- 11-16.
  • Venables, W. N. and Ripley, B. D. (2002) Modern Applied Statistics with S. Fourth Edition. Springer, New York. ISBN 0-387-95457-0