Machine Learning: desafíos, lecciones y oportunidades en el modelado de riesgo crediticio
Gracias a los rápidos aumentos en la disponibilidad de datos y la potencia informática, el aprendizaje automático ahora juega un papel vital tanto en la tecnología como en los negocios. El aprendizaje automático contribuye significativamente a las aplicaciones de modelado de riesgo crediticio. Utilizando dos grandes conjuntos de datos, analizamos el rendimiento de un conjunto de métodos de aprendizaje automático para evaluar el riesgo crediticio de prestatarios pequeños y medianos, con el modelo RiskCalc de Moody’s Analytics como modelo de referencia. Descubrimos que los modelos de aprendizaje automático ofrecen índices de precisión similares a los del modelo RiskCalc. Sin embargo, son más una “caja negra” que el modelo RiskCalc, y los resultados producidos por los métodos de aprendizaje automático a veces son difíciles de interpretar. Los métodos de aprendizaje automático proporcionan un mejor ajuste para las relaciones no lineales entre las variables explicativas y el riesgo de incumplimiento.
Introducción
El aprendizaje automático es un método para enseñar a las computadoras a analizar datos, aprender de ellos y luego hacer una determinación o predicción con respecto a nuevos datos. En lugar de codificar manualmente un conjunto específico de instrucciones para realizar una tarea en particular, la máquina se “entrena” utilizando grandes cantidades de datos y algoritmos para aprender a realizar la tarea. El aprendizaje automático se superpone con su campo hermano de menor perfil, el aprendizaje estadístico. Ambos intentan encontrar y aprender de patrones y tendencias dentro de grandes conjuntos de datos para hacer predicciones. El campo del aprendizaje automático tiene una larga tradición de desarrollo, pero las mejoras recientes en el almacenamiento de datos y la potencia informática los han hecho omnipresentes en muchos campos y aplicaciones diferentes, muchos de los cuales son muy comunes. Siri de Apple, feeds de Facebook, y las recomendaciones de películas de Netflix dependen de alguna forma de aprendizaje automático. Uno de los primeros usos del aprendizaje automático fue el modelado de riesgo crediticio, cuyo objetivo es utilizar datos financieros para predecir el riesgo de incumplimiento.
Cuando una empresa solicita un préstamo, el prestamista debe evaluar si la empresa puede reembolsar de manera confiable el capital y los intereses del préstamo. Los prestamistas suelen utilizar medidas de rentabilidad y apalancamiento para evaluar el riesgo crediticio. Una empresa rentable genera suficiente efectivo para cubrir los gastos por intereses y el principal adeudado. Sin embargo, una empresa más apalancada tiene menos capital disponible para hacer frente a las crisis económicas. Dados dos solicitantes de préstamos, uno con alta rentabilidad y alto apalancamiento, y el otro con baja rentabilidad y bajo apalancamiento, ¿qué empresa tiene menor riesgo crediticio? La complejidad de responder a esta pregunta se multiplica cuando los bancos incorporan las muchas otras dimensiones que examinan durante la evaluación del riesgo crediticio. Estas dimensiones adicionales suelen incluir otra información financiera, como el índice de liquidez, o información de comportamiento, como comportamiento de pago de préstamos / créditos comerciales. Resumir todas estas dimensiones en una sola puntuación es un desafío, pero las técnicas de aprendizaje automático ayudan a lograr este objetivo.
El objetivo común detrás del aprendizaje automático y las herramientas tradicionales de aprendizaje estadístico es aprender de los datos. Ambos enfoques tienen como objetivo investigar las relaciones subyacentes mediante el uso de un conjunto de datos de entrenamiento. Por lo general, los métodos de aprendizaje estadístico asumen relaciones formales entre variables en forma de ecuaciones matemáticas, mientras que los métodos de aprendizaje automático pueden aprender de los datos sin requerir ninguna programación basada en reglas. Como resultado de esta flexibilidad, los métodos de aprendizaje automático pueden adaptarse mejor a los patrones de los datos. La figura 1 ilustra este punto.
Figura 1 Modelo Estadístico Frente A Aprendizaje Automático
Fuente: Moody’s Analytics
En este ejemplo simulado, el primer gráfico muestra la distribución real de los puntos de datos con respecto a X e Y, mientras que los puntos en rojo se clasifican como predeterminados. Se puede relacionar esto con un mapa geográfico, donde el eje X es la longitud y el eje Y es la latitud. Las áreas en rojo representan datos demográficos de alto riesgo, donde vemos una tasa de incumplimiento más alta. Como era de esperar, un modelo estadístico lineal no puede ajustarse a este complejo comportamiento no lineal y no monótono. El modelo de bosque aleatorio, un método de aprendizaje automático ampliamente utilizado, es lo suficientemente flexible como para identificar los puntos calientes porque no se limita a predecir relaciones lineales o continuas. Un modelo de aprendizaje automático, que no esté restringido por algunas de las suposiciones de los modelos estadísticos clásicos, puede generar conocimientos mucho mejores que un analista humano no podría inferir a partir de los datos. A veces,
Un modelo de aprendizaje automático, que no esté restringido por algunas de las suposiciones de los modelos estadísticos clásicos, puede generar conocimientos mucho mejores que un analista humano no podría inferir a partir de los datos.
Enfoques de aprendizaje automático
Ahora veamos tres algoritmos de aprendizaje automático diferentes: redes neuronales artificiales, bosque aleatorio y refuerzo.
Redes Neuronales Artificiales
Una red neuronal artificial (ANN) es una simulación matemática de una red neuronal biológica. Su forma simple se muestra en la Figura 2. En este ejemplo, hay tres valores de entrada y dos valores de salida. Diferentes transformaciones vinculan los valores de entrada a una capa oculta y la capa oculta a los valores de salida. Usamos un algoritmo de retropropagación para entrenar a las ANN en los datos subyacentes. Las RNA pueden manejar fácilmente los efectos interactivos y no lineales de las variables explicativas debido a la presencia de muchas capas y neuronas ocultas.
Figura 2 Red Neuronal Artificial
Fuente: Moody’s Analytics
Random forest
Los bosques aleatorios combinan predictores de árboles de decisión, de modo que cada árbol depende de los valores de un vector aleatorio muestreado de forma independiente y con la misma distribución. Un árbol de decisiones es la unidad más básica del bosque aleatorio. En un árbol de decisión, se ingresa una entrada en la parte superior y, a medida que atraviesa el árbol, los datos se clasifican en subconjuntos cada vez más pequeños. En el ejemplo que se muestra en la Figura 3, el árbol determina la probabilidad de incumplimiento en función de tres variables: tamaño de la empresa; la relación entre las ganancias antes de intereses, impuestos, depreciación y amortización (EBITDA) y los gastos por intereses; y la relación entre el pasivo corriente y las ventas. El recuadro 1 contiene el conjunto de datos inicial en el que el 39% de las empresas son morosas y el 61% no incumplen. Las empresas con coeficientes de EBITDA a gastos por intereses inferiores a 2,4 se incluyen en el recuadro 2. El recuadro 2, que representa el 33% de los datos, está 100% compuesto por morosos. Su color naranja indica un mayor riesgo de incumplimiento, mientras que el color azul indica un menor riesgo de incumplimiento. El enfoque de bosque aleatorio combina las predicciones de muchos árboles y la decisión final se basa en el promedio del resultado de los árboles de decisión independientes subyacentes. En este ejercicio, usamos la agregación bootstrap de varios árboles como un avance hacia un modelo simple basado en árboles.1
Figura 3 Bosque Aleatorio
Fuente: Moody’s Analytics
Boosting
Boosting es similar al bosque aleatorio, pero los árboles de decisión subyacentes se ponderan en función de su rendimiento. Considere la parábola de los ciegos y el elefante, en la que se les pide a los hombres que toquen diferentes partes del elefante y luego construyan una imagen completa. Los ciegos se envían en seis lotes diferentes. El primer grupo se dirige a lugares seleccionados al azar, y la descripción (parcial) de cada persona se evalúa en función de qué tan bien coincide con la descripción real. Este grupo da una descripción precisa solo del tronco, mientras que la descripción del resto del cuerpo es inexacta. Se anotan las secciones incompletas, y cuando el segundo grupo de ciegos es conducido a la habitación, se les conduce a estas partes. Este proceso se repite para los lotes restantes. Finalmente, las descripciones se combinan de forma aditiva ponderandolas según su precisión y, en este caso, también el tamaño de las partes del cuerpo. Esta descripción final, la combinación, describe bastante bien al elefante.
En el impulso, cada árbol de decisión es similar a un grupo de ciegos, y la descripción del elefante es sinónimo del problema de predicción que se está resolviendo. Si un árbol clasifica erróneamente a los incumplidores como no incumplidores o viceversa, los árboles posteriores darán más peso a las observaciones mal clasificadas. Esta idea de dar a las áreas mal clasificadas un peso adicional (o dirección mientras se envía un nuevo grupo) es la diferencia entre los bosques aleatorios y el impulso.
Modelo RiskCalc de Moody’s Analytics
El modelo RiskCalc produce probabilidades de incumplimiento esperadas para empresas privadas al estimar el impacto de un conjunto de factores de riesgo. Utiliza un marco de modelo aditivo generalizado (GAM), en el que a las transformaciones no lineales de cada factor de riesgo se les asignan ponderaciones y se combinan en una única puntuación. Luego, una función de enlace asigna la puntuación combinada a una probabilidad de incumplimiento.
El modelo RiskCalc ofrece un rendimiento sólido en la predicción de incumplimientos de empresas privadas. Pero, ¿cómo se compara con otras técnicas de aprendizaje automático? Usamos los tres métodos populares de aprendizaje automático para desarrollar nuevos modelos utilizando la muestra de RiskCalc como un conjunto de capacitación. Buscamos responder las siguientes preguntas: ¿Los modelos de aprendizaje automático superan el marco GAM del modelo RiskCalc en la predicción predeterminada? ¿Cuáles son los desafíos a los que nos enfrentamos al utilizar los métodos de aprendizaje automático para el modelado del riesgo crediticio? ¿Qué modelo es más robusto? ¿Qué modelo es más fácil de usar? ¿Y qué podemos aprender de los modelos alternativos?
Resultados
Descripción De Datos
Para analizar el rendimiento de estos tres enfoques, consideramos dos conjuntos de datos diferentes. El primer conjunto de datos proviene de la base de datos de investigación crediticia (CRD) de Moody’s Analytics, que también es la muestra de validación para el modelo corporativo RiskCalc US 4.0. Utiliza solo información firme y proporciones financieras. El segundo conjunto de datos agrega información de comportamiento, que incluye el uso de la línea de crédito, el comportamiento de pago del préstamo y otros datos de tipo de préstamo. Esta información proviene del sistema de contabilidad de préstamos (LAS), recopilado como parte del CRD. Queremos probar el poder de predicción predeterminado adicional utilizando las técnicas de aprendizaje automático y el enfoque GAM con ambos conjuntos de datos. La Figura 4 muestra el resumen de los dos conjuntos de datos.
Figura 4 Información De Datos
Fuente: Moody’s Analytics
Rendimiento Del Modelo
Para ambos conjuntos de datos, utilizamos la capacidad de ordenación de rango del modelo GAM como punto de referencia. Medimos la capacidad de ordenar por rango usando la estadística de razón de precisión (AR). La figura 5 muestra el conjunto de variables explicativas.
Figura 5 Descripciones De Variables De Entrada Para Los Modelos De DP
Fuente: Moody’s Analytics
Validación Cruzada
Debido a que el aprendizaje automático ofrece un alto nivel de libertad de modelado, tiende a sobreajustarse a los datos. Un modelo se sobreajusta cuando se desempeña bien en los datos de entrenamiento, pero no en los datos de evaluación. Una forma estándar de encontrar el error de predicción fuera de la muestra es utilizar k-fold cross-validation (CV). En un CV de k veces, el conjunto de datos se divide en k subconjuntos. Uno de los k subconjuntos se utiliza como conjunto de prueba, y los otros k-1 subconjuntos se combinan para formar un conjunto de entrenamiento. Este proceso se repite k veces. Si la relación de precisión, una medida del rendimiento del modelo, es alta para la muestra de entrenamiento en relación con la muestra de prueba, indica sobreajuste. En este caso, imponemos más restricciones al modelo y repetimos la validación cruzada hasta que los resultados sean satisfactorios. En este ejemplo, usamos una validación cruzada quíntuple.
Figura 6 Rendimiento Del Modelo
Fuente: Moody’s Analytics
Observamos que los modelos de aprendizaje automático superan al modelo GAM en 2 a 3 puntos porcentuales para ambos conjuntos de datos. El índice de precisión mejora de 8 a 10 puntos porcentuales cuando agregamos información sobre el comportamiento de los préstamos, independientemente del enfoque de modelado. La información sobre el uso de la línea de crédito y el pago de préstamos complementa los índices financieros y mejora significativamente la capacidad de los modelos para predecir incumplimientos.
Donde Sobresale El Aprendizaje Automático
Los métodos de aprendizaje automático son particularmente poderosos para capturar relaciones no lineales. Echemos un vistazo más de cerca a la relación entre el EBITDA y los gastos por intereses. Intuitivamente, este índice tiene una relación no lineal con el riesgo de incumplimiento. En la Figura 7, dividimos el índice en 50 percentiles y calculamos los valores promedio de la probabilidad de incumplimiento prevista (PD) y la tasa de incumplimiento real. Trazamos esto con los percentiles de razón en el eje xy la tasa de incumplimiento (en%) en el eje y. La tasa de incumplimiento disminuye a medida que aumenta la relación entre el EBITDA y los gastos por intereses. Sin embargo, en el lado izquierdo, hay un punto de inflexión donde el EBIDTA se vuelve negativo. Cuando el EBITDA es negativo, a medida que el gasto por intereses disminuye, lo que hace que el índice sea más negativo, el riesgo de incumplimiento debe disminuir. Del gráfico, observamos que el método de refuerzo de aprendizaje automático proporciona una predicción más precisa de la tasa de incumplimiento real que el modelo GAM, especialmente en el lado izquierdo. También observamos este comportamiento similar en los gráficos de otras proporciones. Por lo tanto, observamos una modesta mejora en la predicción de los métodos de aprendizaje automático.
Figura 7 Comparación De Aprendizaje Automático Y Niveles De PD De GAM Para Diferentes Valores De EBITDA Con Gastos Por Intereses
Fuente: Moody’s Analytics
Problema De Sobreajuste
A pesar del uso de la validación cruzada para minimizar el sobreajuste, los modelos de aprendizaje automático aún pueden producir resultados que son difíciles de interpretar y defender. La Figura 8 muestra dos casos en los que la PD determinada por el método de refuerzo difiere significativamente de la PD determinada por el enfoque GAM.
Figura 8 Sobreajuste De Algoritmos De Aprendizaje Automático
Fuente: Moody’s Analytics
En el caso 1, una empresa con un rendimiento de activos (ROA) negativo, una relación de efectivo a activos baja y una relación de deuda a deuda más patrimonio alto se clasifica como segura, con una calificación implícita de A3. Intuitivamente, la PD de esta empresa debería reflejar un mayor nivel de riesgo, como predijo GAM. De manera similar, en el caso 2, una empresa con alto EBITDA a gastos por intereses, alto ROA y altas ganancias retenidas se clasifica como Caa / C utilizando el método de impulso. En ambos casos, la naturaleza compleja del algoritmo subyacente dificulta la explicación de la DP no intuitiva del método de impulso. Los resultados del modelo RiskCalc, basados en el modelo GAM, son mucho más intuitivos y fáciles de explicar.
Resumen
Este ejercicio analiza el rendimiento de tres métodos de aprendizaje automático utilizando el modelo GAM del software RiskCalc como punto de referencia. Los enfoques de aprendizaje automático ofrecen índices de precisión comparables a los del modelo GAM. En comparación con el modelo RiskCalc, estos enfoques alternativos están mejor equipados para capturar las relaciones no lineales comunes al riesgo crediticio. Al mismo tiempo, las predicciones hechas por los enfoques a veces son difíciles de explicar debido a su compleja naturaleza de “caja negra”. Estos modelos de aprendizaje automático también son sensibles a valores atípicos, lo que resulta en un ajuste excesivo de los datos y predicciones contrarias a la intuición. Además, y quizás más interesante, encontramos que expandir el conjunto de datos para incluir variables de comportamiento de préstamos mejora el poder predictivo en más de 10 puntos porcentuales para todos los métodos de modelado.
Si bien todos los enfoques que estudiamos tienen sus méritos y tienen niveles de precisión comparables, creemos que para mejorar la precisión de la predicción de incumplimiento y ampliar el campo de la modelización del riesgo crediticio en general, los esfuerzos deben centrarse en la dimensión de datos. Además de los datos de comportamiento de pago de préstamos y estados financieros, información adicional como datos transaccionales, datos de redes sociales, información geográfica y otros datos pueden potencialmente agregar una enorme cantidad de información. Debemos recopilar datos más variados y no convencionales para refinar y mejorar aún más nuestros enfoques para evaluar el riesgo.
Fuente
Más en bootcampai.org
