Machine Learning: desafíos, lecciones y oportunidades en el modelado de riesgo crediticio

Gracias a los rápidos aumentos en la disponibilidad de datos y la potencia informática, el aprendizaje automático ahora juega un papel vital tanto en la tecnología como en los negocios. El aprendizaje automático contribuye significativamente a las aplicaciones de modelado de riesgo crediticio. Utilizando dos grandes conjuntos de datos, analizamos el rendimiento de un conjunto de métodos de aprendizaje automático para evaluar el riesgo crediticio de prestatarios pequeños y medianos, con el modelo RiskCalc de Moody’s Analytics como modelo de referencia. Descubrimos que los modelos de aprendizaje automático ofrecen índices de precisión similares a los del modelo RiskCalc. Sin embargo, son más una “caja negra” que el modelo RiskCalc, y los resultados producidos por los métodos de aprendizaje automático a veces son difíciles de interpretar. Los métodos de aprendizaje automático proporcionan un mejor ajuste para las relaciones no lineales entre las variables explicativas y el riesgo de incumplimiento.

Introducción

Cuando una empresa solicita un préstamo, el prestamista debe evaluar si la empresa puede reembolsar de manera confiable el capital y los intereses del préstamo. Los prestamistas suelen utilizar medidas de rentabilidad y apalancamiento para evaluar el riesgo crediticio. Una empresa rentable genera suficiente efectivo para cubrir los gastos por intereses y el principal adeudado. Sin embargo, una empresa más apalancada tiene menos capital disponible para hacer frente a las crisis económicas. Dados dos solicitantes de préstamos, uno con alta rentabilidad y alto apalancamiento, y el otro con baja rentabilidad y bajo apalancamiento, ¿qué empresa tiene menor riesgo crediticio? La complejidad de responder a esta pregunta se multiplica cuando los bancos incorporan las muchas otras dimensiones que examinan durante la evaluación del riesgo crediticio. Estas dimensiones adicionales suelen incluir otra información financiera, como el índice de liquidez, o información de comportamiento, como comportamiento de pago de préstamos / créditos comerciales. Resumir todas estas dimensiones en una sola puntuación es un desafío, pero las técnicas de aprendizaje automático ayudan a lograr este objetivo.

El objetivo común detrás del aprendizaje automático y las herramientas tradicionales de aprendizaje estadístico es aprender de los datos. Ambos enfoques tienen como objetivo investigar las relaciones subyacentes mediante el uso de un conjunto de datos de entrenamiento. Por lo general, los métodos de aprendizaje estadístico asumen relaciones formales entre variables en forma de ecuaciones matemáticas, mientras que los métodos de aprendizaje automático pueden aprender de los datos sin requerir ninguna programación basada en reglas. Como resultado de esta flexibilidad, los métodos de aprendizaje automático pueden adaptarse mejor a los patrones de los datos. La figura 1 ilustra este punto.

Figura 1 Modelo Estadístico Frente A Aprendizaje Automático

Fuente: Moody’s Analytics

En este ejemplo simulado, el primer gráfico muestra la distribución real de los puntos de datos con respecto a X e Y, mientras que los puntos en rojo se clasifican como predeterminados. Se puede relacionar esto con un mapa geográfico, donde el eje X es la longitud y el eje Y es la latitud. Las áreas en rojo representan datos demográficos de alto riesgo, donde vemos una tasa de incumplimiento más alta. Como era de esperar, un modelo estadístico lineal no puede ajustarse a este complejo comportamiento no lineal y no monótono. El modelo de bosque aleatorio, un método de aprendizaje automático ampliamente utilizado, es lo suficientemente flexible como para identificar los puntos calientes porque no se limita a predecir relaciones lineales o continuas. Un modelo de aprendizaje automático, que no esté restringido por algunas de las suposiciones de los modelos estadísticos clásicos, puede generar conocimientos mucho mejores que un analista humano no podría inferir a partir de los datos. A veces,

Un modelo de aprendizaje automático, que no esté restringido por algunas de las suposiciones de los modelos estadísticos clásicos, puede generar conocimientos mucho mejores que un analista humano no podría inferir a partir de los datos.

Enfoques de aprendizaje automático

Redes Neuronales Artificiales

Una red neuronal artificial (ANN) es una simulación matemática de una red neuronal biológica. Su forma simple se muestra en la Figura 2. En este ejemplo, hay tres valores de entrada y dos valores de salida. Diferentes transformaciones vinculan los valores de entrada a una capa oculta y la capa oculta a los valores de salida. Usamos un algoritmo de retropropagación para entrenar a las ANN en los datos subyacentes. Las RNA pueden manejar fácilmente los efectos interactivos y no lineales de las variables explicativas debido a la presencia de muchas capas y neuronas ocultas.

Figura 2 Red Neuronal Artificial

Fuente: Moody’s Analytics

Random forest

Figura 3 Bosque Aleatorio

Fuente: Moody’s Analytics

Boosting

En el impulso, cada árbol de decisión es similar a un grupo de ciegos, y la descripción del elefante es sinónimo del problema de predicción que se está resolviendo. Si un árbol clasifica erróneamente a los incumplidores como no incumplidores o viceversa, los árboles posteriores darán más peso a las observaciones mal clasificadas. Esta idea de dar a las áreas mal clasificadas un peso adicional (o dirección mientras se envía un nuevo grupo) es la diferencia entre los bosques aleatorios y el impulso.

Modelo RiskCalc de Moody’s Analytics

El modelo RiskCalc ofrece un rendimiento sólido en la predicción de incumplimientos de empresas privadas. Pero, ¿cómo se compara con otras técnicas de aprendizaje automático? Usamos los tres métodos populares de aprendizaje automático para desarrollar nuevos modelos utilizando la muestra de RiskCalc como un conjunto de capacitación. Buscamos responder las siguientes preguntas: ¿Los modelos de aprendizaje automático superan el marco GAM del modelo RiskCalc en la predicción predeterminada? ¿Cuáles son los desafíos a los que nos enfrentamos al utilizar los métodos de aprendizaje automático para el modelado del riesgo crediticio? ¿Qué modelo es más robusto? ¿Qué modelo es más fácil de usar? ¿Y qué podemos aprender de los modelos alternativos?

Resultados

Para analizar el rendimiento de estos tres enfoques, consideramos dos conjuntos de datos diferentes. El primer conjunto de datos proviene de la base de datos de investigación crediticia (CRD) de Moody’s Analytics, que también es la muestra de validación para el modelo corporativo RiskCalc US 4.0. Utiliza solo información firme y proporciones financieras. El segundo conjunto de datos agrega información de comportamiento, que incluye el uso de la línea de crédito, el comportamiento de pago del préstamo y otros datos de tipo de préstamo. Esta información proviene del sistema de contabilidad de préstamos (LAS), recopilado como parte del CRD. Queremos probar el poder de predicción predeterminado adicional utilizando las técnicas de aprendizaje automático y el enfoque GAM con ambos conjuntos de datos. La Figura 4 muestra el resumen de los dos conjuntos de datos.

Figura 4 Información De Datos

Fuente: Moody’s Analytics

Rendimiento Del Modelo

Para ambos conjuntos de datos, utilizamos la capacidad de ordenación de rango del modelo GAM como punto de referencia. Medimos la capacidad de ordenar por rango usando la estadística de razón de precisión (AR). La figura 5 muestra el conjunto de variables explicativas.

Figura 5 Descripciones De Variables De Entrada Para Los Modelos De DP

Fuente: Moody’s Analytics

Validación Cruzada

Debido a que el aprendizaje automático ofrece un alto nivel de libertad de modelado, tiende a sobreajustarse a los datos. Un modelo se sobreajusta cuando se desempeña bien en los datos de entrenamiento, pero no en los datos de evaluación. Una forma estándar de encontrar el error de predicción fuera de la muestra es utilizar k-fold cross-validation (CV). En un CV de k veces, el conjunto de datos se divide en k subconjuntos. Uno de los k subconjuntos se utiliza como conjunto de prueba, y los otros k-1 subconjuntos se combinan para formar un conjunto de entrenamiento. Este proceso se repite k veces. Si la relación de precisión, una medida del rendimiento del modelo, es alta para la muestra de entrenamiento en relación con la muestra de prueba, indica sobreajuste. En este caso, imponemos más restricciones al modelo y repetimos la validación cruzada hasta que los resultados sean satisfactorios. En este ejemplo, usamos una validación cruzada quíntuple.

Figura 6 Rendimiento Del Modelo

Fuente: Moody’s Analytics

Observamos que los modelos de aprendizaje automático superan al modelo GAM en 2 a 3 puntos porcentuales para ambos conjuntos de datos. El índice de precisión mejora de 8 a 10 puntos porcentuales cuando agregamos información sobre el comportamiento de los préstamos, independientemente del enfoque de modelado. La información sobre el uso de la línea de crédito y el pago de préstamos complementa los índices financieros y mejora significativamente la capacidad de los modelos para predecir incumplimientos.

Donde Sobresale El Aprendizaje Automático

Los métodos de aprendizaje automático son particularmente poderosos para capturar relaciones no lineales. Echemos un vistazo más de cerca a la relación entre el EBITDA y los gastos por intereses. Intuitivamente, este índice tiene una relación no lineal con el riesgo de incumplimiento. En la Figura 7, dividimos el índice en 50 percentiles y calculamos los valores promedio de la probabilidad de incumplimiento prevista (PD) y la tasa de incumplimiento real. Trazamos esto con los percentiles de razón en el eje xy la tasa de incumplimiento (en%) en el eje y. La tasa de incumplimiento disminuye a medida que aumenta la relación entre el EBITDA y los gastos por intereses. Sin embargo, en el lado izquierdo, hay un punto de inflexión donde el EBIDTA se vuelve negativo. Cuando el EBITDA es negativo, a medida que el gasto por intereses disminuye, lo que hace que el índice sea más negativo, el riesgo de incumplimiento debe disminuir. Del gráfico, observamos que el método de refuerzo de aprendizaje automático proporciona una predicción más precisa de la tasa de incumplimiento real que el modelo GAM, especialmente en el lado izquierdo. También observamos este comportamiento similar en los gráficos de otras proporciones. Por lo tanto, observamos una modesta mejora en la predicción de los métodos de aprendizaje automático.

Figura 7 Comparación De Aprendizaje Automático Y Niveles De PD De GAM Para Diferentes Valores De EBITDA Con Gastos Por Intereses

Fuente: Moody’s Analytics

Problema De Sobreajuste

A pesar del uso de la validación cruzada para minimizar el sobreajuste, los modelos de aprendizaje automático aún pueden producir resultados que son difíciles de interpretar y defender. La Figura 8 muestra dos casos en los que la PD determinada por el método de refuerzo difiere significativamente de la PD determinada por el enfoque GAM.

Figura 8 Sobreajuste De Algoritmos De Aprendizaje Automático

Fuente: Moody’s Analytics

En el caso 1, una empresa con un rendimiento de activos (ROA) negativo, una relación de efectivo a activos baja y una relación de deuda a deuda más patrimonio alto se clasifica como segura, con una calificación implícita de A3. Intuitivamente, la PD de esta empresa debería reflejar un mayor nivel de riesgo, como predijo GAM. De manera similar, en el caso 2, una empresa con alto EBITDA a gastos por intereses, alto ROA y altas ganancias retenidas se clasifica como Caa / C utilizando el método de impulso. En ambos casos, la naturaleza compleja del algoritmo subyacente dificulta la explicación de la DP no intuitiva del método de impulso. Los resultados del modelo RiskCalc, basados ​​en el modelo GAM, son mucho más intuitivos y fáciles de explicar.

Resumen

Si bien todos los enfoques que estudiamos tienen sus méritos y tienen niveles de precisión comparables, creemos que para mejorar la precisión de la predicción de incumplimiento y ampliar el campo de la modelización del riesgo crediticio en general, los esfuerzos deben centrarse en la dimensión de datos. Además de los datos de comportamiento de pago de préstamos y estados financieros, información adicional como datos transaccionales, datos de redes sociales, información geográfica y otros datos pueden potencialmente agregar una enorme cantidad de información. Debemos recopilar datos más variados y no convencionales para refinar y mejorar aún más nuestros enfoques para evaluar el riesgo.

Fuente

Más en bootcampai.org

bootcampai.org