Qué es la regresión logística (Logistic Regression), un artículo para leer y entender

Definición de regresión logística

La regresión logística es un método de aprendizaje estadístico utilizado para resolver problemas de clasificación binaria, en los que el objetivo principal es predecir la probabilidad de que una muestra pertenezca a una categoría específica basándose en las características de entrada. El modelo funciona combinando linealmente los valores propios y utilizando una función en forma de S para asignar la salida lineal a un valor de probabilidad entre 0 y 1. La regresión logística trabaja exclusivamente con variables de respuesta discretas para evitar la hipersensibilidad a los valores atípicos. La formación del modelo utiliza la estimación de máxima verosimilitud para encontrar los parámetros óptimos que maximicen la probabilidad de las observaciones. El resultado probabilístico puede interpretarse como la probabilidad de que se produzca un suceso y expresa el grado de influencia de la característica en el resultado mediante el cociente de probabilidades. La regresión logística puede ampliarse a problemas de multiclasificación para formar la regresión logística multinomial. El modelo asume límites de decisión lineales, pero las relaciones no lineales pueden tratarse mediante ingeniería de características. Sus principales ventajas son la sencillez del modelo, la eficiencia computacional y la facilidad de interpretación de los resultados, lo que lo hace adecuado para escenarios de aplicación en los que es necesario comprender la importancia de las características.

Orígenes de la regresión logística

• Las raíces de la estadísticaEl concepto de regresión logística se originó en los estudios demográficos del siglo XIX, cuando el matemático belga Werster propuso una función logística para describir el patrón de crecimiento de la población, y a mediados del siglo XX, el estadístico Berkson la introdujo en los experimentos biométricos para analizar la relación dosis-respuesta y establecer un "modelo logístico".
• Avance psicométricoEn la década de 1950, el psicólogo Loos desarrolló el modelo de elección, ampliando la regresión logística a los problemas de elección multicategoría. Estudiosos como Cox perfeccionaron el marco teórico, convirtiendo la regresión logística en una herramienta estándar para el análisis de datos categóricos.
• Adopción del aprendizaje automáticoEn la década de 1980, con el desarrollo del reconocimiento de patrones, la regresión logística se redefinió como algoritmo de clasificación. El modelo lineal generalizado de la teoría del aprendizaje estadístico proporciona una base matemática rigurosa para aclarar su pertinencia con respecto a la regresión lineal.
• Mayor potencia informáticaEn la década de 1990, los avances en tecnología informática hicieron más factible la estimación de máxima verosimilitud y la regresión logística empezó a aplicarse a conjuntos de datos a gran escala. La integración de la regresión logística en paquetes de software estadístico contribuyó a su popularidad.
• La situación de la ciencia de datos modernaEn la era del big data del siglo XXI, la regresión logística mantiene una posición importante como referencia para modelos complejos. Su ventaja interpretativa se ve favorecida en ámbitos normativos estrictos como las finanzas y la sanidad.

El principio básico de la regresión logística

• mecanismo de asignación probabilísticaLa regresión logística se centra en la conversión de valores predictivos lineales en probabilidades, utilizando una función en forma de S como función de conexión. La forma matemática de esta función es 1/(1+e^(-z)), siendo z una combinación lineal de características. Esta función tiene la propiedad de ser suave y monótona, lo que garantiza que los valores de probabilidad sean razonables y derivables.
• Formación de los límites de la toma de decisionesEl modelo divide las categorías estableciendo un umbral de probabilidad (normalmente 0,5), que corresponde a un límite de decisión lineal. En el espacio de características, el límite de decisión se representa como un hiperplano para separar muestras de distintas categorías. La ubicación del límite viene determinada por los parámetros del modelo, que se aprenden a partir de los datos de entrenamiento.
• interpretación del odds ratioParámetros de regresión logística: los parámetros de regresión logística corresponden a cambios en los cocientes de probabilidades, es decir, los cambios en las unidades de características conducen a cambios multiplicativos en los cocientes de probabilidades. Las odds ratio superiores a 1 indican una correlación positiva, mientras que las inferiores a 1 indican una correlación negativa, lo que proporciona una medida intuitiva de la influencia de los rasgos.
• Optimización de la estimación de máxima verosimilitudEl objetivo del entrenamiento es maximizar la función de verosimilitud de los datos observados, lo que equivale a minimizar la pérdida de entropía cruzada. Los algoritmos de optimización, como el descenso de gradiente, actualizan iterativamente los parámetros y, finalmente, convergen a la solución óptima. La concavidad de la función de verosimilitud garantiza la unicidad de la solución.
• Supuestos lineales y ampliacionesLa regresión logística subyacente supone que las características están relacionadas linealmente con el logaritmo fraccionario, pero las relaciones no lineales simples pueden tratarse añadiendo términos de interacción o características polinómicas. Los métodos de núcleo o las redes neuronales pueden ampliar aún más su capacidad de procesamiento.

Modelización matemática de la regresión logística

• Función de acción en forma de SEn el centro del modelo matemático está la función en forma de S que asigna la puntuación lineal z = β₀ + β₁x₁ + ... + βₙxₙ a P(y=1|x)=1/(1+e^(-z)). Esta derivada funcional tiene la elegante forma matemática P(1-P), que facilita el cálculo del gradiente.
• Diseño de la función de pérdidaSe utiliza una función de pérdida logarítmica, formulada como -Σ[yᵢlog(pᵢ)+(1-yᵢ)log(1-pᵢ)]. La convexidad de la función de pérdida garantiza la estabilidad del proceso de optimización, con una penalización razonable para las estimaciones de probabilidad mal clasificadas.
• ecuación de estimación de parámetrosEstimación de máxima verosimilitud: la estimación de máxima verosimilitud deriva un conjunto de ecuaciones no lineales para resolver el parámetro β. Estas ecuaciones no tienen una solución analítica y deben resolverse iterativamente mediante un método numérico como el método Newton-Raphson o el descenso de gradiente.
• Introducción de la regularizaciónLa regularización L1 produce soluciones dispersas para la selección automática de características; la regularización L2 mejora la capacidad de generalización del modelo al reducir los parámetros.
• Extensiones multicategoríaRegresión logística multinomial: la regresión logística multinomial utiliza una función máxima flexible para transformar múltiples resultados lineales en distribuciones de probabilidad. La función se normaliza mediante una puntuación exponencial para garantizar que todas las probabilidades de categoría sumen 1.

Escenarios de aplicación de la regresión logística

• Previsión de diagnósticos médicosIntroducción: La regresión logística se utiliza ampliamente para la predicción del riesgo de enfermedad, como la estimación de la probabilidad de cardiopatía basada en características como la edad y la presión arterial. El resultado del modelo ayuda a los médicos en la toma de decisiones clínicas y contribuye a equilibrar la sensibilidad y especificidad del diagnóstico.
• Calificación del crédito financieroLos bancos utilizan la regresión logística para construir tarjetas de puntuación crediticia con el fin de evaluar la probabilidad de impago de los clientes. El modelo tiene en cuenta características como los ingresos y el historial crediticio, y los resultados se utilizan en el proceso de aprobación de préstamos para reducir eficazmente el riesgo de morosidad.
• Respuesta de marketingLas empresas utilizan la regresión logística para predecir la probabilidad de respuesta de los clientes a las promociones y optimizar la asignación de los recursos de marketing. Las entradas del modelo incluyen datos demográficos, historial de compras y otra información, lo que ayuda a mejorar las tasas de conversión de marketing.
• procesamiento del lenguaje natural (PLN)En tareas de clasificación de textos como el análisis de sentimiento, la regresión logística procesa características de bolsa de palabras para determinar la polaridad del sentimiento del texto. Se trata de un método sencillo y eficiente, adecuado para aplicaciones en tiempo real que requieren una respuesta rápida.
• Ayuda al reconocimiento de imágenesEn visión por computador, la regresión logística se utiliza como capa de clasificación junto con un extractor de características para realizar tareas sencillas de clasificación de imágenes. Por ejemplo, funciona bien en pruebas de reconocimiento de dígitos manuscritos.

Ventajas de la regresión logística

• Alta eficiencia computacionalEl proceso de entrenamiento y predicción de la regresión logística tiene una baja complejidad computacional y es adecuado para manejar datos a gran escala o para los requisitos de los sistemas en tiempo real. El proceso de optimización converge más rápido y requiere relativamente menos recursos informáticos.
• Los resultados probabilísticos son útilesEl modelo proporciona estimaciones probabilísticas en lugar de simples resultados de clasificación, lo que permite ajustar con flexibilidad los umbrales de decisión en función de las necesidades reales. El resultado probabilístico permite cuantificar la incertidumbre en los escenarios de clasificación de riesgos.
• Muy interpretableLos parámetros del modelo corresponden directamente a la importancia de las características, y el concepto de odds ratio es fácil de entender a nivel empresarial. Esta transparencia satisface los requisitos de cumplimiento normativo en finanzas, sanidad y otros ámbitos.
• Buena robustezEl modelo es tolerante al ruido y a las características irrelevantes, y su rendimiento es especialmente consistente con la adición de regularización. La propiedad de suavizado probabilístico de los resultados evita que se produzcan predicciones extremas.
• Fácil de implantar y poner en marchaLa estructura del algoritmo es sencilla y el código de implementación está disponible en varios lenguajes de programación. El proceso de depuración es intuitivo y los efectos de las funciones pueden presentarse visualmente.

Limitaciones de la regresión logística

• restricción límite linealLa regresión logística básica sólo puede aprender límites de decisión lineales y no puede manejar patrones no lineales complejos. Para aumentar la complejidad del modelo, es necesario recurrir a la ingeniería de rasgos o a trucos de kernel.
• sensibilidad característicaCaracterísticas muy correlacionadas: Las características muy correlacionadas pueden dar lugar a estimaciones inestables de los parámetros y aumentar la varianza. Aunque esto se puede mitigar con métodos de preprocesamiento como el análisis de componentes principales, se pierde algo de interpretabilidad.
• Efectos de desequilibrio de las muestrasEl efecto de las categorías: cuando las categorías están desigualmente distribuidas en los datos, el modelo está sesgado hacia la categoría mayoritaria. Se necesita una estrategia de remuestreo o una ponderación de la función de pérdida para reequilibrar el impacto de la categoría.
• Vulnerabilidad atípicaEl método de regresión lineal: Aunque es más robusto que la regresión lineal, los valores atípicos extremos pueden distorsionar las estimaciones de probabilidad. Esto debe ir acompañado de la detección de valores atípicos o del uso de una función de pérdida robusta.
• Requisitos de independenciaModelo de regresión logística: la regresión logística asume que las características son independientes entre sí, una suposición que a menudo no se cumple en los datos reales. Ignorar la estructura de dependencia entre características puede degradar el rendimiento del modelo.

Proceso de entrenamiento de la regresión logística

• Pasos previos al tratamiento de datosAntes de comenzar el entrenamiento, es necesario realizar tareas preparatorias como la limpieza de datos, la normalización de características, el tratamiento de valores perdidos, etc. Las variables categóricas deben codificarse en forma numérica, por ejemplo, mediante codificación térmica en solitario.
• Inicialización de parámetrosLos pesos del modelo suelen inicializarse aleatoriamente o con valores cero, y los distintos métodos de inicialización pueden afectar a la velocidad de convergencia. Hay que elegir con cuidado para evitar el problema de la desaparición o explosión de gradientes.
• Iteración de descenso gradualMinimización de la función de pérdida mediante un algoritmo de optimización y actualización de los parámetros del modelo calculando el gradiente. El ajuste de la tasa de aprendizaje es crítico, demasiado grande conduce a oscilaciones, demasiado pequeño conduce a una convergencia lenta.
• Criterios de convergenciaEl proceso de entrenamiento continúa hasta que el cambio de pérdida es inferior a un umbral establecido o se alcanza el número máximo de iteraciones. El uso de la parada temprana evita el sobreajuste, lo que se consigue mediante la supervisión del rendimiento del conjunto de validación.
• ajuste de hiperparámetrosMétodo de validación cruzada: los hiperparámetros clave, como la tasa de aprendizaje, la intensidad de la regularización, etc., se seleccionan mediante métodos de validación cruzada. La búsqueda en cuadrícula o aleatoria ayuda a encontrar la combinación óptima de parámetros.

Explicación de los resultados de la regresión logística

• Selección del umbral de probabilidadUmbral de precisión: el umbral predeterminado de 0,5 puede ajustarse en función de las necesidades de la empresa; el aumento del umbral mejora la tasa de precisión, mientras que la disminución del umbral favorece el aumento de la tasa de recuperación. La curva característica de trabajo del sujeto ayuda en el proceso de selección del umbral.
• Evaluación de la importancia de las característicasEl tamaño del valor absoluto del parámetro refleja la influencia del rasgo, y los signos positivo y negativo indican la dirección de la influencia. Tras la normalización de los rasgos, los parámetros permiten realizar comparaciones entre rasgos.
• Construcción del intervalo de confianza: Las estimaciones de los parámetros van acompañadas de intervalos de confianza que reflejan la incertidumbre de las estimaciones. Cuando el intervalo de confianza no contiene cero, indica que la característica es estadísticamente significativa.
• Comprobación de la calibración del modeloLos resultados de probabilidad deben calibrarse para garantizar que las probabilidades previstas coinciden con las frecuencias reales. El grado de calibración se evalúa mediante curvas de calibración o puntuaciones de Breyer.
• Transformación de la visión empresarialTraducir los cocientes de probabilidades en términos comerciales, por ejemplo, "Cada año adicional de edad aumenta las probabilidades de impago en 10%". Mejore el apoyo a la toma de decisiones mediante explicaciones narrativas.

Comparación de la regresión logística con otros modelos

• Comparación con la regresión linealLa regresión logística se ocupa de los problemas de clasificación y la regresión lineal de los problemas de regresión; la regresión logística produce probabilidades y la regresión lineal produce valores continuos; la regresión logística utiliza la estimación de máxima verosimilitud y la regresión lineal utiliza mínimos cuadrados.
• Comparación con árboles de decisiónLa regresión logística proporciona resultados probabilísticos suaves y los árboles de decisión producen resultados de segmentación duros; la regresión logística es un modelo global y los árboles de decisión son modelos locales; la regresión logística requiere un escalado de características y los árboles de decisión son insensibles a ello.
• Comparación con las máquinas de vectores soporteLa regresión logística genera valores de probabilidad, mientras que las máquinas de vectores soporte generan distancias límite; las funciones de pérdida de la regresión logística se pueden derivar en cualquier lugar, mientras que las máquinas de vectores soporte utilizan la pérdida de bisagra; la regresión logística es más fácil de extender a problemas de multiclasificación.
• Comparación con las redes neuronalesLa regresión logística tiene una estructura monocapa, mientras que las redes neuronales tienen una estructura multicapa; la regresión logística es muy interpretable, mientras que las redes neuronales son más difíciles de interpretar; la regresión logística es rápida de entrenar, mientras que las redes neuronales requieren una gran cantidad de datos de apoyo.
• Comparación con Bayes simpleLa regresión logística es un modelo discriminativo y el Bayes simple es un modelo generativo; la regresión logística estima probabilidades condicionales y el Bayes simple estima probabilidades conjuntas; la regresión logística no tiene ningún requisito de independencia de características.