Entendiendo a fondo el LightGBM

Photo by RoonZ nl on Unsplash

LightGBM (Light Gradient Boosting Machine) es un algoritmo de boosting de gradientes desarrollado por Microsoft. Forma parte de una familia de algoritmos de machine learning conocidos como Gradient Boosted Decision Trees (GBDT), que también incluye a XGBoost y CatBoost. LightGBM se ha ganado una reputación por su eficiencia, velocidad y rendimiento en una amplia gama de tareas de modelado predictivo.

Tiene tanto capacidades de clasificación como de regresión.

Algoritmo y Características Clave

1. Gradient Boosting: Al igual que otros algoritmos de GBDT, LightGBM construye el modelo de forma secuencial, donde cada árbol nuevo intenta corregir los errores del árbol anterior.
2. Histogram-based Learning: LightGBM utiliza un algoritmo basado en histogramas para la búsqueda de split en los árboles, lo que significa que agrupa los valores continuos de las características en discretos bins (contenedores). Esto reduce significativamente el número de splits que deben considerarse y conduce a una formación más rápida.
3. Leaf-wise Growth: A diferencia de otros algoritmos que crecen árboles por niveles (depth-wise), LightGBM crece árboles por hojas. Elige la hoja con la máxima pérdida delta para crecer. Esto puede conducir a una reducción del error más rápida, aunque también tiene un…