Introducción al aprendizaje automático

1. Aprendizaje Automático: Programar Computadoras a partir de Datos

El aprendizaje automático consiste en programar computadoras para optimizar un criterio de desempeño utilizando datos de ejemplo o experiencia previa.

Resolver problemas con datos. Para tareas donde los algoritmos tradicionales son desconocidos o cambian con el tiempo, el aprendizaje automático ofrece una solución al permitir que las computadoras aprendan directamente de los datos. Esto es fundamental para problemas como filtrar correos no deseados, reconocer patrones en imágenes o voz, y adaptarse a entornos dinámicos. En lugar de instrucciones explícitas, la máquina extrae la lógica o patrones subyacentes a partir de ejemplos.

La abundancia de datos impulsa el aprendizaje automático. El mundo moderno genera enormes cantidades de datos provenientes de transacciones comerciales, mercados financieros, experimentos científicos e internet. Estos datos son un recurso valioso, pero su volumen hace imposible un análisis manual. Los algoritmos de aprendizaje automático están diseñados para procesar estos datos a gran escala, descubrir información valiosa y hacer predicciones.

Aplicaciones en múltiples industrias. El aprendizaje automático no se limita a la investigación teórica; tiene numerosas aplicaciones exitosas en diversos ámbitos:

• Comercio minorista: análisis de canastas, gestión de relaciones con clientes.
• Finanzas: evaluación crediticia, detección de fraudes, predicción bursátil.
• Medicina: diagnóstico médico.
• Web: motores de búsqueda, sistemas de recomendación, filtros de spam.

Estas aplicaciones demuestran el poder de aprender de la experiencia para resolver problemas reales.

2. Aprendizaje Supervisado: Aprender de Ejemplos Etiquetados

Tanto la regresión como la clasificación son problemas de aprendizaje supervisado donde existe una entrada, X, una salida, Y, y la tarea es aprender la relación entre ambas.

Aprender mapas entrada-salida. En el aprendizaje supervisado, el algoritmo recibe un conjunto de datos con pares entrada-salida, donde la salida correcta para cada entrada es conocida (proporcionada por un "supervisor"). El objetivo es aprender una función o modelo que prediga con precisión la salida para nuevas entradas no vistas.

Modelar la relación. La idea central es asumir una relación subyacente entre entradas y salidas, representada por un modelo con parámetros ajustables. El aprendizaje consiste en optimizar estos parámetros para minimizar la diferencia entre las predicciones del modelo y las salidas correctas conocidas en los datos de entrenamiento.

• Modelo: y = g(x | θ) donde g es la función y θ los parámetros.
• Aprendizaje: encontrar θ que minimice una función de error E(θ | X).

La generalización es clave. El objetivo final no es solo rendir bien en los datos de entrenamiento, sino generalizar eficazmente a nuevos ejemplos. Esto requiere seleccionar cuidadosamente el modelo para evitar el sobreajuste (memorizar ruido) o el subajuste (usar un modelo demasiado simple). La validación cruzada es una técnica estándar para estimar el desempeño en generalización.

3. Clasificación: Predecir Categorías con Datos

Este es un ejemplo de problema de clasificación con dos clases: clientes de bajo riesgo y alto riesgo.

Asignar entradas a clases. La clasificación es un tipo de aprendizaje supervisado donde la salida es una categoría o etiqueta discreta. Dada una entrada, la tarea es determinar a qué clase predefinida pertenece. Puede involucrar dos clases (clasificación binaria) o múltiples clases (clasificación multiclase).

Aprender fronteras de decisión. Los algoritmos de clasificación aprenden funciones, llamadas discriminantes, que definen límites que separan regiones del espacio de entrada correspondientes a diferentes clases. El objetivo es encontrar fronteras que asignen correctamente los ejemplos de entrenamiento y generalicen bien a nuevos datos.

• Dos clases: un discriminante g(x) donde el signo determina la clase.
• Múltiples clases: varios discriminantes gi(x) donde el máximo determina la clase.

Aplicaciones diversas. La clasificación se usa ampliamente en muchos campos:

• Evaluación crediticia: clientes de alto y bajo riesgo.
• Diagnóstico médico: identificar enfermedades según síntomas.
• Reconocimiento de imágenes: reconocer objetos o caracteres.
• Filtrado de spam: distinguir correos no deseados de legítimos.

Los algoritmos emplean estrategias que van desde fronteras lineales simples hasta complejas no lineales, según la estructura de los datos.

4. Regresión: Predecir Valores Numéricos

Los problemas donde la salida es un número se denominan problemas de regresión.

Estimar salidas continuas. La regresión es otro tipo de aprendizaje supervisado donde la salida es un valor numérico continuo, en lugar de una etiqueta discreta. El objetivo es aprender una función que asocie entradas con estos valores numéricos.

Modelar relaciones funcionales. La regresión asume que la salida es una función de la entrada, a menudo con ruido aleatorio añadido. El algoritmo busca aproximar esta función subyacente minimizando una medida de error, típicamente la diferencia al cuadrado entre el valor predicho y el real.

• Modelo: r = f(x) + ε donde f es la función verdadera y ε el ruido.
• Aprendizaje: encontrar g(x | θ) que aproxime f(x) minimizando (r - g(x | θ))^2.

Aplicaciones en predicción. La regresión se usa siempre que se necesita predecir una cantidad numérica basada en características de entrada.

• Predecir precios de casas según tamaño y ubicación.
• Estimar valores bursátiles.
• Pronosticar cifras de ventas.
• Predecir el consumo de combustible de un automóvil según sus características.

La regresión lineal es la forma más simple, pero se emplean modelos no lineales más complejos para relaciones más intrincadas.

5. Aprendizaje No Supervisado: Descubrir Estructuras Ocultas

En el aprendizaje no supervisado no existe un supervisor y solo se dispone de datos de entrada.

Encontrar patrones sin etiquetas. A diferencia del aprendizaje supervisado, el aprendizaje no supervisado trabaja con datos sin etiquetas predefinidas. El objetivo es descubrir patrones, estructuras o relaciones ocultas dentro de los propios datos de entrada.

Modelar la distribución de datos. Una tarea principal es la estimación de densidad, que busca modelar la distribución de probabilidad de los datos. Al entender dónde se concentran los datos, podemos identificar patrones típicos y valores atípicos.

• Estimación de densidad: aprender p(x) a partir de datos X.

Agrupamiento y reducción de dimensionalidad. Dos aplicaciones importantes son:

• Agrupamiento: reunir instancias similares (por ejemplo, segmentación de clientes).
• Reducción de dimensionalidad: encontrar una representación con menos dimensiones que preserve la información importante (por ejemplo, para visualización o reducción de ruido).

Estas técnicas son valiosas para explorar datos, preparar tareas supervisadas y comprender la estructura inherente de conjuntos complejos.

6. Aprendizaje por Refuerzo: Aprender Acciones Óptimas mediante Recompensas

Estos métodos se denominan algoritmos de aprendizaje por refuerzo.

Aprender mediante interacción. El aprendizaje por refuerzo implica un agente que interactúa con un entorno. El agente realiza acciones, recibe retroalimentación en forma de recompensas o penalizaciones, y aprende una política (estrategia para elegir acciones según el estado) para maximizar la recompensa acumulada a lo largo del tiempo.

Prueba y error. Este paradigma se basa en prueba y error. El agente explora diferentes acciones y aprende qué secuencias conducen a resultados deseables (altas recompensas). El desafío es el problema de asignación de crédito: determinar qué acciones específicas en una larga secuencia fueron responsables de una recompensa tardía.

Funciones de valor y política. Los algoritmos suelen aprender una función de valor que estima la recompensa futura esperada desde un estado o par estado-acción. Esta función guía al agente para elegir acciones que maximicen la recompensa acumulada, definiendo la política óptima.

• Función de valor: V(s) o Q(s, a).
• Política: π(s) elige acción a en estado s.

Se aplica en juegos (ajedrez, backgammon), navegación robótica y sistemas de control, donde el agente aprende el comportamiento óptimo mediante la experiencia.

7. Modelar la Incertidumbre: Probabilidad, Métodos Bayesianos y Estimación de Densidad

El aprendizaje automático utiliza la teoría estadística para construir modelos matemáticos, pues su tarea central es inferir a partir de una muestra.

Fundamentos estadísticos. El aprendizaje automático está profundamente basado en la estadística, usando la teoría de la probabilidad para modelar la incertidumbre y hacer inferencias con datos limitados. Se considera que los datos son generados por un proceso aleatorio, y el objetivo es estimar sus parámetros o estructura.

Enfoque bayesiano. Los métodos bayesianos tratan los parámetros del modelo como variables aleatorias con distribuciones previas, que se actualizan a distribuciones posteriores mediante los datos observados. Esto permite incorporar conocimiento previo y cuantificar la incertidumbre en las estimaciones.

• Regla de Bayes: P(θ | Datos) ∝ P(Datos | θ) * P(θ).

Estimación de densidad. Una tarea fundamental es estimar la distribución de probabilidad de los datos. Esto puede hacerse de forma paramétrica (asumiendo una forma conocida como la gaussiana), no paramétrica (aprendiendo directamente sin suposiciones fuertes) o semiparamétrica (mezclas de formas paramétricas).

• Paramétrico: estimar media y varianza de una gaussiana.
• No paramétrico: histogramas, estimación por núcleos.
• Semiparamétrico: modelos de mezcla gaussiana (aprendidos con EM).

Estas herramientas estadísticas proporcionan el marco para construir modelos robustos e interpretables.

8. Manejar la Complejidad: Reducción de Dimensionalidad

El aprendizaje también realiza compresión, pues al ajustar una regla a los datos obtenemos una explicación más simple que los datos, que requiere menos memoria y cálculo.

Combatir la maldición de la dimensionalidad. Los datos de alta dimensión presentan grandes desafíos: requieren más datos, aumentan el cálculo y dificultan la visualización (la "maldición de la dimensionalidad"). La reducción de dimensionalidad busca mitigar estos problemas disminuyendo el número de características de entrada.

Selección vs. extracción de características. Se usan dos enfoques principales:

• Selección de características: elegir un subconjunto de las originales más informativas (por ejemplo, selección hacia adelante o hacia atrás).
• Extracción de características: crear un nuevo conjunto más pequeño combinando las originales (por ejemplo, PCA, LDA).

Beneficios de reducir dimensiones. Disminuir la dimensionalidad conduce a modelos más simples con menos parámetros, lo que puede mejorar la generalización, especialmente con datos limitados (reduce la varianza). También facilita la visualización y puede revelar estructuras subyacentes.

• Menor cálculo y memoria.
• Mejor generalización (menos sobreajuste).
• Mayor interpretabilidad.
• Facilita la visualización.

Las técnicas van desde proyecciones lineales simples hasta métodos no lineales complejos como Kernel PCA, Isomap y LLE.

9. Aprender Fronteras de Decisión Directamente: Métodos Discriminantes

Este es un ejemplo de un discriminante; es una función que separa ejemplos de diferentes clases.

Evitar la estimación de densidad. En lugar de modelar la distribución de probabilidad dentro de cada clase (p(x | Ci)) y usar la regla de Bayes para derivar fronteras, los métodos discriminantes aprenden directamente las funciones que separan las clases. Esto suele ser más sencillo, pues se enfocan solo en las fronteras, no en toda la distribución.

Discriminantes lineales. El discriminante más simple es una función lineal de la entrada, que define un hiperplano que divide el espacio de entrada.

• Dos clases: g(x) donde el signo determina la clase.

[El texto original se interrumpió aquí.]