1. Introducción al Aprendizaje por Refuerzo

Dentro del machine learning existen tres grandes categorías: supervisado, no supervisado y por refuerzo. El supervisado usa datos etiquetados; el no supervisado busca patrones sin etiquetas. El Aprendizaje por Refuerzo (RL) se basa en el principio de prueba y error, similar a cómo aprenden los humanos.

Su objetivo no es clasificar o agrupar, sino maximizar una señal de recompensa numérica a lo largo del tiempo. El agente interactúa con un entorno, toma decisiones y recibe retroalimentación (recompensas o penalizaciones) que le permiten mejorar su estrategia.

2. Conceptos fundamentales

El RL se estructura en torno a los siguientes elementos clave, según la definición del informe:

3. Proceso de aprendizaje mediante recompensas

El proceso de aprendizaje se basa en la interacción continua entre el agente y su entorno. En cada instante t, el agente observa su estado actual (S_t) y ejecuta una acción (A_t). Como respuesta, el entorno transita a un nuevo estado (S_t+1) y emite una recompensa o penalización (R_t+1). Al carecer de instrucciones explícitas sobre qué acciones son correctas, el agente aprende mediante ensayo y error, ajustando su comportamiento para favorecer las decisiones que resultan rentables a largo plazo.

Este proceso iterativo permite al agente construir gradualmente una política que maximiza la señal de recompensa. La clave está en que el agente no solo considera el beneficio inmediato, sino que también evalúa las consecuencias futuras de sus acciones, lo que le permite planificar y adaptarse a entornos dinámicos.

El objetivo final del agente no es maximizar la recompensa inmediata, sino el retorno acumulado descontado a lo largo del tiempo, definido como:

Donde el factor de descuento γ (0 ≤ γ < 1) es un parámetro clave que define la “visión futura” del sistema. Un valor de γ cercano a 1 otorga un peso casi igual a las recompensas futuras, lo que permite al agente planificar a largo plazo y tomar decisiones que maximicen el beneficio total. Por el contrario, un γ cercano a 0 hace que el agente sea cortoplacista, enfocándose únicamente en la recompensa inmediata (R_t+1) y descartando prácticamente las consecuencias futuras de sus acciones.

La elección de γ depende del problema: en tareas donde el agente necesita actuar con previsión (por ejemplo, gestión de inventarios o planificación financiera), se prefiere un γ alto. En problemas donde las acciones tienen efectos inmediatos y el entorno cambia rápidamente, un γ bajo puede ser más adecuado para evitar planes excesivamente largos que se vuelvan obsoletos.

4. Algoritmo Q‑Learning

El algoritmo Q‑Learning destaca como uno de los métodos más implementados en el aprendizaje por refuerzo, ya que:

• Opera fuera de la política (off‑policy): permite al agente aprender la mejor estrategia posible incluso mientras explora de forma aleatoria o comete errores. Esto significa que la política que se está aprendiendo (la política objetivo) puede ser diferente de la política que se está utilizando para generar comportamiento (la política de comportamiento).
• Es libre de modelo (model‑free): toma decisiones mediante ensayo y error interactuando directamente con el entorno, sin necesidad de conocer las probabilidades de transición entre estados ni la función de recompensa del entorno. El agente no necesita un modelo del entorno, solo experiencia.

El núcleo de este algoritmo consiste en estimar una función de valor de acción, denominada función Q (Q(S_t, A_t)). Esta función proyecta el beneficio total que se espera obtener si, estando en un estado S_t, se ejecuta una acción A_t y, a partir de ese momento, se siguen tomando las mejores decisiones posibles. Cuando el escenario presenta un número limitado y discreto de estados y acciones, esta función se materializa en una estructura matricial conocida como Tabla Q (Q‑table), la cual actúa como la “memoria” del agente.

Los valores almacenados en esta tabla son actualizados continuamente luego de cada interacción entre el agente y el entorno. Para ello, se emplea una adaptación de la Ecuación de Bellman basada en el método de diferencias temporales:

Cada término de la ecuación cumple un rol específico en el ajuste del conocimiento del agente:

• Q(S_t, A_t): valor estimado actual para el par estado‑acción.
• Tasa de aprendizaje (α): un coeficiente (0 < α ≤ 1) que regula en qué proporción la nueva información adquirida sobrescribe el conocimiento previo. Un α alto hace que el agente aprenda rápidamente, pero puede ser inestable; un α bajo produce un aprendizaje más lento pero más estable.
• Recompensa (R_t+1): el incentivo o penalización inmediata que entrega el entorno tras ejecutar la acción elegida.
• Proyección futura (γ max_a Q(S_t+1, a)): el máximo beneficio que el agente estima obtener en el estado siguiente (S_t+1), asumiendo que tomará la acción óptima (a). Esto se multiplica por el factor de descuento (γ) para ajustar la importancia de las recompensas futuras.
• Error de Diferencia Temporal (TD Error): representado por la expresión completa entre corchetes [R_t+1 + γ max_a Q(S_t+1, a) − Q(S_t, A_t)]. Cuantifica la discrepancia entre la predicción original y el nuevo valor calculado. Un error TD positivo indica que la acción fue mejor de lo esperado, mientras que uno negativo indica lo contrario.

Convergencia: conforme el agente acumula experiencia a través de un número suficiente de iteraciones, los valores dentro de la Tabla Q convergen progresivamente hacia los valores reales óptimos, siempre que se cumplan ciertas condiciones (como visitar todos los pares estado‑acción un número infinito de veces). Una vez estabilizados, el sistema puede prescindir de la exploración y actuar de forma determinista, guiándose exclusivamente por la tabla para tomar, en cada paso, la decisión que garantice el máximo rendimiento. En la práctica, esto significa que el agente habrá aprendido la política óptima y podrá utilizarla sin necesidad de seguir explorando.

5. Caso práctico: Detección de fraudes financieros

En la industria financiera, la detección de transacciones fraudulentas es un desafío constante, ya que los patrones de fraude evolucionan rápidamente y se ocultan entre millones de operaciones legítimas. Para ello, el Aprendizaje por Refuerzo ofrece un enfoque altamente adaptativo. Mediante Q‑Learning, se modela un agente que aprende de manera interactiva a tomar decisiones de clasificación. A través de la experiencia continua, el agente descubre por sí mismo cómo identificar comportamientos anómalos y puede, mediante prueba y error, adaptarse a nuevas tendencias que se desarrollen en el tiempo.

5.1 Modelado del problema en componentes de RL

El escenario financiero se traduce en los siguientes componentes:

• Entorno: el flujo continuo de transacciones financieras.
• Estados (S_t): perfil simplificado de la transacción actual, por ejemplo, la combinación de “Monto” (Alto/Bajo) y “Ubicación” (Habitual/Inusual).
• Acciones (A_t): ante cada perfil (estado), el agente ejecuta una de tres decisiones para clasificar la anomalía:
  • a₀ Aprobar: permitir la transacción (comportamiento normal).
  • a₁ Alertar: solicitar verificación adicional (anomalía sospechosa).
  • a₂ Bloquear: rechazar la transacción inmediatamente (fraude).

5.2 Sistema de recompensas y optimización

En escenarios donde el fraude es poco probable, medir solamente la exactitud puede resultar engañoso. Por ello, el sistema de recompensas se diseña para penalizar severamente los errores de seguridad y premiar cuando el agente realiza una detección precisa:

5.3 Dinámica del aprendizaje

El proceso arranca con una Tabla Q inicializada en ceros. Inicialmente, el agente utiliza una política ε‑greedy para explorar el entorno de forma aleatoria, probando distintas acciones ante diferentes perfiles. Si el agente toma una mala decisión (por ejemplo, aprueba un fraude evidente y recibe la penalización de −50), se genera un gran error en la Ecuación de Actualización de Bellman, lo que reduce drásticamente el valor de la acción “Aprobar” para ese estado o perfil específico. Conforme la tasa de exploración disminuye progresivamente, el agente se ve obligado a explotar su conocimiento acumulado. Al final de las iteraciones, la Tabla Q converge hacia una política adaptativa robusta: el agente sabrá exactamente qué patrones representan situaciones anómalas que deben ser bloqueadas y cuáles son transacciones seguras, superando con creces la rigidez de los sistemas basados en reglas estáticas.

Convergencia: gracias a la naturaleza off‑policy de Q‑Learning, el agente puede aprender la política óptima incluso mientras explora, siempre que cada par estado‑acción sea visitado un número suficiente de veces. La exploración inicial (cold‑start) es fundamental para descubrir las recompensas asociadas a cada acción, pero debe ser controlada para no provocar pérdidas excesivas en producción.

Tabla Q ilustrativa

6. Simulación interactiva: Grid World

Para comprender mejor el funcionamiento interno de Q‑Learning, se ha desarrollado una simulación interactiva en un entorno de cuadrícula (Grid World). El objetivo es que un agente aprenda a moverse por un tablero de 5×5 evitando obstáculos hasta alcanzar una celda meta (la esquina inferior derecha).

¿Qué hace la simulación? El agente comienza en la esquina superior izquierda y, mediante el algoritmo Q‑Learning, va actualizando su Tabla Q a medida que explora el entorno. En cada paso, el agente elige una acción (arriba, abajo, izquierda o derecha) siguiendo una política ε‑greedy. Si la acción lo lleva a una celda válida (dentro del tablero y sin obstáculo), recibe una recompensa: −0.1 por cada paso (para incentivar la rapidez), −1 si intenta moverse a una celda inválida, y +10 si alcanza la meta. Con estos valores, la Tabla Q se actualiza aplicando la ecuación de Bellman.

Parámetros ajustables: el usuario puede modificar en tiempo real la tasa de aprendizaje (α) (qué tanto influye la nueva información), el factor de descuento (γ) (visión a corto o largo plazo), la probabilidad de exploración (ε) (cuánto explora frente a explota) y la velocidad de reproducción (para observar el proceso paso a paso o más rápido). Estos controles permiten experimentar con diferentes configuraciones y ver cómo afectan la convergencia del aprendizaje.

Visualización: en el canvas se dibuja el tablero con el agente (círculo azul), la meta (cuadrado amarillo) y los obstáculos (celdas grises). Además, se muestra una mini Tabla Q donde cada celda presenta el valor máximo de Q para ese estado, permitiendo ver cómo evoluciona el conocimiento del agente. Las estadísticas (número de episodios, pasos totales y recompensa acumulada) ofrecen una métrica del rendimiento.

Controles: los botones “Iniciar/Pausar” y “Reiniciar” permiten controlar la simulación. Al iniciar, el agente comienza a aprender y reinicia automáticamente al llegar a la meta, acumulando episodios. Esto demuestra cómo, con el tiempo, el agente aprende rutas más eficientes.

7. Conclusiones y limitaciones