Exploración frente a explotación

La mejor estrategia ante tu dilema de dónde pedir comida para llevar —«Depende»— ilustra la disyuntiva entre exploración y explotación. Explorar es probar cosas nuevas para obtener información y encontrar opciones que podrían ser mejores, como probar «La Apuesta». Explotar es usar la mejor opción que ya conoces para obtener una recompensa con la que puedes contar, como seguir con «El Confiable». Esta tensión está presente en todos los ámbitos de la vida, desde elegir una trayectoria profesional hasta decidir qué ver después.

Pregúntate: ¿Estoy obteniendo información nueva (explorando) o aprovechando lo que ya sé (explotando)?

La disyuntiva entre exploración y explotación es un reto central del aprendizaje y la toma de decisiones. Ninguna estrategia es mejor por sí misma; la mejor elección depende de tu contexto y tus objetivos.

Explorar es invertir en información. Cuando pruebas un restaurante nuevo, puede que comas mal, pero aprendes algo que te ayudará a decidir dónde comer en el futuro. Esto resulta valioso cuando tienes mucho tiempo por delante: muchas comidas futuras en las que podrás aprovechar lo aprendido.

Explotar, por su parte, consiste en obtener la mayor recompensa inmediata a partir de lo que ya sabes. Es una elección sensata cuando equivocarte sale caro o tienes poco tiempo por delante. Si estás eligiendo un restaurante para una cena de aniversario muy importante, probablemente aprovecharás lo que sabes e irás a tu favorito de confianza.

Una empresa podría dedicar el 80 % de su presupuesto a mejorar su producto principal y rentable (explotación), y destinar el 20 % restante a financiar nuevos proyectos experimentales (exploración). De forma similar, en tu vida social puedes apoyarte en amistades profundas para recibir apoyo y, al mismo tiempo, explorar nuevos círculos sociales para conocer a distintos tipos de personas.

La clave está en equilibrar ambas estrategias de forma consciente. Explorar demasiado puede llevarte a buscar constantemente sin llegar a aprovechar tus descubrimientos. Explotar demasiado puede dejarte estancado en una opción buena, pero no excelente, sin darte cuenta de que ha aparecido algo mucho mejor.

Esta disyuntiva se estudia formalmente como el «problema del bandido de múltiples brazos». En él, un jugador debe equilibrar el uso de la máquina tragamonedas que ofrece el mejor premio conocido (explotación) con probar otras para encontrar una mejor (exploración). El concepto es fundamental para entender los sistemas adaptativos.

• Las organizaciones que mantienen un equilibrio entre explorar nuevas posibilidades (por ejemplo, investigación y desarrollo) y explotar lo que ya conocen con certeza (por ejemplo, la eficiencia de producción) logran el mejor rendimiento a largo plazo. [1] (1991)
• Las soluciones computacionales del aprendizaje por refuerzo, como la estrategia «epsilon-greedy», hacen que un agente aproveche la mejor acción conocida la mayor parte del tiempo, pero explore una acción al azar con una pequeña probabilidad (épsilon). [2] (2018)

Los modelos puramente matemáticos suelen suponer que el mundo es estable, pero, en realidad, la «mejor» opción puede cambiar con el tiempo. Rara vez conocemos el verdadero valor de explorar, así que evaluarlo exige un juicio cualitativo, no un simple cálculo. Los sesgos humanos, como la aversión al riesgo, también nos empujan a explotar demasiado pronto y con demasiada frecuencia.