Hoy presentaremos un formalismo matemático para describir variables aleatorias que cambian en el tiempo, las cadenas de Markov. [MÚSICA] Comencemos por definir algunos conceptos preliminares importantes, el concepto de estado, un estado es una asignación de valores para un conjunto de variables. Para ilustrarlo imaginemos un tren inteligente. ¿Qué variables son relevantes para un tren inteligente? El número de pasajeros. Un valor particular de esta variable podría ser por decir 500. Otra variable relevante es si está lloviendo o no está lloviendo. Decimos que un estado es observable si puede medirse o puede conocerse con certidumbre. Una lotería es un experimento aleatorio del que no podemos anticipar el resultado. Por ejemplo lanzar una moneda, no podemos saber antes de lanzarla si va a caer sol o águila. La medida de probabilidad es una función que asigna las probabilidades a los eventos. Nos permite cuantificar de manera consistente la incertidumbre. Una variable aleatoria toma valores del resultado de una lotería. Para ilustrar una variable aleatoria regresemos al ejemplo del tren inteligente, en el tren inteligente nos interesa conocer en qué vagón viaja un pasajero. Tenemos una variable b y puede tomar uno de tres valores, el vagón dormitorio, el vagón comedor o el vagón bar. Ahora seleccionamos aleatoriamente un pasajero, del pasajero no nos interesa su identidad sino solamente el vagón en el que viaja. Esto es una lotería. La variable aleatoria que denominamos b puede tomar tres valores posibles, cada una de las tres etiquetas definidas. Este diagrama de árbol ilustra cada salida en una rama etiquetada con la probabilidad correspondiente. Un proceso estocástico formaliza matemáticamente la evolución temporal de un conjunto de variables aleatorias. Podemos pensar esto como un ensamble de variables parametrizadas por un parámetro o índice y este índice representa el tiempo. Cada variable toma su valor de un espacio de estado cese y es la realización de un experimento aleatorio en un espacio muestral numérico. El tipo más simple de proceso estocástico es el proceso de Bernoulli. Pensemos por ejemplo en lanzar una moneda repetidas veces. Las variables aleatorias serán la cara visible de la moneda tras cada lanzamiento. El espacio de estado se es águila o sol. Lanzamos la moneda, el primero estado de nuestra variable es águila, siguiente estado, sol, siguiente águila, luego águila otra vez, seguido por sol, otra vez sol, etcétera. En un proceso de Bernoulli la probabilidad del estado siguiente no depende del estado actual. En modelos más ricos podemos definir una regla de evolución temporal. Nos interesa un tipo particular de proceso estocástico, el proceso estocástico de Markov. En un proceso estocástico de Markov el índice representa el tiempo y también este proceso exhibe la propiedad markoviana o de Markov. Esta propiedad lo que dice es que la probabilidad de observar un estado en el tiempo siguiente solo depende del presente y no de los estados observados en el pasado. En particular hoy trataremos con cadenas de Markov, en las cadenas de Markov tenemos estados finitos y tiempo discreto. La propiedad de Markov nos dice de que la probabilidad de la variable aleatoria x se realice en el estado s en el tiempo siguiente dada toda la historia de estados observados s1, s2 hasta st, es igual a la probabilidad de observar el estado s dado el estado en el tiempo presente st. Es decir, podemos olvidar el pasado pues este no tiene repercusión en lo que sucederá en tiempos futuros. Vamos a presentar un ejemplo de la aplicación de la cadena de Markov al problema de la localización probabilística de un pasajero en el tren. Comenzamos por identificar los estados. El primer estado es el vagón dormitorio que representamos con el vértice etiquetado con la letra d. El siguiente es el bar, el siguiente el comedor. Ahora bien, las aristas dirigidas de nuestro grafo van a ilustrar la relación de parejas de estados presentes y futuros siempre que la probabilidad sea distinta de 0. Si la probabilidad es 0 la arista no existe. En nuestro ejemplo si el pasajero se encuentra en el vagón dormitorio, la probabilidad de que en el minuto siguiente continúe en el dormitorio es igual a 0.7. Así dibujamos esta arista con origen y destino en el nodo d. Etiquetamos la arista con su parámetro o probabilidad de transición. Formalmente la probabilidad de que en el tiempo t+1 el estado sea el dormitorio dado que en el tiempo actual el estado es dormitorio es de 0.7. Otra posibilidad es que el pasajero vaya al bar. Agregamos la arista con su parámetro igual a 0.1. La transición del dormitorio al comedor con probabilidad 0.2. Completamos el grafo con las probabilidades restantes. La conveniencia de este diagrama de estados es que no representamos el tiempo de manera explícita dado que las probabilidades son estacionarias. El diagrama de estados puede ser muy conveniente para un modelador humano. Pero nuestra gente no es humano. Matemáticamente para describir la cadena de Markov es más adecuado utilizar una representación matricial. En esta matriz las entradas son las probabilidades de transición de estado, aquí el índice de las entradas asociado al renglón corresponde con el estado siguiente y el índice asociado a la columna con el estado presente. Por ejemplo, si el índice 1 es para el estado d, el índice 2 para el estado b y el índice 3 para el estado c, entonces la entrada 1,1 de la matriz es la probabilidad de que una gente en el estado d continúe en dicho estado al tiempo siguiente. La entrada 1,2 es la probabilidad de transitar de b a d. La entrada 1,3 la probabilidad de transitar de c a d. Observamos que el primer renglón define la probabilidad de cada una de las maneras de transitar al estado d. La entrada 2,1 la probabilidad de transitar de d a b. La 2,2 la probabilidad de estar y permanecer en b. 2,3 la probabilidad de transitar de c a b. 3,1 la probabilidad de transitar de d a c. 3,2 la probabilidad de transitar de b a c. Y finalmente 3,3 la probabilidad de estar y permanecer en c. La evolución de la distribución de probabilidad sobre los estados del problema está gobernada por la ecuación matricial aquí mostrada. En el lado izquierdo hemos conformado un vector con las probabilidades de cada estado al tiempo siguiente. Del lado derecho tenemos el producto de la matriz t de probabilidades de transición, con el vector cuyas entradas son las probabilidades de los estados al tiempo actual. Podemos usar la regla de evolución para anticipar cómo cambiará una distribución de probabilidad en tiempos futuros. Si sabemos con servidumbre que el pasajero se encuentra en el vagón dormitorio, es decir el estado 1, esto se representa vectorialmente con el vector de distribución de probabilidad 1,0,0 al cual por brevedad denotaremos simplemente como P0. Entonces la regla de evolución nos dice que al multiplicar la matriz de probabilidades de transición de estado por el vector P0 obtendremos la distribución de probabilidad para los estados en el tiempo siguiente t igual a 1. Al realizar el producto matricial obtenemos que la distribución de tiempo t igual a 1 es 0.7, 0.1, 0.2. Esto indica que es muy probable que la gente continúa en el estado d pero existe una probabilidad de 0.1 de que se encuentre en b y de 0.2 de que se encuentre en c. Ahora, ¿qué pasa si deseamos conocer la distribución de probabilidad al tiempo t igual a 2? Observamos que basta iterar la ecuación una vez más. Esto es una vez que obtenemos p1, p2 se obtiene multiplicando t por p1. En este caso, el producto nos da el vector 0.57, 0.15, 0.28 Observa,os que si sustituimos p1m por el producto matricial t por p0, entonces una expresión equivalente es elevar al cuadrado la matriz de probabilidades de transición y multiplicarla por la condición inicial. Esta es una regla general. Si deseamos conocer la distribución de probabilidad t pasos de tiempo al futuro, basta con elevar la matriz t al tiempo t. Aquí el vector traspuesto para t igual a 1. Para t igual a 2, para t igual a 3, para t igual a 4. Observamos que a dos dígitos significativos el vector you no cambia para tiempos iguales o mayores a t igual a 5. El que la distribución converja no es accidente, a la distribución resultante se le conoce como distribución de estado estable. Aún más interesante es que la distribución de estado estable no depende de la condición inicial, recordando que los vectores característicos son aquellos que no cambian de dirección ante una transformación lineal. Otro método para encontrar la distribución de estado estable es encontrar los vectores característicos de la matriz de transición t. [MÚSICA] [MÚSICA]
