Servicios
Servicios
Buscar
Idiomas
P. Completa
Bifurcaciones en sistemas de redes neuronales
Mauro Montealegre Cárdenas; Jasmidt Vera Cuenca; Edgar Montealegre Cárdenas
Mauro Montealegre Cárdenas; Jasmidt Vera Cuenca; Edgar Montealegre Cárdenas
Bifurcaciones en sistemas de redes neuronales
Bifurcations of neuronal networks systems
Ingeniería y Región, vol. 17, 2017
Universidad Surcolombiana
resúmenes
secciones
referencias
imágenes

Resumen: En este trabajo se exploran los conceptos de los sistemas dinámicos que explican las sinergias en las redes neuronales biológicas modeladas con la ecuación de Morris-Lecar, según se asume que las neuronas o grupos de neuronas sean osciladores, o no, en los niveles celular, sinapsis neuronal o conectividad de la red. Para los subsistemas para tiempo rápido se identifican las soluciones singulares y las soluciones “Burstings". En este sistema dinámico de complejidad jerárquica los parámetros son las variables del subsistema lento. Para explicar inestabilidades y transitoriedades se usa la teoría genérica de las bifurcaciones que caracteriza aspectos mesoscópicos de la conectividad de la red y filogénicos sobre los cambios típicos de comportamiento. Se extiende este estudio a modelos de redes neuronales artificiales recurrentes, en particular al modelo de Hopfield.

Palabras clave: Redes Neuronales, soluciones singulares, soluciones “burstings”, ecuación de Morris-Lecar, modelo de Hopfield, Bifurcaciones, nivel mesoscópico, complejidad jerárquica.

Abstract: This paper explores the concepts of dynamic systems that explain synergies in biological neural networks modeled with the Morris-Lecar equation, assuming that neurons or groups of neurons are oscillators, or not, at the cellular, neuronal synapses or network connectivity. For the fast-time subsystems, unique solutions and "Burstings" solutions are identified. In this dynamic system of hierarchical complexity, the parameters are the variables of the slow subsystem. In order to explain instability and transience, the generic bifurcation theory that characterizes mesoscopic aspects of network and phylogenetic connectivity over typical behavioral changes is used. This study is extended to models of recurrent artificial neural networks, in particular to the Hopfield model.

Keywords: Neural networks, singular solutions, "burstings" solutions, Morris-Lecar equation, Hopfield model, Bifurcations, mesoscopic level, hierarchical complexity.

Carátula del artículo

Artículo de investigación

Bifurcaciones en sistemas de redes neuronales

Bifurcations of neuronal networks systems

Mauro Montealegre Cárdenas
Universidad Surcolombiana, Colombia
Jasmidt Vera Cuenca
Universidad Surcolombiana, Colombia
Edgar Montealegre Cárdenas
Universidad Surcolombiana, Colombia
Ingeniería y Región
Universidad Surcolombiana, Colombia
ISSN: 1657-6985
ISSN-e: 2216-1325
Periodicidad: Semestral
vol. 17, 2017

Recepción: 28 Diciembre 2016

Aprobación: 30 Mayo 2017


1. Introducción

A partir de los resultados recientes sobre la Matemática Neuronal, se ha realizado un estudio de las sinergias en las redes neuronales resaltando la emergencia de la complejidad por mecanismos de autoorganización en circunstancias cambiantes, explicada estructural y funcionalmente a partir de las interacciones entre las variables de estado dependientes de los pesos sinápticos; se ha estudiado también sus características filogénicas descritas en el espacio de parámetros que se formalizan en sus bifurcaciones genéricas, también llamados factores de inestabilidad y transitoriedad.

Este artículo se refiere a las ecuaciones de Morris-Lacar (Bard Ermentrout & Terman, 2012) que involucra un sistema dinámico en tres dimensiones, con un único equilibrio auto-conectado mediante una órbita homoclínica con una variedad estable unidimensional y una variedad inestable de dos dimensiones, cuya dinámica es propuesta en Montealegre, Montealegre Cardenas, Vera cuenca, & Montealegre Cardenas, (2015).

Se destaca que las neuronas individualmente exhiben patrones de disparo más complejas que las descargas repetidas, son las oscilaciones explosivas también denominados “Burstings”, que se caracterizan por una fase de silencio alternada con una fase activa de oscilaciones rápidas, para ello se requieren al menos dos mecanismos biofísicos: un mecanismo responsable de la generación de adición y un mecanismo de modulación lenta, que se modelan como perturbaciones singulares (Izhikevich, 2007), dependiendo de múltiples escalas de tiempo.

Se relaciona con detalles los niveles jerárquicos de los sistemas dinámicos correspondientes a las redes neuronales en los niveles de: propiedades intrínsecas de células en la red, propiedades sinápticas de conexión entre neuronas y la topología de la conectividad en la red. Las dos primeras tienen múltiples escalas de tiempo y la dinámica celular depende de las variables de disparo en los canales. Una célula puede tener variedad de patrones de encendido: disparos repentinos, estallido de oscilaciones y dinámica caótica. Las sinapsis globales que pueden ser excitatorias o inhibitorias determinan cómo una célula, o grupos de células, influyen en las otras, lo cual se denomina la plasticidad del sistema. Las diferentes clases de arquitectura neuronal hacen que la conectividad sea esparcida o densa, aleatoria o altamente estructurada.

También se tratan aspectos interdisciplinarios de la dinámica del aprendizaje de las redes neuronales artificiales, como es el caso del modelo neuronal de Hopfield (Hopfield, 1984) que modelan las máquinas de Boltzmann descritas (Siri, 2007) y en (Bard Ermentrout & Terman, 2012).

2. Materiales y métodos
2.1 Dinámica Unicelular
2.1.1 Ecuación del potencial de acción

La relación entre la carga almacenada y el potencial es La relación entre la carga almacenada y el potencial es q=CMVM, con una constante de proporcionalidad CM llama la específica, Si gKes la conductancia de un solo canal de 𝐾+ y la corriente iónica a través de este canal es . Aquí EK es el potencial de Nernst 𝐾+. La fuerza impulsora es y . La ley de Kirchhoff conduce a la siguiente ecuación diferencial (1) sobre el potencial de membrana:

(1)

Este potencial depende de la variable espacio-temporal y con corrientes óhmicas debidas a los canales abiertos para 𝐾+, 𝑁𝑎+ y 𝐶𝐿, entonces la corriente de fuga IL es dada por , con IL=Icap+Iion. Esto produce la siguiente ecuación (2) del potencial de acción,

(2)

2.1.2 Modelo de Morris-Lecar y Bifurcaciones

El sistema de Morris-Lecar (3) descrito en (Izhikevich, 2007) despliega alta complejidad dinámica a partir de las siguientes ecuaciones,

(3)

donde 𝑣1, 𝑣2, 𝑣3 𝑦 𝑣4 son los parámetros de voltaje. Este modelo genera los siguientes cambios de comportamiento o bifurcaciones (Geovearts, 2013) y (Kuznetsov, 2004):

a. Las bifurcaciones de Takens-Bogdanov descrita en (Hastings, 1976) que tiene la siguiente forma normal.

b. Bifurcaciones homoclínicas del tipo silla para una órbita crítica en . La forma normal para este tipo de bifurcaciones homoclínico depende de la cantidad en el punto de silla y es en el supercrítico.

El sistema Morris-Lecar también exhibe patrones complejos denominadas oscilaciones explosivas, “bursting oscilations” (Bard Ermentrout & Terman, 2012) que involucra perturbaciones singulares para , parámetro singular pequeño. Las soluciones “burstings” generalmente comienzan o terminan en puntos homoclínicos. Como ejemplos de “bursting” tenemos:

a. “Bursting” de cuadratura de onda: El modelo Morris-Lecar relacionando con una tercera ecuación singular genera un régimen homoclínico con parámetro y tiene un comportamiento biestable de (4) denominado histérisis, se expresa mediante el siguiente sistema:

(4)

La corriente de calcio dependiente del potasio es es la conductancia máxima para esta corriente y 𝑧 es la variable de compuerta que relaciona la concentración de calcio en la membrana. Observamos comportamiento caótico en . Este “Bursting” es ilustrado en la figura 1.


Figura 1.
Figura 1. Bifurcaciones del tipo “Square Wave Bursting” puede generar caos
(Montealegre Cárdenas, Londoño Betancourth, & Polania Quiza, 2012)

b. “Bursting” parabólico: Si a los modelos los relacionamos con la cual depende de la variable y obtenemos el siguiente sistema (5),

(5)

Que cual tiene 2 variables rápidas, 𝑉 𝑦 𝑛, 2 variables lentas . Usando esta descomposición sistema rápido/lento estudiamos primero la dinámica lenta mediante el siguiente cambio de variables , que sustituimos el siguiente sistema generalizado,

donde . En obtenemos el siguiente sistema (6),

(6)

Observemos que la primera ecuación dice que durante la fase de silencio la soluciónsingular está por debajo de la superficie de puntos fijos. Se soluciona la primera ecuación como y se reemplaza en la segunda para obtener (7),

(7)

este es el subsistema reducido para estudiar la dinámica lenta hasta la fase de silencio.

Asumiendo que está en la región donde existe ciclos límites estables del sistema rápido, hacemos una solución periódica con período 𝑇(𝑦), y consideramos el siguiente sistema promedio (8),

(8)

considerando las dos variables lentas y1 y y2 como parámetros, haciendo una de las variables lentas como constante. El diagrama de bifurcación resulta una curva de puntos fijos y una curva de órbitas periódicas que se originan en un punto de Hopf sub-crítico y la transición al caso supercrítico, denominada bifurcación de codimensión 2 del tipo Bautin (Kuznetsov, 2004).

3. Resultados
3.1 Dinámica Multineuronal
3.1.1 Acoplamiento físico, oscilaciones neuronales

De Brown, Mahetius, & Holmes, (2004) tenemos en la ecuación diferencial con una solución periódica 𝑋(𝑡) de periodo 𝑇, orbital y asintóticamente estable, representada como y parametrizado con la fase, , que llamamos para cada .

Si es asintóticamente estable, se define la fase de 𝑦, puntos en una vecindad de , entonces , pues si , entonces cuando , esto es decir estas soluciones son indistinguibles.

El conjunto de 𝑦 que tiene la misma fase asintótica es llamado el isócrono de , conjunto denotado como 𝑁(𝒙), conjunto que resulta ser invariante, esto es, si y , y es mapeo de Poincaré para sobre la sección transversal 𝑁(𝒙) , la cual toma exactamente un tiempo 𝑇 .

Una pequeña perturbación para el campo de vectores con fase lo lleva a la nueva fase , generado la Curva de Transición de Fases , una función inyectiva del intervalo [0, 𝑇) en sí mismo. Para las perturbaciones la Curva de Reacomodación de Fases (CRF) es la diferencia entre la nueva y antigua fases (9),

(9)

La curva CRF está relacionada con 𝑇’ y satisface entonces el estímulo hace avanzar la fase. Relacionamos la curva CRF con la función parametrizado en con la fase esto es,

Una perturbación del campo y produce , esto significa que entonces CRF es la primera componente del gradiente de la función de fase evaluada en y la notamos como .

Sea una solución límite T-periódica y la matriz entonces la solución del sistema lineal resuelve el siguiente operador 𝐿 (10),

(10)

Su adjunto es satisface este último operador.

Su adjunto es satisface este último operador. Si es un ciclo límite estable, el espacio nulo de 𝐿 es generado por un múltiplo escalar de y el espacio nulo de 𝐿∗ en el espacio de las funciones 𝑇 - periódicas en múltiplos de 𝑍(𝑡), que satisface y por ello , es L*Z=0. Para estudiar la estabilidad de la solución, hacemos L* (y) = 0 que se resuelve integrando para tiempos negativos, la ecuación . En coordenadas de faces , para una cantidad Tf, obtenemos 𝑀 (11),

(11)

donde es el mapeo de transición de fase . En lugar de considerar con respecto a T, la dejamos evolucionar en la recta real definiendo la rotación (12) de la siguiente manera,

(12)

Resultando que si en promedio , el oscilador completa un ciclo por estímulo, es 1:1. Si , entonces el oscilador completa dos ciclos para cada tres de los estímulos, 2:3. Estas soluciones resonantes resuelven el siguiente Teorema de Denjoy:

Teorema. “El número de rotación está bien definido; es decir, el límite existe y es independiente de la condición inicial. Por otra parte, si es dos veces continuamente diferenciable, entonces:

1. 𝜌 es racional si y sólo si tiene una órbita periódica de un período: .

2. es irracional si y sólo si cada órbita es densa en el círculo.

3. es una función continua de los parámetros en la función 𝑀.”

3.1.2 Plasticidad

Corresponde al proceso hace que el cerebro desarrolle nuevas habilidades a lo largo de la vida (Erdi, 2010) estimulando aprendizaje no trivial. La plasticidad se define usando la concentración [T] de transmisores liberados en la hendidura sináptica para un pico presináptico. La plasticidad S(t), que es la fracción de canales abiertos, satisface la siguiente ecuación probabilística (13):

(13)

Si cae de nuevo a 0, entonces (14)

(14)

La corriente para este tipo de sinapsis es es la conductancia.

En general la plasticidad puede producirse en una actividad que puede expresarse mediante el siguiente sistema (15),

(15)

es el potencial de acción y es la adaptación por excitación que no excede 1. Un modelo más realista es

En las siguientes secciones de la 3.3) a la 3.6) de este trabajo seguimos a (Ermentrout & Terman, 2012), dado que este autor usa con apropiadamente el paradigma ondulatorio para describir la complejidad de los procesos de aprendizajes sinápticos (excitatorio o inhibitorio).

3.1.3 Acoplamiento químico: sinapsis excitatoria o inhibitoria

Arquitectura de una red neuronal puede ser global o local, densa o espaciada, aleatoria o determinística, en general se modela una red neuronal que se puede representar con grafos, acoplada fuertemente según el siguiente sistema (16):

(16)

donde . Asumimos que las células son heterogéneas en el sentido de que las funciones no-lineales fi y gi dependen de i ; algunas células son excitatorias y otras inhibitorias; los pesos sinápticos Wij son las probabilidades de que la célula 𝑖 se conecte con la célula 𝑗. Asumimos que las células están en un dominio D y v (x,t) el potencial de membrana en la posición 𝑥 en el tiempo 𝑡.

Después de un reescalonamiento apropiado el sistema anterior se puede expresar como (17) así:

(17)

Hacemos , así si gsyn es acotado, cada es una curva que tiene forma cúbica, para las cuales expresamos el lado izquierdo de Cs como y su derecho como . Donde es una función de escalón unitario, función de Heaviside, .

3.1.4 Propagación de ondas

Ahora estudiamos el patrón de propagación de ondas considerando dos capas de neuronas, una excitatoria y una inhibitoria. Para ello suponemos que la interacción de cada capa es modelada mediante el siguiente sistema (18),

(18)

La 𝑣-isoclina tiene forma cúbica "al revés", porque la variable lenta ℎ representa la disponibilidad de la T-corriente interna, en lugar activación de la corriente de potasio. Si una célula recibe la entrada inhibitoria, entonces esto eleva la 𝑣-isoclina y la célula se mueve hacia el nuevo equilibrio, la curva 𝑣-isoclina vuelve a la posición original (s=0) , queda (v,h) por encima de hmax. (Ermentrout & Terman, 2012) y corresponde a una onda denominada “indecisa

3.1.5. Ontogenia: Frente de ondas

La excitación recurrente hace que las neuronas vuelvan a disparar después de los disparos de las células vecinas, por ello la corriente sináptica está dada por la siguiente integral (19),

(19)

donde 𝐽 describe las fuerzas de las interacciones dependientes de la distancia y satisface (20) una ecuación diferencial de la forma

(20)

la función f (V) es cero, a menos que el voltaje este por encima de cierto umbral, .

3.1.6 Filogenia: Generación sináptica de pulsos

Para convertir el frente de ondas en pulsos (21) se inyecta gradualmente corrientes negativas, lo que se consigue adicionando dos corrientes lentas: la excitación sináptica y la adaptación,

(21)

donde la corriente sináptica (22) satisface el siguiente sistema,

(22)

fz (V) es cero a menos que la neurona se despolariza suficientemente y 𝜏𝑧 es la constante de recuperación lenta. La corriente total en una célula es dada es la entrada total en 𝑥 de otras células, la red es el siguiente sistema (23),

(23)

Se puede asumir que con una solución de pulso, , dónde es la velocidad de la onda viajera.

3.2 Redes neuronales artificiales

De Bard Ermentrout & Terman, (2012) y Cohen-Grossberg, (1983) relacionamos un modelo para la conectividad de las redes neuronales basado en la densidad de disparos del sistema,ui , dependiendo no-linealmente del potencial somático, donde 𝐹 la función logística. Asumimos un modelo de red neuronal recurrente con parámetros 𝜷, la entrada y 𝜶, la fuerza de las conexiones, con (Figura 2).


Figura 2.
Figura 2. Bifurcación homoclínica con equilibrio Silla-nodo puede generar ciclos inestables
(Montealegre Cardenas, Londoño Betancourth, & Polania Quiza, 2012).

La función 𝐹 tiene un único punto de inflexión y puede surgir una bifurcación silla-nodo en conexión homoclínica, como se ilustra en la figura 2, porque la derivada del sistema lineal es

Si 𝜶 es grande, como 𝐹 es invertible podemos resolver para 𝜷. Un modelo con 2 poblaciones de neuronas se obtiene el siguiente sistema (24),

(24)

3.2.1 Redes no estructuradas

Las dinámicas de estas redes son modeladas en Cohen-Grossberg, (1983), según se refieran a tasa de disparos, la primera (25), o de potencial de acción (26), la segunda:

(25)

(26)

3.2.2 Modelos para redes determinísticas de Hopfiel

En Erdi, (2010) se describe la actividad de un sistema neuronal recurrente que corresponde, primero a la dinámica de aprendizajes de D. Hebb, el segundo es morfológico y es la dinámica intermodal con entradas 𝑦𝑖 y salidas dadas por el siguiente sistema (27),

(27)

Las interacciones entre las neuronas 𝑖→𝑗 se actualizan de acuerdo siguientes opciones (28), según los niveles de complejidad:

(28)

Estos aprendizajes se inspiran en razonamientos: (Venturelli, 2015): deductivos, encontrando el efecto a partir de la causa y la regla; abducción, encontrar las causas con la regla y el efecto; Inducción, encontrar la regla con la causa y efecto; hipótesis heurística, referente a la solución a los problemas en estructuras simbólicas.

Si suponemos que el umbral para el error permanece constante, la actividad neuronal se puede resumir en siguiente modelo en tiempo continuo de Hopfield (29),

(29)

donde (x(t)) describe los estados, conectividad sináptica consignada en: aprendizaje que se registra en la matriz A; el vector de parámetros es (y=(yi)); la modulación de la conectividad B(j) y los parámetros de entrada el vector 𝐶. En resumen, se obtiene en (30),

(30)

3.2.3 Redes estocásticas recurrentes de Hopfield

Con respecto el modelo de las máquinas de Boltzmann tomamos de Siri, (2007) para la siguiente descripción: sea la tasa de disparo promedio de la neurona 𝑖, en el tiempo 𝑡 dentro del período de aprendizaje 𝑇, .

Si la función la matriz de cargas sinápticas en la 𝑇-ésima época de aprendizaje, cuya dinámica (31) es,

(31)

u(T) (t) es el “potencial sináptico" es el "patrón" a ser aprendido. La matriz de peso inicial W(T) se muestrea aleatoria e independientemente con una ley gaussiana con media 0 y varianza 1/𝑁; la matriz de cargas sinápticas W(T) contiene elementos positivos (excitación), negativos (inhibición) o nulos (sin sinapsis) y es asimétrica . La red puede mostrar diferentes regímenes dinámicos: Caos, (cuasi-) periodicidad, puntos fijos.

Definimos la siguiente formulación genérica para las reglas de aprendizaje de Hebb (Siri, 2007) dada por (32),

(32)

es función ℎ es Hebbiana,; es la tasa de olvido, si (las neuronas pre- y post-sinápticas son silenciosas), una tasa característica es y no hay olvido cuando , este valor de parámetro corresponde a una bifurcación silla-nodo de este sistema discreto.

4. Conclusiones

En este trabajo sobre sistemas de redes neuronales biológicas con herramientas neuro-matemáticas, se agregó un estudio de sinérgias a través de los factores de inestabilidad y transitoriedad, descritos con los métodos de la teoría de bifurcaciones.

De las interacciones entre sus subsistemas de tiempos rápidos o lentos, resultó una complejidad jerárquica y auto-organizada, que en circunstancias cambiantes corresponden, a nivel meso, la dinámica de grupos de neuronas especializadas. Estas descripciones geométricas surgen en estas redes y han sido modeladas a través de las formas normales de sus bifurcaciones.

Lo anterior permite establecer analogías entre las redes neuronales biológicas, operando con sus conexiones sinápticas, con las dinámicas generadas por modelos recurrentes de redes neuronales artificiales, en particular con los modelos de Hopfiel operando con las reglas del aprendizaje de Hebb. Este isomorfismo facilita conocimiento de la complejidad de los procesos cognoscitivos.

Material suplementario
Referencias bibliográficas
Bard Ermentrout, G., & Terman, D. H. (2012). Mathematical Fundations of Neuroscience. New York: Springer.
Brown, E., Mahetius, J., & Holmes, P. (2004). On the phase reductions an response dynamics of Neural oscillators populations. Neural Computing 16, 673-715.
Cohen-Grossberg. (1983). Absoluty stability global pattern formation and parallel memory storage by competitive (Vols. SMC-13).
Erdi, P. (2010). Complexity Explained. Springer.
Ermentrout, G., & Terman, D. (2012). Mathematical Fundations of Neuroscience. New York: Springer.
Geovearts, B. H. (2013). MatCont tutorial on starting up homoclinic orbits. California University.
Hastings, S. P. (1976). On the existence of homoclinic and periodic orbits for the FitzHung Nagumo equations. Quart J. Math 27, 123-154.
Hopfield, J. (1984). Neurons of graded response have collective computational properties like those of two-state neurons. Proc Natl Acad Sci U S A, 18, 3088-3092.
Izhikevich, E. M. (2007). Systems in Neuroscience: Geometry of excitability and Bursting. Cambridge: MIT Cambridge.
Kuznetsov, Y. A. (2004). Elements of applied Bifurcations Theory. New York: Springer.
Montealegre Cardenas, M., Londoño Betancourth, G., & Polania Quiza, L. A. (2012). Fundamentos de los Sistemas Dinámicos. Neiva: Universidad Surcolombiana.
Montealegre, Montealegre Cardenas, M., Vera Cuenca, J., & Montealegre Cardenas, E. (2015). Interacciones significativas entre los sistemas dinámicos del modelo de oscilaciones neuronales de Morris-Lecar y sistemas dinámicos de redes neuronales artificiales. Neiva: Proyecto Universidad Surcolombiana.
Siri, B. a. (2007). A matthematical analysis of the effects of Hebbien Learning rules on the dynamics and structure of discrete-time random recurrent neural network. Nice: Institut Non Linéaire de Nice.
Venturelli, A. (2015). Consideraciones Epistemológicas alrededor de las neurociencias cognitivas. Ciencias y cognición, 20(1), 018-28.
Notas

Figura 1.
Figura 1. Bifurcaciones del tipo “Square Wave Bursting” puede generar caos
(Montealegre Cárdenas, Londoño Betancourth, & Polania Quiza, 2012)

Figura 2.
Figura 2. Bifurcación homoclínica con equilibrio Silla-nodo puede generar ciclos inestables
(Montealegre Cardenas, Londoño Betancourth, & Polania Quiza, 2012).
Buscar:
Contexto
Descargar
Todas
Imágenes
Modelo de publicación sin fines de lucro para conservar la naturaleza académica y abierta de la comunicación científica
Visor móvil generado a partir de XML-JATS4R