In this paper, an experimental framework to perform closed-loop experiments is presented, in which information processing (i.e., coding and decoding) and learning of neuronal assemblies are studied during the continuous interaction with a robotic body.
Information coding in the Central Nervous System (CNS) remains unexplored. There is mounting evidence that, even at a very low level, the representation of a given stimulus might be dependent on context and history. If this is actually the case, bi-directional interactions between the brain (or if need be a reduced model of it) and sensory-motor system can shed a light on how encoding and decoding of information is performed. Here an experimental system is introduced and described in which the activity of a neuronal element (i.e., a network of neurons extracted from embryonic mammalian hippocampi) is given context and used to control the movement of an artificial agent, while environmental information is fed back to the culture as a sequence of electrical stimuli. This architecture allows a quick selection of diverse encoding, decoding, and learning algorithms to test different hypotheses on the computational properties of neuronal networks.
Muitas características da função cerebral Atualmente impossível de replicar em um sistema artificial. A capacidade do cérebro para processar rapidamente a informação sensorial complexa e de gerar, em resposta, os comandos precisos do motor é por si só, já para além do state-of-the-art atual. Mas sua capacidade de se adaptar a diferentes condições de aprender com experiências passadas torna tão vastamente superior a sistemas de controle humanos desenvolvida. Até agora, as tentativas de replicar ou explorar essa plasticidade se encontraram pouco sucesso, e a compreensão do funcionamento interno do cérebro tem escapado das garras dos investigadores. Um dos principais problemas ao investigar a relação entre cérebro e comportamento é a incapacidade de acessar corretamente todas as variáveis no sistema: idealmente, uma instalação experimental ideal seria permitir a gravação e estimulação simultânea de um grande número de neurônios, estabilidade a longo prazo , monitoramento de sinapses posições e pesos, e controlável bi-directional interacção com o ambiente. A dificuldade na localização de todas essas variáveis simultaneamente levou ao estudo da relação cérebro-comportamento em duas escalas muito diferentes: ou com comportando animais, sem um bom controle sobre condições experimentais 1-7 ou com, peças pequenas e isoladas, tais como porções de tecido neuronal, sem visão de conjunto do sistema de 8. Neste último caso, enquanto nenhuma configuração experimental concebido permite o monitoramento completo de todos os parâmetros envolvidos no funcionamento do mesmo uma rede neural simples, um bom trade-off é fornecida pelos neurônios dissociados cultivadas sobre Micro-Eletrodo Arrays (AMA) 9. Esses dispositivos, nascidos no final dos anos 70, 10 têm várias vantagens sobre as técnicas de eletrofisiologia tradicionais: em primeiro lugar, a possibilidade de gravação e estimulando uma rede neural em muitos locais diferentes ao mesmo tempo (geralmente 60 eletrodos). Além disso, o acoplamento de AAM com células é quase não-invasivaPermitindo a observação da mesma rede por longos períodos de tempo, até vários meses 11. Os efeitos fisiológicos de estimulação eléctrica em culturas dissociadas foram estudados extensivamente graças a esses dispositivos, revelando que muitas propriedades observadas em escalas maiores (tais como, por exemplo, plasticidade e memória simples processa 12-14) estão conservados, apesar da perda da arquitectura. Durante o crescimento da cultura, essas redes começar a mostrar atividade espontânea em cerca de 7 dias in vitro (DIV) 15,16. A atividade da rede tende a mudar radicalmente com maior crescimento; primeiro como picos individuais reunir em rajadas (no final da segunda semana) 17, mais tarde, à medida que muda para um padrão de sincronização altamente complexa, de rede não periódica explode 18, que representa o estado de maturidade de uma rede. Tem sido sugerido que este comportamento 19 síncrono, um pouco semelhante ao observado in vivo fichaSeres em animais para dormir, é causada pela falta de estímulos sensoriais.
Uma abordagem diferente tentativa de obter uma melhor compreensão da codificação da informação tem sido feita por meio de experimentos de circuito fechado, em que foram utilizados diferentes tipos de sinais para controlar a estimulação do próprio 11,20-23 rede neuronal. Nestas experiências, um agente externo capaz de interagir com o ambiente tem sido utilizado para gerar a informação sensorial alimentado para a rede neural, a qual, por sua vez, produzido comandos do motor para um mecanismo efector. Isto permitiu a observação de como as propriedades dinâmicas e adaptativas dos sistemas neurais evoluiu em resposta a alterações induzidas no ambiente.
Uma instalação para executar 'incorporada neurofisiologia' experiências foi desenvolvido, em que um sensor de plataforma com rodas (um robô física ou o seu modelo virtual) se move sobre numa arena e os seus perfis de velocidade são determinadas pela actividade de uma neuronalsistema (isto é, uma população de neurónios de rato cultivadas ao longo de um MEA). O robô é caracterizado por os perfis de velocidade das suas duas rodas controlados de forma independente e por as leituras actuais dos sensores de distância. A natureza exacta dos sensores de distância não é relevante; eles podem ser ativa ou passiva sensores ópticos ou sensores de ultra-som. Claramente, esta questão não se aplica no caso de robôs virtuais, em que os sensores podem ser projetados com qualquer recurso desejado.
Nas experiências aqui descritas, o robô é sempre utilizada a aplicação virtual, com seis sensores de distância que apontam no 30 °, 60 ° e 90 ° a partir da posição em ambas as direcções do robô. A atividade dos três sensores de esquerda e direita é calculada a média ea atividade da cultura biológica é impulsionada pela informação recolhida por tais "super-sensores" (que só vai ser referidos como sensores de "certas" no resto "esquerda" e deste trabalho). O protocol descrito pode ser efectivamente aplicado ao robô físico com ajustes relativamente menores. A informação recolhida pelo robô (físicos ou virtuais) é codificado em uma série de estímulos que são usadas para manipular a actividade da rede neural biológica, que está fisicamente separado pelo robô. Os próprios estímulos são todos idênticos e, portanto, não codificam quaisquer informações. O que é relevante é a sua frequência: aumentos da taxa de estimulação quando o robô se aproxima de um obstáculo, com diferentes locais de entrega de codificação de informações sensoriais dos "olhos" esquerda e direita do robô. A rede neural vai apresentar diferentes respostas para o trem de entrada de estímulos: a tarefa de o algoritmo de descodificação é traduzir a actividade da rede resultante em comandos utilizados para controlar as rodas de um robô. Dado um comportamento de rede 'perfeito' (isto é, com confiança e respostas a estímulos de diferentes eletrodos totalmente separados), este seria Result em que o robô a condução em sua arena sem bater em qualquer obstáculo. A maioria das redes apresentam um comportamento muito diferente da idealidade, portanto, um protocolo de aprendizagem simples é introduzida: quando ativado, estimulação tetânica (breves períodos de estimulação de alta freqüência, de 20 Hz de estimulação por 2 segundos, inspirado por protocolos descritos em 24,25) na sequência de um colisão com um obstáculo é entregue. Se os resultados de estimulação tetânica em um fortalecimento local da conectividade de rede, isso irá resultar em um aumento progressivo das capacidades de navegação do robô.
HyBrainWare2, uma versão melhorada do software personalizado publicado em 26, é a arquitectura núcleo desenvolvidos para lidar com o controlo dos diferentes dispositivos do sistema (estimulador, a aquisição de dados, processamento e visualização, a comunicação robô ou simulação). Este software foi desenvolvido em nosso laboratório e está disponível gratuitamente, mediante pedido. Este software fornece a interface coma placa de aquisição de dados: uma vez que o usuário começa a aquisição de dados a partir da GUI, o software controla a placa de aquisição de começar a amostragem e conversão A / D de dados provenientes dos eletrodos de registro. Estes dados podem ser gravadas, exibida a tela ou analisados em tempo real para detectar picos, de acordo com as opções definidas pelo utilizador (ver secção Procedimento para detalhes). Além disso, dentro do software, a definição de codificação (tradução de informação sensorial em uma estimulação elétrica) e decodificação (tradução de actividade registada em comandos motores para o robô) algoritmos deve ser especificado. Em particular, a nossa configuração é relativamente fácil de usar em comparação com sistemas semelhantes projetados no passado 27, uma vez que quase todas as variáveis podem ser acessados pelo usuário à direita antes do início do experimento real, enquanto toda a informação gravada é automaticamente salva em um formato compatível com uma caixa de ferramentas de análise de dados neural 28.
A secção seguinte procedimento descreve uma experiência de aprendizagem em culturas de hipocampo de ratazana dissociado: toda a cultura e parâmetros experimentais são fornecidos para esta preparação particular e pode necessitar de ser modificada, se um substrato biológico diferente é para ser utilizado. Da mesma forma, a experiência descrita toma vantagem da arquitectura de circuito fechado para investigar o efeito de aprendizagem de estimulação tetânica, mas a própria arquitectura é flexível o suficiente para ser usada no estudo de diferentes características das redes neurais dissociados. As principais variantes do experimento proposto são explicadas na seção Discussão.
Neste documento uma arquitetura neuro-robótico baseado em um controlador neuronal (ou seja, uma rede de neurónios provenientes do córtex ou do hipocampo de ratos embrionários), bi-direccionalmente ligado a um robô virtual, é apresentada. O robô, que tem sensores e rodas, é forçado a mover-se em uma arena estático com obstáculos e sua tarefa consiste em evitar colisões.
O primeiro e possivelmente o mais crítico aspecto do processo descrito é a preparação das próprias culturas, como a taxa de falhas tenderá a ser significativa mesmo nas melhores condições técnicas. Uma descrição detalhada das técnicas de cultura é, no entanto, fora do âmbito do presente trabalho. Como orientação geral, as gravações deve ocorrer quando a taxa de disparo da rede atinge um nível estável, geralmente após 3 semanas in vitro. A indicação aproximada de culturas saudáveis é a presença de atividade eletrofisiológica espontânea em vários chann gravaçãoels (pelo menos 20 canais de mais de 60 disponíveis). Tais culturas são caracterizados por um elevado grau de inter-ligação neuronal. Sob tais condições, a atividade neural geralmente torna-se fortemente sincronizada e, às vezes, mostra eventos epileptiformes, com spiking intenso seguido por minutos de duração períodos de silêncio 37. Ambas estas características apresentam um problema: a sincronização excessivo irá tornar impossível distinguir as respostas a estímulos de diferentes eléctrodos, enquanto que as culturas que exibem a actividade epileptiforme irá responder ao primeiro estímulo apresentado com um tempo de explosão actividade, seguido por um período de silêncio, independentemente qualquer estímulo sucessivo entregue. Ambos os problemas podem ser fortemente melhorada pelo emprego de culturas estampados 35, em que a população neural é dividida em duas ou mais fracamente sub-grupos interligados.
Outra questão é que as respostas neurais dependem fortemente da distribuição de stimul entradai 38,39. Numa experiência de malha fechada, a estimulação é entregue em função das leituras de sensores, que, por sua vez, são uma consequência do movimento do robô e, portanto, dos próprios respostas neurais. Isto implica que não há nenhuma maneira fácil de estabelecer de antemão o que as respostas serão observadas durante o experimento real. Como resultado, a selecção de eléctrodos de entrada e saída devem confiar em aproximações sucessivas. No protocolo descrito, um processo de duas etapas (ou seja, os passos 5.5 e 6.4) é implementado para tentar determinar um mapa de ligação. No primeiro passo, uma sequência regular de estímulos é entregue e as respostas a tais estímulos são utilizadas para derivar um primeiro mapa de ligação e um conjunto de canais de gravação temporária. Esta configuração é, então, utilizado para executar a unidade de teste descrito no passo 6.4 e seleccionar os canais de gravação que serão monitorados durante a experiência real.
Na seção Resultados, uma res de navegação representativasult e as melhorias imediatas trazidas pela introdução de um paradigma de aprendizagem são apresentados. Ao longo da descrição protocolo, várias outras variantes possíveis experimentais são mencionados. Por exemplo, os dois principais sistemas de codificação implementadas em HyBrainWare2 (lineares e estocásticos) onde desenvolvidos para investigar o papel exato da entrada variabilidade temporal o código neural 38. No caso linear, a taxa de estimulação instantânea é uma função dos parâmetros definidos pelo usuário e sensores do robô gravações. No caso estocástico, cada instante de tempo tem uma dada probabilidade de ser escolhido para proporcionar um estímulo. Tal probabilidade é calculado automaticamente pelo HyBrainWare2 de modo que as taxas de estimulação esperados corresponder ao do primeiro caso. A possibilidade de adicionar jitter para codificação linear proporciona uma transição suave entre os dois casos descritos acima. Da mesma forma, explorando diferentes combinações de parâmetros na seção de decodificação pode ajudar a lançar luz sobre o precise papel de estourar in vitro em redes neurais. A velocidade de cada roda do robô aumenta proporcionalmente com o parâmetro peso cada vez que um evento for detectado na área de saída correspondente, enquanto que o coeficiente de extinção indica a quantidade de tempo, em segundos, uma das contribuições preciso para perder 50% do seu valor . A decadência é um simples exponencial. Essas variantes já foram tidas em conta na concepção atual de HyBrainWare2, mas muitas mais possibilidades de pesquisa estão abertos se modificações adicionais no software ou configuração experimental pode ser introduzido.
Uma limitação bastante significativo para o protocolo aqui descrito é a exigência do software desenvolvido sob encomenda, HyBrainWare2 (disponível gratuitamente, mediante pedido a todos os interessados). Este software foi projetado para um conjunto de dispositivos (estimulador, placa de aquisição, amplificador MEA) de um modelo e fabricante específico. Embora seja possível adaptá-lo para trabalhar em disetups fferent, a conversão irá tomar alguma habilidade de programação. Da mesma forma, as opções existentes cobrem apenas um conjunto limitado de todas as questões experimentais que poderiam ser investigados através de uma tal configuração. Por exemplo, o algoritmo de detecção de pico aplicado na arquitectura apresentada (tempo preciso detecção espiga 40) está completamente definida por vários parâmetros codificados que precisam de ser alterados, se o objecto de registo é muito diferente das redes neuronais dissociadas (por exemplo, células cardíacas ou fatias). Finalmente, o protocolo de aprendizagem consiste no fornecimento de uma curta, de alta frequência (2 segundos de estimulação de 20 Hz, cada impulso de estímulo é o mesmo que os utilizados para codificar informação sensorial) estimulação após cada batida obstáculo. Se o robô atinge um obstáculo com o seu lado direito, a estimulação tetânica é entregue ao eletrodo que geralmente códigos de informação lado direito eo mesmo vale para sucessos do lado esquerdo. Este protocolo é codificado e não pode be alterado pelo usuário, sem modificar software de sair.
Embora a configuração apresentada aqui não é o primeiro sistema encarnada para experimentos híbrido, em circuito fechado 20,23,27,41,42, os projetados no passado se concentraram em uma única tese apoiada por dados de um número limitado de preparações análogas . Por outro lado, a configuração descrita tem sido usado por um grande número de experiências (mais de 100 culturas foram registados desde 2012) com diferentes preparações de modularidade e de origem, enquanto as próprias experiências abordadas questões diferentes (por exemplo, impacto de estimulação tetânica e relevância de explosão, conforme apresentado nos resultados). Em um futuro próximo, novas sessões experimentais estão previstos para verificar os efeitos duradouros de ambos estimulação tetânica e de circuito fechado e a relação entre a estimulação regularidade e observaram respostas. Outra questão a ser abordada é a ligação entre a atividade espontânea e observado, coma idéia de acrescentar um novo algoritmo de decodificação que leva em conta a história da atividade passada e estimulação 43.
The authors have nothing to disclose.
Os autores gostariam de agradecer a Ph.D. estudante Marta Bisio para cultivar e manutenção de redes neuronais mais de microeléctrodos Arrays e Dr. Marina Nanni e Dr. Claudia Chiabrera de NBT-IIT para a assistência técnica para os procedimentos de dissecação e de dissociação. A investigação conducente a estes resultados foi financiada pelo Sétimo Programa-Quadro da União Europeia (ICT-FET FP7 / 2007-2013, FET Jovem Explorers esquema) ao abrigo do contrato de concessão n ° 284772 BRAIN BOW ( www.brainbowproject.eu ). Os autores também gostaria de agradecer a Silvia Chiappalone por sua ajuda na produção dos gráficos utilizados na introdução.
Name of Reagent/Material | Company |
Stimulus Generator 4002 | Multi Channel Systems |
MEA1060-Inv-BC | Multi Channel Systems |
TC02 | Multi Channel Systems |
NI 6255 Acquisition Card | National Instruments |
Microsoft Visual Studio 2008 | Microsoft |
2078P Multichannel System-National Instruments adapter board | Developed at University of Genova (Italy) |
Matlab 2010 | Mathworks |