A hallmark of intelligence is the ability to autonomously learn new flexible, cognitive behaviors. Here we define cognitive behaviors as those that require working memory, that is, behaviors where the appropriate action depends not just on immediate stimuli (as in simple reflexive stimulus-response associations), but on memorized contextual information. Such cognitive, memory-dependent behaviors are by definition meta-learning (``learning to learn'') tasks. In typical meta-learning experiments, agents are trained with an external, human-designed algorithm to acquire one specific cognitive task. By contrast, animals are able to pick up new cognitive tasks (including tasks never seen during evolution) automatically, from stimuli and rewards alone, through the operation of their own evolved internal machinery. Can we harness this process to generate artificial agents with such abilities? Here we evolve neural networks, endowed with plastic connections and neuromodulation, over a sizable set of simple meta-learning tasks based on a framework from computational neuroscience. The resulting evolved networks can automatically modify their own connectivity to acquire a novel simple cognitive task, never seen during evolution, from stimuli and rewards alone, through the spontaneous operation of their evolved neural organization and plasticity system. We suggest that attending to the multiplicity of loops involved in natural learning may provide useful insight into the emergence of intelligent behavior.
翻译:智能的标志是自主学习新的灵活认知行为的能力。 我们在这里将认知行为定义为那些需要工作记忆的行为, 也就是说, 适当行动不仅依赖于即时刺激( 简单的反反射刺激反应协会), 也依赖于记忆背景信息。 这些认知、 记忆依赖行为从定义上来说是元学习( 学习学习学习学习 ) 任务。 在典型的元学习实验中, 代理人员接受外部、 人类设计的算法培训, 以获得特定的认知任务。 相比之下, 动物能够自动地接受新的认知任务( 包括进化过程中从未看到的任务 ), 从刺激和奖励单靠自己的进化内部机器操作来自动地从刺激和奖励中, 。 我们能利用这个过程来生成具有这种能力的人工剂吗? 在这里, 我们进化了神经网络, 具有塑料连接和神经调节, 超越了一套基于计算神经科学框架的庞大的简单元学习任务。 由此产生的进化网络可以自动地改变自己的连接, 获得一个全新的简单认知任务, 从进化过程中从未看到过的任务, 从刺激和奖赏赏, 从演化到自然的进的进的进的进化中, 系统, 通过自然的进化的进化的进化到进化的进化的进化的进化的进化的进化到进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化, 系统, 系统,,,, 来提供其进化到进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的系统, 系统, 系统, 系统可以提供的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的进化的系统,