易图秒懂の连接主义诞生

​我们在“易图秒懂の神经网络潜行-CNN前生" 和 “易图秒懂の神经网络潜行-RNN前生" 里面,简述了神经网络潜行的发展。”易图秒懂の符号主义诞生“里我们提到符号主义发展后, 诞生了认知科学新的分支。 随着认知科学的大佬们开始注意神经网络, 在学习领域, 符号主义正式步入新阶段。

前言

Twitter上有个图片对连接主义和符号主义很形象的刻画,如下, 看上去符号主义站稳了脚跟, 但是链接主义开始挥舞起拳头。

以基于规则的系统为代表的符号主义, 正向以神经网络,统计学习为代表的链接主义转变, 同时以符号表示的表象主义向嵌入、进化、生成论方向发展。

当然, 讨论起这些主义,本身就是已经被认知科学影响了。由此可见认知科学发展所带来的变化。

一图抵千言

连接主义的代表是Rumelhart, 他和MIT的教授McClelland, 两人搞了一个PDP的杂志, 并行分布处理的杂志。 虽然是并行分布的杂志, 但却是连接主义的桥头堡。Rumelhart很不简单, 他是美国排名超前的心理学大师Estes的学生。 他所在的实验室CBC实验室更不简单,算得上是认知主义的一个源头点。

说到CBC实验室, 首先它的创立者是美国另外一个排名很前的心理学家Mandler。 接着,它后来的一把手是因发现DNA双螺旋结构而获得诺贝尔奖的Crick。 Crick受到了Hopfield网络的影响,为了这个实验室, 甚至在Natural撰文鼓吹神经网络。 当然因DNA双螺旋结构获得诺贝尔奖的Watson也不得了, Watson的老板Luria也是诺贝尔获得者,研究噬菌体。

辅助Crick的是认知学的另外一个大佬Norman, Norman后来开创了User-Centered Design, 他做到苹果的高级技术部门的VP, 对苹果公司的发展影响巨大。

如果你对Rumelhart还是不熟悉, 那么我再说几点, 他是机器学习大牛Jordan的导师(参考”乔丹上海行“)。另外,他是领头再创造BP算法的三个人的领袖。 另外一个是CBC实验室的Hinton,还有一个是发明RTRL算法的Williams。 某种意义上正是Rumelhart对BP算法的新的总结发表。 才让连接主义开始重新成为人工智能的主流。

Rumelhart 培养的学生都很赞, 他另外一个学生Glushko, 成立了好几个XML相关的公司。卖了几个后有钱了便和老婆成立了个基金会。 这个基金会在Rumelhart去世后建立了Rumelhart 大奖来奖励对连接主义有贡献的人。 第一次就奖励给了Hinton。

我们知道Hinton本人就是认知科学家Christopher的学生。 所以总得来说,连接主义兴起,是受到了认知科学, 生物学发展, Hopfield网络的影响下的一次重新冲击。

小结

本文描述了以Rumelhart为代表的连接主义,重新在人工智能的舞台上绽放光芒!当然离不开Crick的英明的领导!

相关话题:

神经网络之双向关联记忆网络(BAM)

易图秒懂の神经网络诞生

易图秒懂の人工智能诞生

参考:

http://www.eucognition.org/index.php?page=summary

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 投资美股时间并不长,有过盈利,也有亏损,行动永远是最大的敌人 清晰的记得阿里巴巴在美股上市以后的破发股价调到了68...
    时小颖阅读 531评论 0 1
  • 这个小孩,其实是爱玩的,暑假里,竞在我眼皮底下把消消乐的游戏玩到一百多关,还攒了上百个能量瓶,让我这初学菜鸟一下午...
    苗苗的麻麻阅读 200评论 0 0
  • 初入社会进了华为,就被召集到百草园进行所谓的洗脑,在那个时候,觉得企业文化很空,只是形式化的东西。而现在发觉企业文...
    晓说娟绘阅读 180评论 0 0