人工神经网络一直悬而未决的问题是如何像大脑一样有效地进行无监督学习。

当前有两种主要的无监督学习方法。

第一种方法，以BERT和变分自编码为代表，使用深度神经网络来重建其输入。

第二种方法，是Becker和Hinton在1992年提出的，通过训练一个深层神经网络的两个副本，以相同图像的两种不同剪裁作为输入，产生具有高度互信息的输出向量。设计此方法的目的是使表示形式免受无关细节的束缚。

Becker和Hinton使用的优化互信息的方法也存在缺陷，后面Pacannaro和Hinton虽然用另一个方法替换了它也没能完全解决，但Hinton在本次演讲中提出了一个新的思路。