2019-01-07-小样本深度学习

小样本数据通常不建议用深度学习的理由:

对于classification model,有如下结论

训练样本N,h为Vc维数,详见https://www.cnblogs.com/HappyAngel/p/3633989.html

如果现在训练模型的算法能使得training error很小,而model complexity penalty又很小,就能保证test error也很小的概率是 1-η。所以要使得模型的generalization比较好,要保证training error和model complexity penalty都能比较小。观察model complexity penalty项,可以看到,h越大,model complexity penalty就会越大。N越大,model complexity penalty则会越小。大致上讲,越复杂的模型有着越大的h(VC dimension),所以为了使得模型有着好的generalization,需要有较大的N来压低model complexity penalty。 这就是为什么深度学习的模型需要大量的数据来训练,否则模型的generalization会比较差,也就是过拟合。

所以在小样本进行深度学习的时候一定要模型的适用性。


图网络代码地址。

https://github.com/deepmind/graph_nets

http://tkipf.github.io/graph-convolutional-networks/

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 本书版权属于出版社和作者所有。除非另有声明,没有书面许可任何人不得转载或使用整体或任何部分的内容。此文章只作为个人...
    lighkLife阅读 968评论 0 2
  • 打卡第21周 因为生病,晚更了 这一周基本是在休息,已经收到前面项目的首期款18000元 陪孩子过暑假,在南京周边...
    初七是婶儿阅读 202评论 0 0
  • 今天有一则新闻占据了几乎所有网页的头条,刷爆了朋友圈,那就是—— 李咏去世了。 如果有人不知道李咏是谁,请自行查...
    馨悦馨语阅读 462评论 0 0