35.网络结构与模型压缩、加速-2

35.1 Depthwise separable convolution

  • Depthwise separable convolution是由depthwise conv和pointwise conv构成
  • depthwise conv(DW)有效减少参数数量并提升运算速度
    • 但是由于每个feature map只被一个卷积核卷积,因此经过DW输出的feature map不能只包含输入特征图的全部信息,而且特征之间的信息不能进行交流,导致“信息流通不畅”。
  • pointwise conv(PW)实现通道特征信息交流,解决DW卷积导致“信息流通不畅”的问题。
  • 假设输入特征的的维度为H * W * c1;卷积核的维度为h1 * w1 * c1,共c2个;输出特征的维度为 H1 * W1 * c2。
  • 传统卷积计算方式如下:


  • 传统卷积运算量为:


  • DW卷积的计算方式如下:


  • PW卷积的计算方式如下:


  • Depthwise separable convolution运算量为:


  • Depthwise separable convolution相对于传统卷积的运算量:


  • 由此可知,随着卷积通道数的增加,Depthwise separable convolution的运算量相对于传统卷积更少

大数据视频推荐:
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐:
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能:深度学习入门到精通

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

友情链接更多精彩内容