熵

在吴军老师的书中，看到香农提出的一个概念：信息熵。因对熵还未了解，就去把这个概念搞清楚。

1868年，德国科学家克劳修斯创造了一个术语“熵”，用以表示那些不可用的能量。他发现，当能量由一个较高的、较集中的形态转化为分散的形态，即由高温的形态转化为低温的形态时，熵就会增加。经济活动在利用能源的过程中，散失到环境中的能量要比生产出的产品和服务大得多，即生成熵账单，如雾霾 ​​​。

香农从热力学中借用“熵”，用之解决了对信息的量化度量问题。信息熵的概念是来描述信源的不确定度。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容