Q:No space left on device

http://www.linuxidc.com/Linux/2015-08/120940.htm

shuffle的临时文件目录tmp挂载满了， 修改SPARK_LOCAL_DIRS路径到home或者挂载磁盘比较大的目录下

.bash_profile 设置：
export SPARK_LOCAL_DIRS=/data/spark

或者在spark-env.xml中修改SPARK_LOCAL_DIRS
或者在spark-default.xml中修改spark.local.dir

遇到这种问题，多半还是因为程序中有数据缓存到磁盘，但是没有及时unpersist掉，3 x Replicated, Streaming累积导致， 数据缓存和C++变量new堆栈空间一样, 是需要手动释放， 否则即使函数退出， 一样不能释放磁盘或者内存空间

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容