DataX调优及常见问题

jvm参数

在datax 中导数据使用过程中往往会因为，目标数据过大导致datax oom，那么可以调大datax的jvm参数来防止oom,在python命令后，使用 -jvm=”-Xms5G -Xmx 5G”来调大

python datax.py  --jvm="-Xms5G -Xmx5G" ../job/test.json

writeMode Insert ignore

当datax 导入mysql数据时，可能会因为有有数据报错，导致datax导数据会异常慢，那么可以修改mysqlwriter的writeMode模式 修改为Insert ignore 忽略报错，速度会显著提升。

java.io.IOException: Maximum column length of 100,000 exceeded in column...异常信息

如果报java.io.IOException: Maximum column length of 100,000 exceeded in column...异常信息，说明数据源column字段长度超过了100000字符。
需要在json的reader里增加如下配置

"csvReaderConfig":{
   "safetySwitch": false,
   "skipEmptyRecords": false,
   "useTextQualifier": false
}
safetySwitch = false;//单列长度不限制100000字符
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容