从关系型库中迁移数据算是比较常见的场景,这里借助两个工具来完成本次的数据遷移考虑到数据量一个p多大并不大(不足两千万),未采用snapshot快照的形式进行
为提高脚本的执行效率,特殊关注下limit参数数据批的大小,默認是100条比较小的,这个需要根据具体的环境来调整建议1000以上。脚本执行过程中会有日志输出显示数据传输的进程。
若对目标索引需偠特殊处理的情况而不采用上面两个脚本——type类型为:analyzer及mapping,制定好自己的索引及映射关系后再使用工具进行迁移。
为应对脚本针对大數据量一个p多大的迁移执行中断的情况工具中有参数offset,但只针对写索引有效并不能按我们的预期直接从offset中断处继续读中断后的数据进洏去迁移数据,而是继续从头开始此处需要特别注意。
limit参数不宜调试过大容易导致timeout的情况发生,近而导致任务中断执行失败。
脚本運行建议以后台挂起的形式运行防止因连接中断导致任务中断。
实际操作时请结合自身的具体环境希望能帮到你。