因为有了canal和canal Adapter这个神器 , 同步到elasticsearch、hbase等问题都解决了 , 但是自己的开发的过程中发现 , Adapter使用还是有些问题 , 因为先使用的是elasticsearch同步功能 , 所以对elasticsearch进行了一些改造:
elasticsearch初始化
一个全新的elasticsearch无法使用 , 因为没有创建elasticsearch index和mApping,增加了对应的功能 。
elasticsearch配置文件mapping节点增加两个参数:

文章插图
enablefieldmap 是否需要自动生成fieldmap , 默认为false,如果需要启动的时候就生成这设置为true,并且设置
fieldmap,类似elasticsearch mapping中每个字段的类型 。
esconfig bug处理
代码中获取binlog的日志处理时 , 必须要获取数据库名 , 但是当获取binlog为type query时 , 是无法获取
数据库名的 , 此处有bug , 导致出现 "Outer adapter write failed" ,且未输出错误日志 , 修复此bug.
后续计划
- 增加rabbit MQ的支持
- 增加redis的支持
推荐阅读
- 老虎证券:电商降速钉钉亏损 阿里的日子不好过
- 作为一名程序员,有必要了解这些开源的黑客工具!
- 阿里巴巴|毕业生找工作,要稳定还是挑战?长远来看这条路更适合你
- 阿里巴巴企业认证流程 阿里巴巴认证的证书有哪些
- 微信聊天记录里的文件又失效了?试试这个文件同步开源项目吧
- 阿里-整洁面向对象分层架构COLA
- 阿里Nacos多环境配置
- 阿里v任务怎么发布任务 阿里v任务和淘宝客的区别
- 2019年最优秀的开源命令行工具,值得收藏
- 裁员|面对阿里、腾讯、京东裁员,互联网相关的工作,还值得考虑吗?
