阿里出品开源数据同步神器—canal( 二 )

  • Adapter 使用无法同步数据?
  • 按照官方文档 , 检查配置项 , 如sql的大小写 , 字段的大小写可能都会有影响 , 如果还无法搞定 , 可以自己获取代码调试下 , Adapter的代码还是比较容易看懂的 。
  • canal Adapter elasticsearch 改造
    因为有了canal和canal Adapter这个神器 , 同步到elasticsearch、hbase等问题都解决了 , 但是自己的开发的过程中发现 , Adapter使用还是有些问题 , 因为先使用的是elasticsearch同步功能 , 所以对elasticsearch进行了一些改造:
    elasticsearch初始化
    一个全新的elasticsearch无法使用 , 因为没有创建elasticsearch index和mApping,增加了对应的功能 。
    elasticsearch配置文件mapping节点增加两个参数:
    阿里出品开源数据同步神器—canal

    文章插图
     
    enablefieldmap 是否需要自动生成fieldmap , 默认为false,如果需要启动的时候就生成这设置为true,并且设置
    fieldmap,类似elasticsearch mapping中每个字段的类型 。
    esconfig bug处理
    代码中获取binlog的日志处理时 , 必须要获取数据库名 , 但是当获取binlog为type query时 , 是无法获取
    数据库名的 , 此处有bug , 导致出现 "Outer adapter write failed" ,且未输出错误日志 , 修复此bug.
    后续计划
    • 增加rabbit MQ的支持
    • 增加redis的支持




    推荐阅读