您当前的位置:首页 > 电脑百科 > 电脑知识

DataX的技术

时间:2020-10-14 10:38:16  来源:  作者:

DataX

•DataX是离线数据同步工具/平台,可以实现包括MySQL,oracle,SqlServer等多种异构数据源之间高效的数据同步

•也可以实现多种数据库迁移到表格存储

•不影响业务的情况下,数据库迁移,同步到表格存储

DataX的技术

 

–数据源读取数据的reader插件

–目标写入数据的是writer插件

–是json格式

•type:数据类型

•value:内容,print默认是flase<为true是打印控制台< span="">

DataX的技术

 

•name是不好更改的

DataX的技术

 

启动命令

DataX的技术

 

运行成功命令

DataX的技术

 

Mysql导入到hdfs中

mysql数据库中的help_keyword表到hdfs的/datax目录下(此目录必须提前创建好)

•help_keyword是mysql内置的一张字典表

mysqlreader参数解析:

DataX的技术

 

•【】参数为可选

hdfswriter参数解析:

DataX的技术

 

Append;写入不做任何处理,dataX hdfswriter直接使用filename写入,并保证文件名不冲突

•nonConfict:如果目录下有fileName前缀文件,直接报错

q启动命令:

Python /opt/sxt/datax/bin/datax.py -r mysqlreader -w hdfswriter

–mysqlreader:要是oracle,就是oraclelreader



Tags:DataX   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
DataX&bull;DataX是离线数据同步工具/平台,可以实现包括MySql,oracle,SqlServer等多种异构数据源之间高效的数据同步&bull;也可以实现多种数据库迁移到表格存储&bull;不影响业...【详细内容】
2020-10-14  Tags: DataX  点击:(89)  评论:(0)  加入收藏
一、DataX工具简介1、设计理念DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高...【详细内容】
2020-05-06  Tags: DataX  点击:(146)  评论:(0)  加入收藏
▌简易百科推荐
回答这个问题前首先要了解一度电的定义一度电= 1000W&middot;h ,是一个能量单位,一个功率为1000w的设备持续运作一小时就会消耗1度电。所以台式机多少时间一度电完全取决于台...【详细内容】
2021-12-20  数码榜    Tags:台式电脑   点击:(5)  评论:(0)  加入收藏
你是不是很多时候都会紧急冲向电源插座以拯救笔记本电脑的电量?很多时候由于附近没有方便的插座,一是会误事,二是会导致尴尬。幸运的是,现代笔记本电脑比前辈高效得多。如今,即...【详细内容】
2021-12-16  趣玩公社    Tags:电池   点击:(17)  评论:(0)  加入收藏
电脑在我们生活中的重要性不言而喻。如何保证自己的电脑流畅好用,对于很多用户来说都非常重要。作为一个理科男和IT从业者,对于自己的电脑还是非常在意的,会定期的进行整理,保持...【详细内容】
2021-12-09  小伊评科技    Tags:电脑   点击:(13)  评论:(0)  加入收藏
大家好,我是良许。不管我们使用什么操作系统,无论是 Windows、macOS 还是 Linux ,里面都安装了许多软件、驱动程序和固件。但是,这三者概念有区别呢?我在朋友圈做了个小调查,发现...【详细内容】
2021-11-30  良许Linux    Tags:固件   点击:(10)  评论:(0)  加入收藏
澎湃问吧世界著名密码史学家戴维&middot;卡恩曾说:“人类使用密码的历史几乎与使用文字的时间一样长”,这意味着人类密码领域的较量已近五千年。提及“密码”一词,大多数人会想...【详细内容】
2021-11-24    澎湃新闻  Tags:密码   点击:(16)  评论:(0)  加入收藏
由于去中心化域名和账户体系可以承载应用、网站和用户身份,因此有理由相信,这是 Web3 世界中不可或缺的一环。撰文:潘致雄如果回忆一下初次进行的加密货币转账时的体验,特别是在...【详细内容】
2021-11-03  链闻ChainNews    Tags:ENS   点击:(26)  评论:(0)  加入收藏
 文件系统(File System)是计算机系统必不可少的组成部分,可以说除了部分结构简单的单片机系统之外,文件系统是支撑每一个计算机系统运行的最重要的支撑,无论是操作系统、应用程...【详细内容】
2021-11-01  欧工玩转嵌入式  CSDN  Tags:FAT32   点击:(30)  评论:(0)  加入收藏
SDS 2.0时代进化达尔文的《进化论》认为,地球上现存的所有生物都是自然选择的结果,生物只有适应环境的变化,才能得到生存和进化。回望到企业存储,一个常做常新的行业,从上古结绳...【详细内容】
2021-10-28  ExponTech   企鹅号  Tags:SDS   点击:(35)  评论:(0)  加入收藏
在昨天的微信《远程办公危机四伏,到底该pick谁给你保驾护航?》中介绍了远程员工应该具备的四大安全工具,今天继续分享干货:05 双因子令牌在理想的情况下,每个人都会对所有的关键...【详细内容】
2021-10-26    计算机世界  Tags:远程办公   点击:(32)  评论:(0)  加入收藏
今天几乎所有的数字显示设备都基于某种类型的 RGB(红、绿、蓝)颜色模型。RGB 是表示人类可以看到的大多数颜色的最有效方式(有一些颜色不能很好地产生,但这是另一个讨论)。相机...【详细内容】
2021-10-09  懒懒散散的程序员    Tags:RGB   点击:(49)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条