1、基本介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 1.1、设计理念 为了解决异构数据源同步问题,Da
一、下载 1.1 下载地址:https://raw.githubusercontent.com/smartloli/kafka-eagle-bin/master/efak-web-3.0.2-bin.tar.gz 二、安装 因为eagle是用java编写的,所以需要提前安装好java环境 2
1、创建topic 使用shell新开一个node001的窗口 命令建议手敲(不仅仅是为了练习代码,重要的是:我复制命令粘贴上去有时候要报错,手敲却没问题,不知道为啥) 终端输入: kafka-topics.sh --bootstrap-server node3:9092 --create --to
Run application locally(本地运行) /usr/local/spark-3.3.0/bin/spark-submit \ --master local[8] \ --class com.zxw.spark.Etl \ /opt/zxw-spark-1.0.jar hdfs://