Hadoop HA高可用分布式集群搭建

本文主要介绍hadoop3.0 HA高可用分布式集群搭建过程，该文章是博主多次实践后而写，亲测有效！！！ 需要的朋友可以按照这个步骤来搭建自己的环境～～ 一、安装整体架构
Hadoop HA高可用分布式集群搭建
作者：詹学伟
分类： 大数据
标签： #hadoop

AI + Hadoop实战：上传本地文件到HDFS并通过Mapreduce实现WordCount功能

今天要实现的功能是：通过langchian4j的函数调用，实现上传本地文件到HDFS文件系统，同时执行Mapreduce程序，完成WordCount功能，最后读取单词统计结果。 扩展：这里还可以调用咱们的sql的Tool，可以将结果存入数据库等操作～～ 一、搭建大数据环境 搭建过程就不多说了，步骤比
AI + Hadoop实战：上传本地文件到HDFS并通过Mapreduce实现WordCount功能
作者：詹学伟
标签： #hadoop ,  #langchain4j ,  #java

docker部署superset3.1.1

说明：本章节主要介绍使用docker部署superset3.1.1,以及简单的使用。 superset是什么？ Superset is fast, lightweight, intuitive, and loaded with options that make it easy for users
docker部署superset3.1.1
作者：詹学伟
分类： 大数据
标签： #superset

大数据采集工具之Datax

1、基本介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 1.1、设计理念 为了解决异构数据源同步问题，Da
大数据采集工具之Datax
作者：詹学伟
分类： 大数据
标签： #datax

Flume使用案例

案例一：从控制台打入数据，在控制台显示 1、确定scource类型，channel类型和sink类型 确定的使用类型分别是，netcat source, memory channel, logger sink.
Flume使用案例
作者：詹学伟
分类： 大数据
标签： #flume

Flume安转

1.下载https://archive.apache.org/dist/flume/1.9.0 Flume下载地址
Flume安转
作者：詹学伟
分类： 大数据
标签： #flume

Kafka启动脚本

启动脚本 #! /bin/bash # Kafka代理节点地址, 如果节点较多可以用一个文件来存储 hosts=(node3 node4 node5) # 打印启动分布式脚本信息 mill=`date "+%N"` tdate=`date "+%Y-%m-%d %H:%M:%S,${mill:0
Kafka启动脚本
作者：詹学伟
标签： #kafka

Kafka 图形化工具 Eagle

一、下载 1.1 下载地址：https://raw.githubusercontent.com/smartloli/kafka-eagle-bin/master/efak-web-3.0.2-bin.tar.gz 二、安装 因为eagle是用java编写的，所以需要提前安装好java环境 2
Kafka 图形化工具 Eagle
作者：詹学伟
标签： #kafka

Kafka基本命令操作

1、创建topic 使用shell新开一个node001的窗口 命令建议手敲（不仅仅是为了练习代码，重要的是：我复制命令粘贴上去有时候要报错，手敲却没问题，不知道为啥） 终端输入： kafka-topics.sh --bootstrap-server node3:9092 --create --to
Kafka基本命令操作
作者：詹学伟
标签： #kafka

Kafka安装

1、下载 下载地址：https://archive.apache.org/dist/kafka/3.3.2/kafka_2.12-3.3.2.tgz 2、解压 tar -zvxf kafka_2.12-3.3.2.tgz 3、重命名、移动
Kafka安装
作者：詹学伟
标签： #kafka
共 22 篇文章
页