青云博客 记录、分享

AI结合Hadoop通过对话执行Mapreduce完成wordCount并展示结果

前段时间开始研究AI,从spring-ai到spring-ai-alibaba,再到langchian4j,感觉挺有意思的。前面有个医生助手的项目,使用了AIService相关的知识,做了一个智能体,能够对话完成挂号功能。昨天突发奇想,想做一个对话完成大数据处理的智能,说干就干~~ 昨天一直卡在一个

詹学伟 Published on 2025-06-20

docker部署superset3.1.1

说明:本章节主要介绍使用docker部署superset3.1.1,以及简单的使用。 superset是什么? Superset is fast, lightweight, intuitive, and loaded with options that make it easy for users

詹学伟 Published on 2025-02-20

大数据采集工具之Datax

1、基本介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 1.1、设计理念 为了解决异构数据源同步问题,Da

詹学伟 Published on 2024-04-21

Flume使用案例

案例一:从控制台打入数据,在控制台显示 1、确定scource类型,channel类型和sink类型 确定的使用类型分别是,netcat source, memory channel, logger sink.

詹学伟 Published on 2024-04-21

Flume安转

1.下载https://archive.apache.org/dist/flume/1.9.0 Flume下载地址

詹学伟 Published on 2024-04-21

Kafka启动脚本

启动脚本 #! /bin/bash # Kafka代理节点地址, 如果节点较多可以用一个文件来存储 hosts=(node3 node4 node5) # 打印启动分布式脚本信息 mill=`date "+%N"` tdate=`date "+%Y-%m-%d %H:%M:%S,${mill:0

詹学伟 Published on 2024-04-21

Kafka 图形化工具 Eagle

一、下载 1.1 下载地址:https://raw.githubusercontent.com/smartloli/kafka-eagle-bin/master/efak-web-3.0.2-bin.tar.gz 二、安装 因为eagle是用java编写的,所以需要提前安装好java环境 2

詹学伟 Published on 2024-04-21

Kafka基本命令操作

1、创建topic 使用shell新开一个node001的窗口 命令建议手敲(不仅仅是为了练习代码,重要的是:我复制命令粘贴上去有时候要报错,手敲却没问题,不知道为啥) 终端输入: kafka-topics.sh --bootstrap-server node3:9092 --create --to

詹学伟 Published on 2024-04-21

Kafka安装

1、下载 下载地址:https://archive.apache.org/dist/kafka/3.3.2/kafka_2.12-3.3.2.tgz 2、解压 tar -zvxf kafka_2.12-3.3.2.tgz 3、重命名、移动

詹学伟 Published on 2024-04-21

Hbase命令

一、hbase sehll 显示集群状态status status 查询数据库版本version version 显示当前用户与组 whoami 查看操作表的命令 table_help

詹学伟 Published on 2024-04-21
Previous Next