Logo

菜单

青云博客 记录、分享

归档

2024 年 04 月

Kafka启动脚本

2024-04-21

大数据 #kafka
启动脚本 #! /bin/bash # Kafka代理节点地址, 如果节点较多可以用一个文件来存储 hosts=(node3 node4 node5) # 打印启动分布式脚本信息 mill=`date "+%N"` tdate=`date "+%Y-%m-%d %H:%M:%S,${mill:0
Kafka 图形化工具 Eagle

2024-04-21

Linux #kafka
一、下载 1.1 下载地址：https://raw.githubusercontent.com/smartloli/kafka-eagle-bin/master/efak-web-3.0.2-bin.tar.gz 二、安装 因为eagle是用java编写的，所以需要提前安装好java环境 2
Kafka基本命令操作

2024-04-21

Linux #kafka
1、创建topic 使用shell新开一个node001的窗口 命令建议手敲（不仅仅是为了练习代码，重要的是：我复制命令粘贴上去有时候要报错，手敲却没问题，不知道为啥） 终端输入： kafka-topics.sh --bootstrap-server node3:9092 --create --to
Kafka安装

2024-04-21

大数据 #kafka
1、下载 下载地址：https://archive.apache.org/dist/kafka/3.3.2/kafka_2.12-3.3.2.tgz 2、解压 tar -zvxf kafka_2.12-3.3.2.tgz 3、重命名、移动
Hbase命令

2024-04-21

大数据 #hbase
一、hbase sehll 显示集群状态status status 查询数据库版本version version 显示当前用户与组 whoami 查看操作表的命令 table_help
Hbase集群安装

2024-04-21

Linux #hbase
1、安装包下载 下载地址：https://archive.apache.org/dist/hbase/2.3.5/hbase-2.3.5-bin.tar.gz 2、解压、移动 tar -zvxf hbase-2.3.
Spark问题集合

2024-04-21

大数据 #spark
问题一 描述：spark任务提交后信息报错：Total size of serialized results of 19 tasks (1069.2 MB) is bigger than spark.driver.maxResultSize (1024M) 解决办法：在代码中加设置或者在提交命令的时
spark-submit任务提交

2024-04-21

大数据 #spark
Run application locally（本地运行） /usr/local/spark-3.3.0/bin/spark-submit \ --master local[8] \ --class com.zxw.spark.Etl \ /opt/zxw-spark-1.0.jar hdfs://
Spark数据清洗案例

2024-04-21

大数据 #spark
前提：搭建hadoop集群环境、搭建好spark集群环境 1.新建maven项目 2.导入maven依赖 <?xml version="1.0" encoding="UTF-8"?>     <project xmlns="http://maven.apache.org/POM/4.0.0"    
RDD常用的算子操作

2024-04-21

大数据 #spark
一、map map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新 RDD中都有且只有一个元素与之对应 @Test public void testMap() {     SparkConf sparkConf = new SparkConf()      
上一页 下一页