Author Avatar

青云

记录、分享

QQ交流群 控制台

Kafka安装

1、下载 下载地址：https://archive.apache.org/dist/kafka/3.3.2/kafka_2.12-3.3.2.tgz 2、解压 tar -zvxf kafka_2.12-3.3.2.tgz 3、重命名、移动
Kafka安装
作者：青云
标签： #kafka

Hbase命令

一、hbase sehll 显示集群状态status status 查询数据库版本version version 显示当前用户与组 whoami 查看操作表的命令 table_help
Hbase命令
作者：青云
分类： 大数据
标签： #hbase

Hbase集群安装

1、安装包下载 下载地址：https://archive.apache.org/dist/hbase/2.3.5/hbase-2.3.5-bin.tar.gz 2、解压、移动 tar -zvxf hbase-2.3.
Hbase集群安装
作者：青云
标签： #hbase

spark-submit任务提交

Run application locally（本地运行） /usr/local/spark-3.3.0/bin/spark-submit \ --master local[8] \ --class com.zxw.spark.Etl \ /opt/zxw-spark-1.0.jar hdfs://
spark-submit任务提交
作者：青云
分类： 大数据
标签： #spark

Spark问题集合

问题一 描述：spark任务提交后信息报错：Total size of serialized results of 19 tasks (1069.2 MB) is bigger than spark.driver.maxResultSize (1024M) 解决办法：在代码中加设置或者在提交命令的时
Spark问题集合
作者：青云
分类： 大数据
标签： #spark

Spark数据清洗案例

前提：搭建hadoop集群环境、搭建好spark集群环境 1.新建maven项目 2.导入maven依赖 <?xml version="1.0" encoding="UTF-8"?>     <project xmlns="http://maven.apache.org/POM/4.0.0"    
Spark数据清洗案例
作者：青云
分类： 大数据
标签： #spark

RDD常用的算子操作

一、map map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新 RDD中都有且只有一个元素与之对应 @Test public void testMap() {     SparkConf sparkConf = new SparkConf()      
RDD常用的算子操作
作者：青云
分类： 大数据
标签： #spark

Spark分布式集群搭建

一、运行环境说明 Spark的运行环境，可以是在windows上，也可以是运行在linux上，一般情况而言都是运行在linux上的。所以，我们课程也是基于linux来运行的，linux使用的Centos7版本。 下载地址：https://archive.apache.org/ 二、部署环境
Spark分布式集群搭建
作者：青云
分类： 大数据
标签： #spark

zookeeper分布式安装

说明：在安装zookeeper前，请安装好jdk 1、下载 连接地址：https://archive.apache.org/dist/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz 2、解压 tar -zvxf zookeeper-3
zookeeper分布式安装
作者：青云
标签： #zookeeper

springboot整合hive

1、添加pom依赖 <!-- 德鲁伊连接池依赖 --> <dependency>     <groupId>com.alibaba</groupId>     <artifactId>druid-spring-boot-starter</artifactId>     <version>1.2.5<
springboot整合hive
作者：青云
标签： #hive
共 569 篇文章
页
友情链接
青云博客 网笙久久的博客 林间拾语 宏尘极客