2024 年 04 月

RDD常用的算子操作

一、map map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新 RDD中都有且只有一个元素与之对应 @Test public void testMap() {     SparkConf sparkConf = new SparkConf()      
RDD常用的算子操作
作者：青云
分类： 大数据
标签： #spark

Spark分布式集群搭建

一、运行环境说明 Spark的运行环境，可以是在windows上，也可以是运行在linux上，一般情况而言都是运行在linux上的。所以，我们课程也是基于linux来运行的，linux使用的Centos7版本。 下载地址：https://archive.apache.org/ 二、部署环境
Spark分布式集群搭建
作者：青云
分类： 大数据
标签： #spark

zookeeper分布式安装

说明：在安装zookeeper前，请安装好jdk 1、下载 连接地址：https://archive.apache.org/dist/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz 2、解压 tar -zvxf zookeeper-3
zookeeper分布式安装
作者：青云
标签： #zookeeper

springboot整合hive

1、添加pom依赖 <!-- 德鲁伊连接池依赖 --> <dependency>     <groupId>com.alibaba</groupId>     <artifactId>druid-spring-boot-starter</artifactId>     <version>1.2.5<
springboot整合hive
作者：青云
标签： #hive

hive建表语句

语法 CREATE TABLE [IF NOT EXISTS] [db_name.]table_name (col_name data_type [COMMENT col_comment],...) [COMMENT table comment]  [ROW FORMAT DELIMITED ...
hive建表语句
作者：青云
分类： 大数据
标签： #hive

Hive DML语句

1.掌握Hive SQL Load加载数据语句 LOAD DATA [LOCAL]INPATH 'filepath'[OVERWRITE]INTO TABLE tablename; 案例一：（文件存在于hiveserver2节点的服务器本地，该方式通过复制的方式加载数据） load data lo
Hive DML语句
作者：青云
分类： 大数据
标签： #hive

置顶 人的一生应该怎样度过？

人生是生命在人间的一次旅行，人生是生命的一段过程，并非生命的终极目标。 无论我们的人生坎坷难行，还是顺心如意，人生是非常美好的，短短的几十年时光，是任何财富都难以购买的，失去了，永难挽回。 要追求丰富多彩的人生，要勇于体验各种不同的情景，不要怕挫折，不要怕失败，不要怕风险，不要怕逆境，不要怕失去什么
人的一生应该怎样度过？
作者：青云
分类： 🔥杂文
标签： #杂文

Docker常用命令

1、查看各个容器的IP docker inspect --format='{{.Name}} - {{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' $(docker ps -aq) 2、启动所有的容器命令
Docker常用命令
作者：青云
分类： Linux , Docker
标签： #docker

hive安装部署

hive安装部署
作者：青云
标签： #hive

Redis的内存淘汰策略

Redis内存淘汰策略解析 一、触发条件 当Redis内存达到maxmemory配置阈值时触发淘汰机制（默认不启用） 二、8种核心策略 1. 不淘汰策略 noeviction（默认）：拒绝写入新数据，读请求正常响应 2. 全体键淘汰 allkeys-lru：全体键中淘汰最近最少使用的 allkeys
Redis的内存淘汰策略
作者：zhanxuewei
分类： 数据库
标签： #redis
共 574 篇文章
页