青云博客 记录、分享

Archives

2025 / 09

2025-09-08

说明: flume增量收集web程序的日志文件内容,写入到kafka(同时写入到hdfs,这里暂时没有用到),kafka消费程序通过websocket推送用户地理位置到前端echarts,然后动态展示。 效果:

2025-09-05

一、背景和说明 该项目是朋友公司的需求,他们公司有个系统,系统中的数据不对,需要修正。 正确的数据在本地excel文件中,大约有20w条,文件中有每条数据的编号(唯一),然后是其他字段。 刚开始他们使用手动一条一条操作,后来发现数据太多,根本无法短时间内完成。 由于系统是其他部门开发的,他们没有修改

2025 / 07

2025-07-26

1、问题 对于不经常变化的业务,我们通常是硬编码到程序中。但是经常变化的业务,我们就得把业务流程从代码中剥离出来,我们怎么从程序中剥离出去?这里就需要用到规则引擎了。 规则引擎可以做到把算法剥离出程序,你可以保存到TXT文件或者数据库表里面,用的时候再加载回程序。虽然加载回来的算法是字符串,但是规则
一、官方文档: https://docs.emqx.com/zh/emqx/latest/connect-emqx/java.html 二、pom.xml
一、官方文档 文档地址: https://docs.emqx.com/zh/emqx/v5.0/ 二、产品概览</
一、HTTP协议 1、HTTP协议概述 HTTP是一种应用层协议,使用TCP作为传输层协议,默认端口是80,基于请求和响应的方式,即客户端发起请求,服务器响应请求并返回数据(HTML,JSON)。在HTTP/1.1中,使用了长连接技术,允许一个连接复用多个请求和响应,减少了TCP三次握手的消耗。
本文主要介绍hadoop3.0 HA高可用分布式集群搭建过程,该文章是博主多次实践后而写,亲测有效!!! 需要的朋友可以按照这个步骤来搭建自己的环境~~ 一、安装整体架构

2025-07-20

荆棘丛生世路艰,豺狼衣冠满人间。 巧舌如簧皆伪语,粉墨登场尽虚颜。 廉耻尽抛名作土,纲常倒置利为天。 举目难寻真净土,沐猴百鬼竞喧阗。

2025 / 06

今天要实现的功能是:通过langchian4j的函数调用,实现上传本地文件到HDFS文件系统,同时执行Mapreduce程序,完成WordCount功能,最后读取单词统计结果。 扩展:这里还可以调用咱们的sql的Tool,可以将结果存入数据库等操作~~ 一、搭建大数据环境 搭建过程就不多说了,步骤比
一、官方网站 https://hsk.oray.com/ 二、下载linux版本
Previous Next