青云博客 记录、分享

Archives

2025 / 09

2025-09-08

说明: flume增量收集web程序的日志文件内容,写入到kafka(同时写入到hdfs,这里暂时没有用到),kafka消费程序通过websocket推送用户地理位置到前端echarts,然后动态展示。 效果:
一、背景和说明 该项目是朋友公司的需求,他们公司有个系统,系统中的数据不对,需要修正数据大约有20万条。正确的数据在本地Excel文件中,每天数据有字段“编号”唯一。 刚开始他们通过手动登录系统,然后一条一条查询并修改,后来发现数据太多,根本无法短时间内完成。 但是由于系统是其他部门开发的,没有数据