问题背景 在用户的实际使用中发现,某一简单查询,查询一段时间内符合要求的记录,查询老旧数据,响应速度在1秒左右,而...[作者空间]
脱敏这个步骤需要后置,放在JSON序列化这个阶段比较合适。今天就来实现这个功能。 一、Jackson序列化中脱敏 ...[作者空间]
组件版本 spark版本 2.3.1 (hdp) hadoop 3.1.1 (hdp) HDP hive 3.1....[作者空间]
一、目标及思路 1.1 目标 Spark Streaming运行在Yarn上,查看日志不是很方便,而且日志是一个大...[作者空间]
Docker是一个虚拟环境容器,可以将你的开发环境、代码、配置文件等一并打包到这个容器中,并发布和应用到任意平台中...[作者空间]
常见问题 YARN集群还有资源,为什么部分任务还是一直处于ACCEPT状态? 大数据集群还剩有很多资源,部分任务还...[作者空间]
JNI基本操作 目的 本文为JNI HelloWorld教程,阐述编写java本地调用的一般方法流程,可用于pmd...[作者空间]
现在hdp 3版本中自带的jersey版本已经是1.19,而我所用的spark3.1.1自带的jersey版本已经...[作者空间]
环境 Ambari HDP版本3.0.1.0-187 apache spark版本2.4 或3.0 Linux C...[作者空间]
系列 Arthas入门篇[https://www.jianshu.com/p/068f67088b8b] Arth...[作者空间]
前言 我司的集群时刻处于崩溃的边缘,通过近三个月的掌握,发现我司的集群不稳定的原因有以下几点: 1、发版流程不稳定...[作者空间]
什么是锁 普通的锁,即在单机多线程环境下,当多个线程需要访问同一个变量或代码片段时,被访问的变量或代码片段叫做临界...[作者空间]
mybatis-plus可以在控制台打印,却无法通过logback输出 问题描述通过官网配置,将mybatis-p...[作者空间]
接口测试通用步骤 小品中曾说过,大象放冰箱里分三步!分别是: 一、把冰箱门打开 二、把大象放到冰箱里 三、把门关上...[作者空间]
背景 项目使用敏捷开发,jenkins负责持续集成,构建新镜像push到harbor,最后k8s节点从harbor...[作者空间]
说明:本文章是部署在虚拟机环境下,用来收集虚拟机环境下的日志 参考文档:https://sbcode.net/gr...[作者空间]
Flink+Clickhouse实时数仓在广投集团的最佳实践 一、业务背景 由于历史原因,大型集团企业往往多个帐套...[作者空间]
1.1 问题描述 Spark Streaming程序解析protobuf序列化的数据时,--jars 来添加依赖的...[作者空间]