求皮尔逊相关系数，UDAF 开发
皮尔逊相关系数简介概述皮尔逊相关系数（Pearson correlation coefficient）也称皮尔逊积矩相关系数（Pearson product-moment correlation coefficient），是一种线性相关系数。皮尔森相关系数是用来反映两个变量线性相关程度的统计量。
其中相关系数用 r 表示，n为样本量，分别为两个变量的观测值和均值。r 描述的是两个变量间线性相关强弱的程度。r 的绝对值越大、表明相关性越强。可以简单理解相关系数r为分别对x和y基于自身总体标准化后计算空间向量的余弦夹角。
这里的 1/n-1 可以约掉，所以是更下面的图。
公式原公式
分子分母相约后的公式
环境说明TDH475 版本，不是 5 以上容器的版本，也不是 6 版本的 Kubernetes 上。如果报错，可以去具体 Spark SQL 的日志里面去看什么错误。
Hive UDAF 执行流程Model 和 Evaluator 的关系。来源于
Mode 各个阶段对应的 Evaluator 方法调用。
Evaluator 各个阶段下处理 MapReduce 的流程
代码编写 UDAF ...
RowKey 设计规约
RowKey 尽量简短Data Block 是 HBase 中文件读取的最小单元。Data Block中主要存储用户的KeyValue数据，而KeyValue结构是HBase存储的核心。HBase中所有数据都是以KeyValue结构存储在HBase中。
KeyValue由4个部分构成，分别为Key Length、Value Length、Key和Value。其中，Key Length和Value Length是两个固定长度的数值，Value是用户写入的实际数据，Key是一个复合结构，由多个部分构成：Rowkey、Column Family、Column Qualif ier、TimeStamp以及KeyType。其中，KeyType有四种类型，分别是Put、Delete、DeleteColumn和DeleteFamily。
HBase中数据在最底层是以KeyValue的形式存储的，其中Key是一个比较复杂的复合结构。
这也是HBase系统在表结构设计时经常强调Rowkey、Column Family以及ColumnQualif ier尽可能设置短的根本原因。列族一般情况下设置为 1 个 ...
仅供本人使用，部分内容是缩写，其他人看不懂的
#head {
width: 100%;
height: 50px;
display: flex;
}
#head-left {
width: 30%;
float: right;
}
#head-center {
width: 40%;
text-align: center;
font-size: 18px
}
#head-right {
width: 30%;
float: left;
}
#body {
width: 100%;
height: 900px;
display: flex;
}
#body h1{
display:none;
}
#content-input {
width: 50%;
height: ...
Mac 下 Docker 更改国内镜像源
打开 DockerDesktop
如果你有其他配置改了的，直接复制这个，记住前面的逗号不要删1,"registry-mirrors": ["https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com"]
如果你之前什么都没改，复制粘贴下面内容12345{ "debug": true, "experimental": false, "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com"]}
如果在上图的界面报错，不能改打开 Terminal 进入 Users/YourName目录下，复制粘贴进去
12cd .dockervi deamon.json
重启docker，镜像生效
如果 docker 点 prefrence一直在更新状态，检查一下 ...
平时遇到的问题
范型语法糖Jackson里面有个转字符串为Java对象的方法，传进去的是
大概像下面这样
1234567891011121314public void batchInsertRecords(String str){ Map<String,String> record = parseObject(str,Map.class); String ageStr = record.get("age"); /** * 这里如果你这样写，如果你传进去的是{name:"Yasir Lin",age:"23"},这样没问题，但是你要是传进去的是{name:"Yasir Lin",age:23} * 就会报错误，因为范型是个语法糖，你定义了Key为String，结果是String，那没问题，定义了Value为String，实际是Integer， * 它在取值的时候，就会隐式给你强转为String类型，然后类型是Integer，出来就会报错。Integer cannot be cast to String。 * * ...
大数据简介
大数据（BigData）三要素“大数据”是指传统数据处理应用软件时，不足以处理的大的或者复杂的数据集的术语。
大数据是个抽象的概念，和虚拟机一样，具体实现各有不同。每个语言的实现都是不一样的，这里讲的是 Java 相关的，应用相对来说很广的大数据组件。要了解结构化/非结构化/半结构化数据、数据挖掘相关的内容，可自行搜索其他的，这里只讲部分。
大数据又称海量数据。所有的大数据相关的中间件都离不开下面三个问题。
如何保存海量数据
如何从海量数据中取有用的数据
以什么格式保存海量数据，高效插入和查询数据
什么上卷，下钻，slice，dice，那是 OLAP 里面的内容，Wikipedia 里面把这个搞在一起了，虽然事实上两者经常混在一起。
如何保存海量数据GFS 登场，不要跟我说什么 RAID，不停加磁盘也是有限制的。
文件就是字节序列，仅此而已——《深入理解计算机系统》
Google File System 是 Google 发表的论文，提出了这个概念，Google 内部有实现了这个理论文件系统。Hadoop 内部实现叫 HDFS（Hadoop Distrubuted File S ...
Effective Java(with Spring core)
电子原版目录以及概要
请购买实体书籍，支持作者、翻译以及出版社
Creating and Destroying Objects用静态工厂方法代替构造器123public static Boolean valueOf(boolean b){ return b ? Boolean.TRUE : Boolean.FALSE;}
静态工厂方法与设计模式中的工厂方法模式不同。并不能直接对应设计模式的工厂方法。
优势
有名字（像这种BigInteger.probablePrime(int bitLength,Random rnd)）
不必每次调用他们的时候，都创建一个新对象。像Integer.MAX_VALUE = 0x7fffffff（享元Flyweight模式）真正的享元模式如下，Integer中有个私有静态类，叫IntergeCache
可以返回原返回类型的任何子类型的对象。Java8允许接口中含有静态方法，Java9允许接口中有私有的静态方法，但是静态域和静态成员变量仍然需要是公有的。
所返回的对象的类可以随着每次调用而发生变化，这取决于静态工厂方法的参数值。
方 ...
