梦想还是要有的，万一实现了呢

0%

发表于 更新于 分类于 Disqus：

提前工作

关闭防火墙，SeLinux

校准时间

使用NTP服务 同步时间相关服务器时间
ntpd, ntpdate

域名

master slave 都配置好

vim /etc/hosts

1
2
3
192.168.8.23 master-23
192.168.8.24 slave-24
192.168.8.25 slave-25

公钥登录

公钥要分发到所有slave机器

1
2
ssh-keygen -t rsa -C "your_email@your_email.com" -b 4096
ssh-copy-id -i ~/.ssh/id_rsa.pub username@hostname

cloudera-manager

使用当前最新版本 6.3.1， 只需要在master上安装。网络原因，可使用清华的代理。

yum方式

yum文件

手工rpm方式

  • 下载如下的包

    1
    2
    3
    4
    5
    cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
    cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
    cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
    cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
    oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

  • 安装
    到下载目录

    1
    yum install -y ./*.rpm

  • 安装 cloudera-manager-installer.bin

    1
    2
    3
    4
    5
    $ wget https://cloudera.proxy.ustclug.org/cm6/6.3.1/cloudera-manager-installer.bin

    $ chmod u+x cloudera-manager-installer.bin

    $ sudo ./cloudera-manager-installer.bin

安装目录

  • cdh
    /opt/cloudera/

  • jdk
    /usr/java/

  • cloudera
    /var/lib/cloudera-scm-*

结果

cm 安装成功后 大约 1min
localhost:7180 可访问

CDH 6.3.2

parcels(离线) 方式， 注意一定要检测到 所需的cdh
仅需要在master安装

cm daemons， cm agent

slave 都安装好 jdk，cm daemons， cm agent，
可以避免 下载速度慢
将 master上的
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
copy 到 slave上，像master 一样安装

手工下载 CDH

官网
https://cloudera.proxy.ustclug.org/cdh6

国内镜像
https://cloudera.proxy.ustclug.org/cdh6/6.3.2/parcels/

对应操作系统下载文件

manifest.json
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256

仅需上传到 master的目录/opt/cloudera/parcel-repo下

注意：
cloudera-scm 必须拥有 /opt/cloudera 路径的所有权，
否则 cloudera manage 会无法识别 CDH。

一旦出现，如下操作。

1
2
3
4
5
chown -R cloudera-scm:cloudera-scm /opt/cloudera
systemctl stop cloudera-scm-agent.service
systemctl restart cloudera-scm-server.service
# wait 30s ?
systemctl restart cloudera-scm-agent.service

CM 图形操作

cloudera express












如果 slave 安装异常，
解决方法：

  • 检查 /etc/hosts
  • 重启agent
    systemctl restart cloudera-scm-agent

参考

CDH离线搭建

发表于 分类于 Disqus：

发现一段牛(装)逼的代码

1
2
3
public <R> Observable<R> compose(Transformer<? super T, ? extends R> transformer) {
    return ((Transformer<T, R>) transformer).call(this);
}

常用的泛型含义：

  • T - Type（类型）
  • R - Result（结果）
  • K - Key（键）
  • V - Value（值）
  • E - Element (元素)
  • N - Number（数字）
  • ? - 通配符, 不确定类型
  • extends - 上边界
  • super - 下边界

发表于 分类于 Disqus：

Mysql 8 默认采用新的密码认证方式 caching_sha2_password ,
如果想使用8以前的认证方式mysql_native_password, 做如下配置

  • my.cnf

    1
    2
    [mysqld] 
    default_authentication_plugin=mysql_native_password

  • 修改密码

    1
    2
    mysql>
    ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '$password';

参考
caching_sha2_password

发表于 分类于 Disqus：

主要内容
免费的Https.

Let’s Encrypt是一个于2015年三季度推出的数字证书认证机构，旨在以自动化流程消除手动创建和安装证书的复杂流程，并推广使万维网服务器的加密连接无所不在，为安全网站提供免费的SSL/TLS证书。

本文以 Cent OS 7 版本为例说明, 使用 certbot 提供Let’s Encrypt服务 。

更新历史
无

阅读全文 »

发表于 更新于 分类于 Disqus：

主要内容

JVM调优的工具和方法 深入浅出，分如下3节介绍，可以解决实际问题。
本章解决java线上CPU调优

  • 工具介绍
    公欲善其事，必先利其器
    jps, jstat, jmap, jhat, jstack, jinfo, JConsole, VisualVM, Eclipse Memory Analyzer(MAT)

  • CPU调优
    还我CPU

  • Memory调优
    吃我的吐出来

更新历史

阅读全文 »

发表于 更新于 分类于 Disqus：

主要内容

JVM调优的工具和方法 深入浅出，分如下3节介绍，可以解决实际问题。

本章讨论java线上内存调优

  • 工具介绍
    公欲善其事，必先利其器
    jps, jstat, jmap, jhat, jstack, jinfo, JConsole, VisualVM, Eclipse Memory Analyzer(MAT)

  • CPU调优
    还我CPU

  • Memory调优
    吃我的吐出来

更新历史

阅读全文 »