梦想还是要有的,万一实现了呢

0%

spark 安装

提前工作

关闭防火墙,SeLinux

校准时间

使用NTP服务 同步时间相关服务器时间
ntpd, ntpdate

域名

master slave 都配置好

vim /etc/hosts

1
2
3
192.168.8.23 master-23
192.168.8.24 slave-24
192.168.8.25 slave-25

公钥登录

公钥要分发到所有slave机器

1
2
ssh-keygen -t rsa -C "your_email@your_email.com" -b 4096
ssh-copy-id -i ~/.ssh/id_rsa.pub username@hostname

cloudera-manager

使用当前最新版本 6.3.1, 只需要在master上安装。网络原因,可使用清华的代理

yum方式

yum文件

手工rpm方式

  • 下载如下的包

    1
    2
    3
    4
    5
    cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
    cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
    cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
    cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
    oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
  • 安装
    到下载目录

    1
    yum install -y ./*.rpm
  • 安装 cloudera-manager-installer.bin

    1
    2
    3
    4
    5
    $ wget https://cloudera.proxy.ustclug.org/cm6/6.3.1/cloudera-manager-installer.bin

    $ chmod u+x cloudera-manager-installer.bin

    $ sudo ./cloudera-manager-installer.bin

安装目录

  • cdh
    /opt/cloudera/

  • jdk
    /usr/java/

  • cloudera
    /var/lib/cloudera-scm-*

结果

cm 安装成功后 大约 1min
localhost:7180 可访问

CDH 6.3.2

parcels(离线) 方式, 注意一定要检测到 所需的cdh
仅需要在master安装

cm daemons, cm agent

slave 都安装好 jdk,cm daemons, cm agent,
可以避免 下载速度慢
将 master上的
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
copy 到 slave上,像master 一样安装

手工下载 CDH

官网
https://cloudera.proxy.ustclug.org/cdh6

国内镜像
https://cloudera.proxy.ustclug.org/cdh6/6.3.2/parcels/

对应操作系统下载文件

manifest.json
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256

仅需上传到 master的目录/opt/cloudera/parcel-repo

注意:
cloudera-scm 必须拥有 /opt/cloudera 路径的所有权,
否则 cloudera manage 会无法识别 CDH。

一旦出现,如下操作。

1
2
3
4
5
chown -R cloudera-scm:cloudera-scm /opt/cloudera
systemctl stop cloudera-scm-agent.service
systemctl restart cloudera-scm-server.service
# wait 30s ?
systemctl restart cloudera-scm-agent.service

CM 图形操作

cloudera express












如果 slave 安装异常,
解决方法:

  • 检查 /etc/hosts
  • 重启agent
    systemctl restart cloudera-scm-agent

参考

CDH离线搭建