cdh6.3 预安装准备及常见问题

4 years ago

source link: http://www.hechunbo.com/index.php/archives/359.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

爱码爱生活

cdh6.3 预安装准备及常见问题

cdh6.3 安装完以后，一般有几个警告，

在虚拟机上安装，一般常用的虚拟是centos 最小化版本，这个最小化的版本，好多软件没有安装。

比如：gcc 和perl

要安装perl需要进行编译安装，要编译则需要先安装gcc

无网环境下安装gcc

下载以下rpm包，

下载地址：https://wws.lanzous.com/b0200c6lc 密码:fkjp

当然如果能在有网环境下安装最好了，否则只能下载过来，进行拷贝安装。

gcc -v 验证是否安装gcc成功
rpm -ivh mpfr-3.1.1-4.el7.x86_64.rpm
rpm -ivh libmpc-1.0.1-3.el7.x86_64.rpm
rpm -ivh kernel-headers-3.10.0-123.el7.x86_64.rpm
rpm -ivh glibc-headers-2.17-55.el7.x86_64.rpm --nodeps --force
rpm -ivh glibc-devel-2.17-55.el7.x86_64.rpm --nodeps --force
rpm -ivh cpp-4.8.2-16.el7.x86_64.rpm --nodeps --force
rpm -ivh gcc-4.8.2-16.el7.x86_64.rpm --nodeps --force

perl的安装

安装gcc是为了编译perl, 必须要保证perl

安装perl

安装完以后，要运行一个perl -v ，能正常显示版本，表示安装正确。

下载地址：https://wws.lanzous.com/iWF8Lmv5dyf 密码:3uzw

如果不安装perl 安装完以后，经常会遇到

Caused by: java.lang.IllegalArgumentException: Problem with rules file {{CMF_CONF_DIR}}/redaction-rules.json

这种错误，其实这个错误是因为没有看到上面的错误，上面还有一个错误是

find 'perl' no such file or directory

就是告诉你没有安装perl ,安装好perl以后，就不会再报上面的错误了。

#-de为配置参数， 意思是缺省配置；
tar -xzf perl-5.30.1.tar.gz
cd perl-5.30.1
./Configure -des -D -prefix=$HOME/local/perl 或者用：./Configure -de
make
make test
make install

#安装完以后，进行测试。输入perl -v

以上两个安装完以后，接下来安装就顺利了。安装完以后，进行自检的时候经常会遇到以下的几个问题。

按照下面的修改就要吧了。

Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10

进行如下操作

1.临时改变
sysctl vm.swappiness=10
cat /proc/sys/vm/swappiness

2. 永久改变
/etc/sysctl.conf 加
vm.swappiness=10
或者：
echo 'vm.swappiness=10'>> /etc/sysctl.conf
#然后即行 以下命令立即生效
 sysctl -p

2.已启用透明大页面压缩，可能会导致重大性能问题

运行以下脚本解决

#临时生效
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

#永久生效
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local

3.Starting with CDH 6, PostgreSQL-backed Hue requires the Psycopg2 version to be at least 2.5.4

需要安装epel扩展源。如果没有安装的话。postresql-backed ,hue不能用。如果不用的，可以暂时先不用安装。

yum -y install epel-release
yum -y install python-pip
pip install --upgrade psycopg2

[root@hubserver1 app]# yum install bind-utils
[root@hubserver1 app]# yum install wget
[root@hubserver1 app]# yum provides '*/applydeltarpm'
[root@hubserver1 app]# yum install deltarpm

Recommend

www.v2ex.com 7 years ago
Cache

准备安装指纹锁，但是不知道什么牌子好？有安装过的给点经验！ - V2EX

问与答 - @haopic - 不知道什么牌子好，功能性，安全性，易用性完全没经验！V 友给点意见吧！

www.ffeeii.com 4 years ago
Cache

mac-“准备安装时发生错误，请尝试重新运行此应用程序”，最新办法解决

mac-“准备安装时发生错误，请尝试重新运行此应用程序”，最新办法解决 Published 2020年7月15日

微信 mp.weixin.qq.com 4 years ago
Cache

Hudi实战 | CDH6.3.0如何运行Hudi DeltaStreamer

1.首先从 https://github.com/apache/hudi.git 将hudi clone到自己本地idea，使用以下命令编译hudi mvn clean install -DskipTests -DskipITs -Dcheckstyle.skip=true -Drat.skip=tr...

blog.csdn.net 4 years ago
Cache

CDH6安装

CDH6安装 ...

www.lzhpo.com 3 years ago
Cache

修改网络和主机名cdh6-master[root@cdh6-master ~]# hostnamectl set-hostname cdh6-master[root@cdh6-master ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEF...