Blog of JackerWang

一生想做浪漫极客

Ambari使用blueprint部署集群

Blueprint方式部署说明 Blueprint方式部署适用于集群的自动化部署，特别是上云的场景。官方资料请参考 Blueprint参考 部署步骤 环境说明 3台 centos7 ，主机名如下（对应的ip映射都在/etc/hosts中配置好）： t3m1.ecloud.com t3m2.ecloud.com t3m3.ecloud.com 创建蓝图 Blueprint ...

Posted by Blog of JackerWang on October 28, 2018

高可用组建配置

安装环境 Nginx: 10.142.232.113:8383 10.142.232.114:8383 10.142.232.115:8383 将 114和 115配上高可用组建keepalived Keepalived配置说明 114上配置keepalived的Master，115上配置keepalived的Backup。 vrrp_script chk_http...

Posted by Blog of JackerWang on July 9, 2018

Opentsdb详解

Opentsdb安装 因为Opentsdb的数据是存储在Hbase中，所以安装Opentsdb之前需要安装Hbase。 1: 直接从 github 上下载 OpenTSDB 的 release 版本的 RPM 包。安装 yum localinstall opentsdb-2.4.0.noarch.rpm。 2： 配置完成后，我们通过下面命令在 HBase 中建立 opentsdb 所需...

Posted by Blog of JackerWang on June 15, 2018

Hadoop集群参数调优

Yarn参数说明 #每个节点可以获得的最大内存。 yarn.nodemanager.resource.memory-mb #Yarn可以获得的最大虚拟CPU个数，一般设置为主机cpu的核数。 yarn.nodemanager.resource.cpu-vcores #单个Container可以获得的最少Vcore个数（默认是1） yarn.scheduler.minimum-alloc...

Posted by Blog of JackerWang on June 15, 2018

Nginx实用详解

Nginx服务搭建 一： yum安装 centos7系统库中默认是没有nginx的rpm包的，所以我们自己需要先更新下rpm依赖库 (1) 使用yum安装nginx需要包括Nginx的库，安装Nginx的库 #rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx...

Posted by Blog of JackerWang on June 14, 2018

Ambari集成kerberos认证机制

常用的Kerberos命令 #进入KDC的管理命令 kadmin.local （用输入密码，但是需要在KDC本地运行） kadmin (需要输入密码) #进入管理命令行之后列出所有的principals kadmin.local: listprincs KDC Server 搭建 1 关闭防火墙，关闭SELINUX 2 安装组件 yum install krb5-server...

Posted by Blog of JackerWang on June 6, 2018

Linux运维

设置系统的默认编码 这里设置系统的默认编码为en_US.UTF-8 1 使用 locale 命令查看下系统当前的默认编码。 locale LANG=en_US.UTF-8 LC_CTYPE="en_US.UTF-8" LC_NUMERIC="en_US.UTF-8" LC_TIME="en_US.UTF-8" LC_COLLATE="en_US.UTF-8" LC_MONETARY="...

Posted by Blog of JackerWang on May 21, 2018

有关sqoop命令使用（mysql Hive Oracle）

以下所有步骤针对的Sqoop版本 #Sqoop Version 1.4.6.2.5.3.0-37 Oracle》》》Hive 1 从Oracle全量导入到Hive 从Oracle全量导入到Hive，Hive里面自动建表，建表的默认数据类型映射如下（不同版本的sqoop的数据类型映射不同）： Oracle Hive INTEGER DECIMAL(38,0)...

Posted by Blog of JackerWang on May 7, 2018

Linux服务搭建

MySQL服务搭建(通用linux系统安装) 环境: Centos7.2 一：获取mysq包 下载mysql https://dev.mysql.com/downloads/mysql/ 二：Install MySQL Server 1 解压xxx.tar.gz。 2 进入解压后的目录 3 添加组和用户 #groupadd mysql #useradd -r -g ...

Posted by Blog of JackerWang on March 30, 2018

Ambar集群的维护

添加yarn队列 配置YARN队列调度策略： （1）配置项(此项可以在ambari上面yarn的customer yarn-site中配置)： yarn.resourcemanager.scheduler.class 值： org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler （2）配置项...

Posted by Blog of JackerWang on March 7, 2018

FEATURED TAGS
知乎
ABOUT ME

有容德乃大，无求品自高

FRIENDS