Ambari
简介 1
Apache Ambari 是一个基于 Web 的工具，支持 Apache Hadoop 集群的配置、管理和监控。 Ambari 已经支持大多数 Hadoop 组件，包括 HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop 和 Hcatalog 等。
Apache Ambari 支持对 HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop 和 Hcatalog 的集中管理。也是排名前 5 位的 hadoop 管理工具之一。
推荐
仅当您对hadoop生态系统的各个组件以及环境配置和参数有一定了解时，才建议使用ambari来构建
比较 (CDH)
1。 Hortonworks Hadoop 与其他 Hadoop 发行版（例如 Cloudera）的根本区别在于，Hortonworks 产品是 100% 开源的。
2。 Cloudera 有免费版和企业版。企业版只有试用期。
3。 Apache hadoop 是原生 hadoop。
4。目前国内流行的是apache hadoop和Cloudera CDH。当然，Hortonworks 也很有用。 5. Apache Ambari 是一个基于 Web 的工具，用于配置、管理和监控 Apache Hadoop 集群。它支持 Hadoop HDFS 和 Hadoop MapReduce。 、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig 和 Sqoop。 Ambari 还提供集群状态仪表板，例如热图，以及查看 MapReduce、Pig 和 Hive 应用程序的能力，以便通过用户友好的界面诊断其性能特征。
准备工作
安装前先安装Centos 7.2、jdk-8u91、mysql5.7.13
主节点：master(172.26.99.126)
从节点：slave1(172.26.99.127)、slave2(172.26.99.128)、slave3(172.26.99.129)
注意事项：确保所有节点时间同步；确保所有节点都能互相通信并访问外部网络
配置SSH免密登录
执行以下步骤在主节点以root用户登录
ssh-keygen
cd ~/.ssh/
cat id_www.hack95.com>>授权密钥
从从节点以root身份登录并执行命令
mkdir ~/.ssh/
将主节点中配置的authorized_keys分发到各个从节点
scp/root/.ssh/authorized_keys root@172.26.99.127:~/.ssh/authorized_keys
scp/root/.ssh/authorized_keys root@172.26.99.128:~/.ssh/authorized_keys
scp/root/.ssh/authorized_keys root@172.26.99.129:~/.ssh/authorized_keys
创建ambari系统用户和用户组
仅在主节点上操作
添加ambari安装和运行用户和用户组。您也可以直接使用root或其他系统帐户，无需创建新用户
添加用户 ambari
passwd ambari
启用NTP服务
集群中所有节点都需要运行
Centos 7 命令
yum 安装 ntp
systemctl 已启用 ntpd
systemctl 启用 ntpd
systemctl 启动 ntpd
检查DNS和NSCD
所有节点都必须设置
ambari在安装时需要配置完整域名，所以需要检查DNS。
vi /etc/hosts
172.26.99.126 www.hack95.com master
172.26.99.127 从属www.hack95.com 从属1
172.26.99.128 从属www.hack95.com 从属2
172.26.99.129 从属www.hack95.com 从属3
在每个节点中配置 FQDN。下面以master节点为例（注意FQDN的命名规范：主机名+域名）
vi /etc/sysconfig/network
网络=是
HOSTNAME=www.hack95.com
关闭防火墙
所有节点都必须设置
systemctl 禁用防火墙
systemctl 停止防火墙
关闭SELinux
所有节点都必须设置
查看 SELinux 状态：
状态
如果启用了SELinuxstatus参数，则处于打开状态
SELinux 状态：已启用
修改配置文件需要重启机器：
vi /etc/sysconfig/selinux
SELINUX=禁用
制作本地源
制作本地源只需在主节点上完成
相关准备工作
安装Apache HTTP服务器
安装HTTP服务器并允许http服务穿过防火墙（永久）
yum 安装 httpd
firewall-cmd --add-service=http
firewall-cmd --permanent --add-service=http
将Apache服务添加到系统层，使其随系统自动启动
systemctl启动httpd.service
systemctl启用httpd.service
安装本地源码生产相关工具
yum install yum-utils createrepo
下载安装资源
下载Ambari 2.2.2和HDP 2.4.2的安装资源。此安装在 Centos 7 上。仅列出 centos7 资源。其他系统请立即使用系统资源
Ambari 2.2.2 下载资源
操作系统
格式
网址
CentOS 7
基本 URL
http://www.hack95.com/ambari/centos7/2.x/updates/2.2.2.0
CentOS 7
回购文件
http://www.hack95.com/ambari/centos6/2.x/updates/2.2.2.0/ambari.repo
CentOS 7
Tarball md5 asc
http://www.hack95.com/ambari/centos7/2.x/updates/2.2.2.0/ambari-2.2.2.0-centos7.tar.gz
HDP2.4.2下载资源
操作系统
存储库名称
格式
网址
CentOS 7
HDP
基本 URL
http://www.hack95.com/HDP/centos7/2.x/updates/2.4.2.0
CentOS 7
HDP
回购文件
http://www.hack95.com/HDP/centos7/2.x/updates/2.4.2.0/hdp.repo
CentOS 7
HDP
Tarball md5 asc
http://www.hack95.com/HDP/centos7/2.x/updates/2.4.2.0/HDP-2.4.2.0-centos7-rpm.tar.gz
CentOS 7
HDP-UTILS
基本 URL
http://www.hack95.com/HDP-UTILS-1.1.0.20/repos/centos7
CentOS 7
HDP-UTILS
回购文件
http://www.hack95.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz
下载上面列表中的压缩包，
需要下载的压缩包如下：
安巴里2.2.2
http://www.hack95.com/HDP/centos7/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos7-rpm.tar.gz
HDP 2.4.2
http://www.hack95.com/ambari/centos7/2.x/updates/2.2.2.0/ambari-2.2.2.0-centos7.tar.gz
HDP-UTILS 1.1.0
http://www.hack95.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz
在httpd网站根目录下，默认为/var/www/html/，创建目录ambari，
并将下载的压缩包解压到/var/www/html/ambari目录下
cd /var/www/html/
mkdir ambari
cd /var/www/html/ambari/
tar -zxvf ambari-2.2.2.0-centos7.tar.gz
tar -zxvf HDP-2.4.2.0-centos7-rpm.tar.gz
tar -zxvf HDP-UTILS-1.1.0.20-centos7.tar.gz
要验证httd网站是否可用，可以使用links命令或者浏览器直接访问以下地址：
http://172.26.99.126/ambari/
结果如下：
配置ambari、HDP、HDP-UTILS的本地源
首先下载上面资源列表中对应的repo文件，并将其中的URL修改为本地地址。相关配置如下：
wget http://www.hack95.com/ambari/centos6/2.x/updates/2.2.2.0/ambari.repo
wget http://www.hack95.com/HDP/centos7/2.x/updates/2.4.2.0/hdp.repo
vi ambari.repo
vi hdp.repo
将上面修改后的源码放到/etc/yum.repos.d/下
执行以下命令
干净整洁
百胜名单更新
yum makecache
yum repolist
安装Mysql数据库
Ambari安装会将安装等信息写入数据库中。建议使用自己安装的Mysql数据库，也可以不安装使用默认数据库PostgreSQL
Mysql数据库安装过程请参考以下文章：
http://www.hack95.com/u011192458/article/details/77394703
安装完成后，创建ambari数据库和用户，以root用户登录，执行以下语句：
创建数据库ambari字符集utf8;
创建用户'ambari'@'%'由'ambari'识别；
将 *.* 上的所有权限授予 'ambari'@'%';
刷新权限；
安装mysqljdbc驱动
yum 安装 mysql-connector-java
安装JDK
安装解压版的JDK，首先从官网下载jdk-8u91-linux-x64.tar.gz，然后执行以下命令：
tar -zxvf jdk-8u91-linux-x64.tar.gz -C /opt/java/
vi /etc/profile
导出JAVA_HOME=/opt/jdk1.8
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
源/etc/profile
安装 Ambari
安装 Ambari2.2.2
安装 Ambari
yum 安装 ambari-server
配置 Ambari
ambari 服务器设置
根据操作选择提示
选择时注意：ambari-server服务帐号的密码是ambari
JDK路径为自定义路径/var/opt/jdk1.8
选择的数据库配置是自定义安装的Mysql
数据库账号和密码都是ambari
导入ambari脚本
将Ambari数据库脚本导入数据库
如果使用自己定义的数据库，启动Ambari服务之前必须导入Ambari的sql脚本
使用Ambari用户（上面设置的用户）登录mysql
mysql -u ambari -p
使用ambari源/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
启动Ambari
执行启动命令启动Ambari服务
ambari-服务器启动
启动成功后，在浏览器中输入Ambari地址：
http://172.26.99.126:8080/
出现登录界面。使用默认管理员帐户登录。帐号：admin 密码：admin
登录成功后，会出现以下界面。至此，Ambari已经安装成功
Ambari集群配置
机架：
www.hack95.com172.26.99.127 /default-rack
www.hack95.com172.26.99.128 /default-rack
www.hack95.com172.26.99.129 /default-rack
配置：
Hadoop生态系统各组件的日志默认安装在各组件的根目录下，方便查找。
使用ambari快速搭建Hadoop集群。安装后，各个组件默认安装在各个节点的/usr/hdp/目录下。
Ambari-server服务器的日志目录默认安装在/var/log目录下
Ambari-agent 收集器的日志目录默认安装在 /var/log 目录下
文件备份通常为3
HDFS默认的块大小是128M，所以每个文件的大小不能小于128。
Yarn 默认配置 8G 内存，即每个节点至少有 8G 和 8 个 CPU 核心
参考：https://www.hack95.com/zhijianliutang/p/5731002.html
Hadoop集群的运行过程需要将所有数据分布记录拉入内存，所以这意味着当整个集群的数据变得越来越大时，我们知道在大数据环境中，几个TB或者PB的级别级别的数据很常见，这意味着数据分布记录也会增加，因此需要增加内存。参考一下：
一般1GB内存可以管理数百万个块文件。
示例：bolck为128M，3个副本，200个集群，4TB数据，所需Namenode内存为：200（服务器数量）x 4194304MB（4TB数据）/（128MB x 3）=2184533.33个文件=2.18有百万个文件数，所以内存值接近2.2G。
再说一遍，因为这里有一台机器做备份，所以Secondary NameNode需要的内存和NameNode需要的内存大致相同，然后还有Slave节点的每台服务器需要的内存量
首先计算当前CPU的虚拟核心数（Vcore）：
虚拟核心数量（Vcore）=CPU数量*单CPU总数*HT（超线程数量）
然后根据虚拟核数量配置内存容量：
内存容量=虚拟核心数（Vcore）*2GB（至少2GB）
关于CPU的选择，由于Hadoop是分布式计算运行，其运行模型基本都是密集型并行计算。因此，推荐的CPU应该尽可能多通道、多核。如果条件允许，每个节点都应该如此。
然后，在大型分布式集群中，还需要注意的是，分布式计算需要节点之间频繁的通信和IO操作，这意味着对网络带宽有要求，所以建议使用千兆或更高的网卡，如果条件允许的话可以选择10G网卡，交换机也是如此。
注意：由于有些组件如zookeeper需要选举leader和follower，所以需要的节点数量至少为3个节点且为奇数。否则，如果有一个节点挂掉了，集群就无法选出leader，整个zookeeper就无法运行。
示例：
只要集群中有一半以上的机器正常工作，整个集群就对外可用。也就是说，如果有2个zookeeper，那么只要有1个死了，这个zookeeper就不能用了，因为1还不到一半，所以两个zookeeper的死亡容忍度都是0；同样，如果有 3 名动物园管理员，则其中 1 名会死亡。 ，还剩下2个正常的，已经超过一半了，所以3个zookeeper的容忍度为1；同样，你还可以列出更多：2->0； 3->1； 4->1； 5→2； 6->2就会找到一条规则。 2n和2n-1的容忍度是一样的，都是n-1，所以为了效率更高，为什么还要加上那个不必要的zookeeper呢。
——————————————————
版权声明：本文为CSDN博主“Mr_Luffy”原创文章，遵循CC 4.0 BY-SA版权协议。转载时请附上原文链接及本声明。
原文链接：https://www.hack95.com/u011192458/article/details/79128457
Ambari安装准备
关于Ambari的安装，目前网上有两种发行版，一种是Apache的Ambari，另一种是Hortonworks的。两者之间没有太大区别。这里我们以Apache的Ambari 2.1.2为例。本文使用四台centos 6.8作为安装环境。这三台机器分别是 Ambari.domain、NameNode.domain、Hadoop01.domain 和 Hadoop02.domain。 Ambari计划将其安装为Ambari Server，NameNode是管理节点，另外两个是Ambari Agent。
安装 Ambari 最方便的方法是使用公共存储库。 [构建本地存储库，请参阅 Ambari-server 私有 yum 源构建和设置]。这不是本文的重点，所以这里不再赘述。在进行具体安装之前，需要做好几项准备工作。
SSH 无密码登录（请参阅配置从 Ambari-server 到代理的单向无密码登录）；
Ambari 的服务器将 SSH 到 Agent 的机器，复制并执行一些命令。因此我们需要配置从Ambari Server到Agent的SSH无密码登录。在此示例中，Ambari 无需密码即可通过 SSH 连接到其他三台计算机。
确保 Yum 能够正常工作；
通过公共仓库安装Hadoop软件，实际上就是使用Yum安装公共仓库中的rpm包。所以这里你需要你所有的机器都能访问互联网。
确保您对主目录具有写入权限，Ambari 将创建一些操作系统用户。
确保机器的Python版本大于等于2.6（系统默认为2.6）。
以上准备工作完成后，就可以真正开始安装Ambari了。
Ambari安装流程
首先需要获取Ambari的公共仓库。登录Linux主机，执行以下命令（也可以手动下载）：
wget http://www.hack95.com/ambari/centos6/2.x/updates/2.1。 2/ambari.repo
将下载的ambari.repo文件复制到Linux系统目录/etc/yum.repos.d/中。复制完成后，我们需要获取公共库的所有源文件的列表。依次执行以下命令。
#yum clean all
#yum list|grep ambari
如果能看到Ambari对应版本的安装包列表，则说明公共库已经配置成功。然后就可以安装 Ambari 包了。执行以下命令将 Ambari Server 安装到本机。
#yum install ambari-server
安装完成后，需要对Ambari Server进行简单的配置。执行以下命令。
#amari-server setup
在此交互式设置中，只需使用默认配置。 Ambari将使用Postgres数据库，默认安装并使用Oracle的JDK。 Ambari GUI 的默认登录用户是 admin/admin。并指定Ambari Server的运行用户为root。
简单设置配置完成后。您可以启动 Ambari。运行以下命令。
#ambari-server start
成功启动Ambari Server后，就可以通过浏览器登录了。默认端口为8080，以本文环境为例，在浏览器地址栏输入http://ambari.domain:8080，登录密码为admin/admin。登录Ambari后的页面如下图。
至此，Ambari Server安装完成。
部署Hadoop2.x集群
在本节中，我们将能够真正体验到Ambari的用处以及它所带来的便利。
登录Ambari后，单击“启动安装向导”按钮开始创建您自己的大数据平台。
首先命名集群。这个环境就是大数据。
接下来，选择一个堆栈。这个Stack相当于Hadoop生态系统软件的集合。 Stack版本越高，里面的软件版本就越高。这里我们选择HDP2.3，对应的Hadoop版本是2.7.x。
接下来，指定Agent机器（如果配置了域，则必须包含完整域名），这些机器将安装Hadoop等软件包。这里我们选择“在主机上执行手动注册并且不使用SSH”。 Ambari Agent 必须在所有三台计算机上手动安装。有关详细信息，请参阅下面的示例。
[root@namenode ~]# yum install -y ambari-agent
[root@namenode ~]# vi /etc/ambari-agent/conf/ambari-agent.ini
修改主机名为 Just使用 Ambari
[root@namenode ~]# /etc/init.d/ambari-agent start
[root@NameNode ~]# /etc/init.d/ambari-agent status
Hadoop01和Hadoop02的安装方法同上。
客户端手动注册
点击“注册并确认”后，系统自动开始注册主机并配置主机
Hadoop集群组件选择与安装
一般根据业务选择需要安装的服务
主服务节点选择
选择每个组件主服务安装在哪些节点上（注：服务分主/从，不建议在同一主机上安装多个主）
Slaves服务节点选择
选择Slaves服务的安装节点，并安装节点客户端
建议安装所有DataNode、RegionServe和客户端组件
定制服务配置
(1)、hdfs目录配置：
注意检查目录空间大小，尽量放在大目录
(2)、hive服务配置及检测
配置完成后，Ambari 会汇总一份安装列表供用户查看。这里没有问题，只需进入下一步即可。
Ambari 将开始将选定的服务安装到 Ambari Agent 计算机上（如下所示）。您可能需要在这里等待一段时间。安装完成后，Ambari将启动这些服务。
安装完成
安装完成后，可以查看Ambari Dashboard。
至此，您的专用大数据集群已经安装完毕。
———————————————
版权声明：本文为CSDN博主“莫小凯”原创文章，遵循CC 4.0 BY-SA版权协议。请转载。随附原始来源和本声明的链接。
原文链接：https://www.hack95.com/cy309173854/article/details/58039594
![vs2015怎么设置文件定位[vs怎么设置文件保存路径]](/upload/images/35237217 "vs2015怎么设置文件定位[vs怎么设置文件保存路径]")
