Notion 博客 一个NotionNext搭建的博客
数据库系统概论
大数据原理与应用
javaWeb应用开发基础教程
python
毕业设计
大数据技术综合应用
实训-航空数据系统
java面向对象程序设计
数据结构
算法分析与设计
SPARK
Python爬虫大数据采集与挖掘
云计算
概率论与数理统计
数字逻辑
计算机网络
计算机组成原理
linux
操作系统
人工智能导论
数据仓库与数据挖掘
数据可视化
大数据安全与隐私保护
c语言
C++
准备系统运行的先决条件
- SSH免密码连接
- 安装配置JDK
- 安装配置Scala
内 容：
项目开发测试环境为分布式集群环境，在当前项目中使用多台基于CentOS 64bit 的虚拟机来模拟生产环境。在生产环境中建议使用高性能物理主机或云主机搭建集群环境。
- 规划服务节点的功能和数量，以及网络分配情况
- 配置虚拟机的主机名称和网络，确保各主机之间可以通过主机名和IP互相ping通
- 配置各虚拟机之间可以SSH免密码连接
- 在各虚拟机上安装JDK并配置环境变量
任务指导
1.1. 规划服务节点
1、规划服务节点的功能和数量，以及网络分配情况
当前项目所使用的服务器集群包括1个client节点和3个大数据集群的节点，节点IP地址和主机名分布如下：
Hadoop、Kafka、ZooKeeper、HBase、Spark、Web服务
所有节点均是CentOS 64bit系统，且已经关闭防火墙，禁用selinux
所有机器的登录用户名：root，密码：可从以下方式获取（例如，将鼠标移动到 node1 节点上时，会弹出提示框，显示主机名、虚拟机IP、用户名、密码等）
1.2. hosts文件
2、配置虚拟机的主机名称和网络，确保各主机之间可以通过主机名和IP互相ping通
- 修改每台机器的hosts文件
vi /etc/hosts- 添加以下内容（必须使用私有ip）
172.18.4.216 node1172.18.4.227 node2172.18.4.145 node3172.18.4.51 client1.3. 配置SSH无密登录
3、配置各虚拟机之间可以SSH免密码连接
Hadoop分布式集群是由多个节点组成，各节点之间需要通过网络访问，如果每次都需要输入密码，非常不方便，所以可以考虑设置各节点之间免密码连接。任务的内容为在各个节点配置SSH，生成密钥对，然后再将公钥分发到所有节点，这样就可以实现各节点之间的免密码连通了。
配置免密登录
（1）设置公钥和私钥(此步骤需要在三台容器都执行)
#输入命令后一直按回车
ssh-keygen -t rsa（2）拷贝公钥(此步骤需要在三台容器都执行)
#输入命令之后会输入yes，然后输入密码
ssh-copy-id clientssh-copy-id node1ssh-copy-id node2ssh-copy-id node3- 若出现以下报错，说明密钥发送后另一方又更新密钥，需要删除双方存的对方密钥
vi ~/.ssh/known_hosts（2）.ssh文件夹下（~/.ssh）的文件功能解释
文件名 | 含义 |
known_hosts | 记录ssh访问过计算机的公钥(public key) |
id_rsa | 生成的私钥 |
id_rsa.pub | 生成的公钥 |
authorized_keys | 存放授权过得无密登录服务器公钥 |
1.4. JDK安装
4、在各虚拟机上安装JDK并配置环境变量
Hadoop 2.6需要JDK 1.6及以上版本，如果系统自带Open JDK，强烈建议使用JDK 1.8替换系统自带的Open JDK。（在node1节点上安装配置JDK，然后将安装目录及配置文件拷贝到其他节点）
1.4.1. 卸载（了解）
- 查询系统是否以安装jdk
rpm -qa|grep jdk- 卸载
如果没有安装过jdk，则跳过此步骤，如果安装过jdk，则可以使用命令卸载已安装的jdk
rpm -e --nodeps 软件包名rpm -e --nodeps copy-jdk-configs-3.3-10.el7_5.noarch- 验证一下是否还有jdk
rpm -qa|grep javajava -version（本次实验环境中没有安装jdk，因此不需要进行卸载）
1.4.2. 安装
在node1节点上，直接解压下载的JDK并配置变量即可。
具体的步骤如下：
- 进入软件安装目录。
cd /opt/software/- 解压
tar -zxf jdk-8u301-linux-x64.tar.gz -C /opt/module- 配置JDK环境变量
vim /etc/profile添加内容如下
export JAVA_HOME=/opt/module/jdk1.8.0_301export PATH=$PATH:$JAVA_HOME/bin- 使配置生效。
source /etc/profile- 查看JDK的版本。
java -version1.4.3. 其他节点
- 拷贝
将node1节点上的JDK拷贝到其它服务器
scp -rq /opt/module/jdk1.8.0_301 node2:/opt/module/scp -rq /opt/module/jdk1.8.0_301 node3:/opt/module/scp -rq /etc/profile node2:/etc/scp -rq /etc/profile node3:/etc/说明：
scp -rq /opt/module/jdk1.8.0_301 主机名:/opt/module/scp /etc/profile 主机名:/etc/- 在node2、node3执行使环境变量生效
source /etc/profilePrev
过程
Next
安装配置ZooKeeper
Loading...