Notion 博客 一个NotionNext搭建的博客
数据库系统概论
大数据原理与应用
javaWeb应用开发基础教程
python
毕业设计
大数据技术综合应用
实训-航空数据系统
java面向对象程序设计
数据结构
算法分析与设计
SPARK
Python爬虫大数据采集与挖掘
云计算
概率论与数理统计
数字逻辑
计算机网络
计算机组成原理
linux
操作系统
人工智能导论
数据仓库与数据挖掘
数据可视化
大数据安全与隐私保护
c语言
C++
hadoop配置
- 环境变量
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin- 记得保存
source ~/.bashrc
- /usr/local/hadoop/etc/hadoop下的
各配置文件的含义
workers
列出集群中的所有工作节点（DataNode/NodeManager或Spark Worker）的主机名或IP地址
core-site.xml
fs.defaultFS（指定默认的文件系统URI）hadoop.tmp.dir（指定Hadoop的临时目录）。hdfs-site.xml
dfs.replication（设置数据块的副本数量），dfs.namenode.name.dir（指定NameNode元数据的存储路径），dfs.datanode.data.dir（指定DataNode数据的存储路径）。yarn-site.xml
yarn.resourcemanager.hostname（指定ResourceManager的主机名或IP），yarn.nodemanager.aux-services（设置节点管理器的辅助服务，如 mapreduce_shuffle）mapred-site.xml
- 通常需要先复制模板文件
mapred-site.xml.template没有就自己修改mapred-site.xml
cp $HADOOP_CONF_DIR/mapred-site.xml.template $HADOOP_CONF_DIR/mapred-site.xmlmapreduce.framework.name，通常设置为 yarn，表明MapReduce作业将由YARN来管理Loading...