hadoop ubantu环境搭建_ubuntu hadoop学习 环境搭建
單機(jī)模式
下載hadoop-2.7.3.tar.gz 并解壓縮
安裝java環(huán)境
sudo apt install openjdk-8-jdk
設(shè)置環(huán)境變量
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HADOOP_HOME/bin
保存文件
source /etc/profile
修改haddoop中的配置文件
/usr/local/hadoop/etc/hadoop/core-site.xml
修改etc/hadoop/hdfs-site.xml
#無(wú)密碼登錄設(shè)置
ssh-keygen -t dsa
ssh-copy-id? -i ~/.ssh/id_rsa.pub root@172.16.242.100
#格式化hdfs
/usr/local/hadoop/bin/hdfs namenode -format
#啟動(dòng)dfs測(cè)試
/usr/local/hadoop/sbin/start-dfs.sh
測(cè)試代碼
hdfs dfs -mkdir /input
hdfs dfs -put etc/hadoop /input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep /input /output 'dfs[a-z.]+'
hdfs dfs -cat output/*
總結(jié)
以上是生活随笔為你收集整理的hadoop ubantu环境搭建_ubuntu hadoop学习 环境搭建的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 30 多年的软件经验,总结出 10 个编
- 下一篇: 嵌入式系统的知识体系、学习误区及学习建议