手抄报 安全手抄报 手抄报内容 手抄报图片 英语手抄报 清明节手抄报 节约用水手抄报

Kali2.0环境下安装Hadoop-2.7.1-单机版

时间:2024-10-14 22:36:09

1、一、新建hadoop用户组和hadoop用户名 1.打开终端窗口,然后输入如下命令创建新用户组。 $ sudo usergroup hadoop 2 .使用下面命令创建用户名,密码为hadoop $ sudo adduser -ingroup hadoop hadoop 3. 为hadoop增加管理员的权限,以免之后出现权限问题。 $ sudo gedit /etc/sudoers 然后编辑增添如下那句hadoop ALL(ALL:ALL) ALL,建议在添加时候直接复制root用户那一行,然后将root用户名改为hadoop即可。 4. 切换到刚刚创建的hadoop用户。$ su - hadoop

Kali2.0环境下安装Hadoop-2.7.1-单机版
Kali2.0环境下安装Hadoop-2.7.1-单机版
Kali2.0环境下安装Hadoop-2.7.1-单机版

2、二、安装配置ssh服务Kali2.0的好处之一是自带了ssh服务。1. 安装ssh $sudo apt-get installl openssh-server 2. 打开ssh服务 $sudo /etc/init.d/ssh start 3. 确认服务是否正确启动: $ ps -e | grep ssh 4. 设置免密码登录,生成私钥和公钥 $ ssh-keygen -t rsa -P "" 在输入路径那儿笔者直接回车,这样在/home/hadoop/.ssh里面生成两个文件 id_rsa、id_rsa.pub,前者是私钥,后者是公钥。 5. 接着将公钥追加到authorized_keys里面,它保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。 $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 6. 登陆ssh $ssh hadoop@localhost 输入yes回车! 7. 退出 $exit

Kali2.0环境下安装Hadoop-2.7.1-单机版
Kali2.0环境下安装Hadoop-2.7.1-单机版
Kali2.0环境下安装Hadoop-2.7.1-单机版
Kali2.0环境下安装Hadoop-2.7.1-单机版

3、三、安装Java环境因Kali2.0自带java jdk,这里只需确认java环境可用,并查找jdk的安装路径。1.确认java版本号~$java-version2.查找jdk路径并记录(后面配置要用到)~$ update-alternatives --config java爆出完整的路径为:/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java,只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64。

Kali2.0环境下安装Hadoop-2.7.1-单机版

4、四、hadoop安装配置1.解压安装    ~$ sudo tar xzf hadoop-2.7.1.tar.gz 将hadoop移动到 /usr/local/hadoop目录下:    ~$ sudomvhadoop-2.7.1/usr/local/hadoop  要确保所有的操作都是在用户hadoop下完成的:    ~$sudochown-Rhadoop:hadoop/usr/local/hadoop2.配置.bashrc: 配置该文件,需要知道Java的安装路径,上面已经找到路径为:/usr/lib/jvm/java-7-openjdk-amd64。  修改.bashrc文件:   ~$ sudo gedit ~/.bashrc在文件末尾追加下面内容,然后保存,关闭编辑窗口。#HADOOP VARIABLES STARTexport JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64export HADOOP_INSTALL=/usr/local/hadoopexport PATH=$PATH:$HADOOP_INSTALL/binexport PATH=$PATH:$HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_HOME=$HADOOP_INSTALLexport HADOOP_HDFS_HOME=$HADOOP_INSTALLexport YARN_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/nativeexport HADOOP_OPTS='-Djava.library.path=$HADOOP_INSTALL/lib'#HADOOP VARIABLES END修改完成后使添加的环境变量生效:  ~$ source ~/.bashrc3.配置hadoop-env.sh  打开hadoop-env.sh文件:  ~$ sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh  找到JAVA_HOME变量,按如下进行修改:  ~$ export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64修改后的hadoop-env.sh文件如下所示:  使配置生效:    ~$source/usr/local/hadoop/conf/hadoop-env.sh  到这里,单机模式的hadoop就全部安装完毕了。

Kali2.0环境下安装Hadoop-2.7.1-单机版
Kali2.0环境下安装Hadoop-2.7.1-单机版
Kali2.0环境下安装Hadoop-2.7.1-单机版

5、五、Hadoop测试为了测试Hadoop安装的正确性,我们可以用在带的例子WordCount进行测试。  1.在/usr/local/hadoop路径下创建test文件夹    ~$ mkdir test  2.拷贝 README.txt 到 test 文件夹    ~$ cp README.txt test  3.执行WordCount程序实例   ~$ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount test output

Kali2.0环境下安装Hadoop-2.7.1-单机版
© 手抄报圈