Linuxda Hadoop-un Quraşdırılması
Müəllif : Zaur Qasımov
Last updated
Müəllif : Zaur Qasımov
Last updated
Hadoop, geniş icma avadanlığı klasterində tətbiqləri işə salmaq üçün Java-da yazılmış frameworkdür. Bu, Google fayl sisteminə bənzəyir. Hadoop-u quraşdırmaq üçün əvvəlcə java lazımdır, buna görə də ilk olaraq Ubuntu-da java quraşdırırıq.
Addım 1: Terminalınızı açın və əvvəlcə sisteminizin Java ilə təchiz olunub-olunmadığını yoxlayın
Addım 2: İndi sisteminizi yeniləməyin vaxtıdır. Aşağıda sisteminizi yeniləmək üçün 2 əmr verilmişdir.
sudo apt-get install update
Linux sisteminin yenilənməsi
Addım 3: İndi aşağıdakı əmrdən istifadə edərək java üçün standart JDK quraşdıracağıq:
sudo apt-get install default-jdk
Sizdən Y/N düyməsini basmağınızı xahiş edəcək.
Hadoop üçün jdk quraşdırılması
Addım 4: İndi Java-nın quraşdırılıb-quraşdırılmadığını yoxlayın
java quraşdırılmasının yoxlanılması
Addım 5: Quraşdırıldıqdan sonra eyni üçün xüsusi istifadəçi tələb olunur. Bu vacib deyil, lakin Hadoop quraşdırılması üçün xüsusi istifadəçi yaratmaq yaxşı bir şeydir. Aşağıdakı əmrdən istifadə edə bilərsiniz:
Hadoop üçün istifadəçi əlavə etmək - 1
sudo adduser --ingroup hadoop hadoopusr
Hadoop üçün istifadəçi əlavə etmək - 2
Addım 6: İndi yuxarıdakı 2 əmri yerinə yetirdikdən sonra uğurla hadoopusr adlı xüsusi istifadəçi yaratdınız. İndi o, yeni UNIX parolu tələb edəcək, ona görə də rahatlığınıza uyğun parol seçin.Sonra o, sizdən Tam Ad və s. kimi məlumatları tələb edəcək. Defolt olaraq enter düyməsini sıxmağa davam edin, sonra düzgün məlumat üçün Y düyməsini basın.
Hadoop Quraşdırma İstifadəçisi üçün istifadəçi məlumatının əlavə edilməsi
Addım 7: İndi aşağıdakı əmri istifadə edin:
sudo adduser hadoopusr sudo
Bu əmrlə siz “hadoopusr”unuzu “sudo” qrupuna əlavə edirsiniz ki, biz də onu super istifadəçi edə bilək.
Hadoop istifadəçisini Linux-da super istifadəçiyə çevirmək
Addım 8: İndi biz secure shell olan ssh açarını quraşdırmalıyıq.
sudo apt-get install openssh-server
ssh açarının quraşdırılması
Addım 9: İndi hadoopusr olan yeni istifadəçiyə keçmək və istifadəçini dəyişmək üçün yuxarıdakı əmrdən istifadə etdiyiniz parolu daxil etmək vaxtıdır:
Hadoop istifadəçisinə keçid
Addım 10: İndi ssh açarını yaratmağın vaxtıdır, çünki Hadoop öz qovşağını, uzaqdan və ya yerli maşını idarə etmək üçün ssh girişini tələb edir, buna görə də Hadoop quraşdırmasının vahid node üçün biz localhost-a girişimizi konfiqurasiya edirik.
Bu əmrdən sonra sadə Enter düyməsini basın.
Hadoop istifadəçisi üçün ssh açarı yaratmaq
Addım 11: İndi biz aşağıdakı əmrdən istifadə edirik, çünki kompüterin açıq açarını ssh düymələri ilə daxil olmaq istədiyiniz hesablamanın səlahiyyətli açar faylına əlavə etməliyik və biz bu əmri işə saldıq.
cat $HOME/ .ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
kompüterin açıq açarını Hadoop quraşdırmasındakı səlahiyyətli açar faylına əlavə edin
Addım 12: İndi yerli hostu, yəni ssh localhost-u aşağıdakı əmrlə yoxlayın və davam etmək üçün bəli düyməsini basın və xahiş edərsə parolunuzu daxil edin, sonra exit yazın.
İndi Hadoop quraşdırılması üçün əsas tələbi tamamladınız.
Addım 13: İndi quraşdıracağınız paketi endirin. Aşağıdakı şəkildə göstərilən fayla klikləməklə onu Hadoop-2.9.0-dan yükləyin.
Addım 14: Hadoop-2.9.0.tar.gz faylını yüklədikdən sonra bu tar faylını seçdiyiniz yerə yerləşdirin və aşağıdakı əmrlərlə onu çıxarın. Mənim vəziyyətimdə onu /Documents qovluğuna köçürdüm.
endirilmiş Hadoop Faylının çıxarılması - 1
İndi bu faylı aşağıdakı əmrlə çıxarırıq və hadoopusr parolunuzu daxil edirik. Əgər parolu bilmirsinizsə, narahat olmayın, sadəcə olaraq istifadəçinizi dəyişə və özünüzə uyğun parolu dəyişə bilərsiniz.
command : sudo tar xvzf hadoop-2.9.0.tar.gz
yüklənmiş Hadoop Faylının çıxarılması - 2
Addım 15: İndi bu çıxarılan qovluğu hadoopusr istifadəçisinə köçürməliyik ki, bu tip üçün aşağıdakı əmr istifadə olunur (çıxardığınız qovluğun adının hadoop olduğundan əmin olun):
sudo mv hadoop /usr/local/hadoop
Addım 16: İndi sahibliyi dəyişdirməliyik ki, bu əmr üçün:
sudo chown -R hadoopusr /usr/local
changing ownership in Hadoop Installation
Addım 17: Bu ən vacib addımdır, yəni indi biz bəzi faylları konfiqurasiya edəcəyik, bu həqiqətən çox vacibdir.
Əvvəlcə ./bashrc faylımızı konfiqurasiya edirik ki, həmin faylı açmaq üçün aşağıdakı əmri yazın:
Hadoop quraşdırılmasında ./bashrc konfiqurasiyası
Sonra ./bashrc faylı açılır, bu faylın içinə aşağıdakı əmri kopyalayın (Java versiyasını kompüterinizin Java versiyasına uyğun olaraq dəyişdirin, çünki Java-8-openjdk-amd64 ola bilər).
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
configuring ./bashrc in Hadoop Installation
Sonra onu düzgün konfiqurasiya edib-etmədiyinizi yoxlayın.
Hadoop quraşdırılmasında ./bashrc konfiqurasiyasının yoxlanılması
Addım 18: Daha çox faylı konfiqurasiya etməzdən əvvəl əvvəlcə bunun üçün hansı java versiyasını quraşdırdığımızdan əmin oluruq /usr/lib/jvm məkanına keçin və bu yerə getdikdən sonra ls əmrini yazın və içindəki faylı listləyin, indi java versiyasına baxın. , Mənim vəziyyətimdə java-11-openjdk-amd64.
Addım 19: İndi hadoop-env.sh faylını konfiqurasiya edirik. Bunun üçün əmrdən istifadə edərək faylı açın.
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
hadoop-env.sh faylının konfiqurasiyası
Fayl açıldıqdan sonra onun içindəki aşağıdakı ixrac əmrini kopyalayın və JAVA_HOME ilə artıq mövcud ixrac əmrini şərh etdiyinizə əmin olun:
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
configuring hadoop-env.sh file
Yadda saxlamağı etməyi unutmayın.
Addım 20: İndi biz core-site.xml faylını konfiqurasiya edəcəyik. Bunun üçün aşağıdakı əmrdən istifadə edərək həmin faylı açın:
sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml
core-site.xml faylını konfiqurasiya edin
fayl açıldıqdan sonra aşağıdakı mətni konfiqurasiya etiketinin içinə köçürün
Daha yaxşı başa düşmək üçün aşağıdakı şəkilə baxın:
configure the core-site.xml
Addım 21: İndi biz aşağıdakı əmrdən istifadə edərək həmin faylı açmaq üçün hdfs-site.xml faylını konfiqurasiya edəcəyik.
sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml
hdfs-site.xml faylının konfiqurasiyası
Fayl açıldıqdan sonra aşağıdakı mətni konfiqurasiya etiketinin içinə köçürün
<name>dfs.replication</name>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop_tmp/hdfs/namenode</value>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop_tmp/hdfs/datanode</value>
Daha yaxşı başa düşmək üçün aşağıdakı şəkilə baxın:
configuring the hdfs-site.xml file
Addım 22: İndi Hadoop mühitində faylın icrasına cavabdeh olan yarn-site.xml faylını konfiqurasiya edəcəyik. Bunun üçün aşağıdakı əmrdən istifadə edərək həmin faylı açın:
sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml
yarn-site.xml fayl konfiqurasiyası
fayl açıldıqdan sonra aşağıdakı mətni konfiqurasiya etiketinin içinə köçürün
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
Daha yaxşı başa düşmək üçün aşağıdakı şəkilə baxın:
yarn-site.xml fayl konfiqurasiyası
Addım 23: İndi konfiqurasiya ediləcək son fayl mapred-site.xml-dir. Bunun üçün bizdə mapred-site.xml.template var, ona görə də biz həmin faylı tapmalı, sonra bu faylı həmin yerə köçürməli və sonra adını dəyişməliyik.
Beləliklə, faylı tapmaq üçün /usr/local/hadoop/etc/hadoop/ ünvanına getməliyik ki, bu faylı kopyalayın və həmçinin faylın adını tək olaraq dəyişdirin, aşağıdakı əmrdən istifadə edin.
sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
mapred-site.xml file configuration
fayl kopyalandıqdan və ya adı dəyişdirildikdən sonra aşağıdakı əmrdən istifadə edərək həmin faylı açın:
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml
mapred-site.xml fayl konfiqurasiyası
Və sonra aşağıdakı məzmunu konfiqurasiya etiketinə yerləşdirin.
<name>mapreduce.framework.name</name>
Daha yaxşı başa düşmək üçün aşağıdakı şəkilə baxın:
mapred-site.xml fayl konfiqurasiyası
Addım 24: İndi bütün faylları uğurla konfiqurasiya etdik. Beləliklə, indi quraşdırmamızı yoxlamaq vaxtıdır. Bildiyimiz kimi Hadoop arxitekturasında ad qovşağı və digər bloklarımız var, ona görə də biz bir kataloq yaratmalıyıq, yəni hadoop_space. Bu qovluğun içərisində biz başqa bir kataloq düzəldirik, yəni hdfs və namenode və datanode. Kataloq yaratmaq əmri aşağıda verilmişdir:
sudo mkdir -p /usr/local/hadoop_space
sudo mkdir -p /usr/local/hadoop_space/hdfs/namenode
sudo mkdir -p /usr/local/hadoop_space/hdfs/datanode
İndi aşağıdakı əmrlər üçün icazə verməliyik:
sudo chown -R hadoopusr /usr/local/hadoop_space
1. Əvvəlcə namenode formatlaşdırmalıyıq, sonra klasteri işə saldığınız zaman ilk dəfə aşağıdakı əmri işlətməlisiniz, əgər onu yenidən istifadə etsəniz, bütün metadatalarınız silinəcək.
Hadoop-da namenode formatlanması
1.
İndi biz DFS, yəni Paylanmış Fayl Sistemini işə salmalıyıq.
Hadoop-da DFS-i başlatmaq
3. indi başlamaq lazım olan son şey yarn-dır
Hadoop-da yarn-ın başladılması
4. İndi aşağıdakı əmrdən istifadə edin:
İndi siz SecondaryNameNode, NodeManager, ResourceManager, NameNode, jpd və DataNode-u görə biləcəksiniz, yəni Hadoop-u uğurla quraşdırmış olacaqsınız.
jps əmrindən istifadə etmək
5.Sisteminizdə uğurla hadoop quraşdırdınız. İndi bütün klaster məlumatlarınızı yoxlamaq üçün brauzerinizdə localhost:50070 istifadə edə bilərsiniz. İnterfeys belə görünəcək:
Brauzerdə Hadoop interfeysi
