Instalasi HBase di Ubuntu

Daftar Isi:

Anonim

Dalam tutorial ini- Anda akan belajar,

  • Mode Instalasi Apache HBase
  • Cara mengunduh file tar Hbase versi stabil
  • Hbase - Penginstalan mode mandiri
  • Hbase - Mode instalasi terdistribusi semu
  • Hbase - Penginstalan mode Terdistribusi Penuh
  • Pemecahan Masalah Instalasi HBase

Mode Instalasi Apache HBase

Apache HBase dapat diinstal dalam tiga mode. Fitur dari mode ini disebutkan di bawah.

1) Instalasi mode mandiri (Tidak ada ketergantungan pada sistem Hadoop)

  • Ini adalah mode default HBase
  • Ini berjalan melawan sistem file lokal
  • Itu tidak menggunakan Hadoop HDFS
  • Hanya daemon HMaster yang dapat berjalan
  • Tidak direkomendasikan untuk lingkungan produksi
  • Berjalan dalam JVM tunggal

2) Instalasi mode Pseudo-Distributed (Sistem Hadoop node tunggal + instalasi HBase)

  • Ini berjalan di Hadoop HDFS
  • Semua Daemon berjalan dalam satu node
  • Rekomendasikan untuk lingkungan produksi

3) Instalasi mode Terdistribusi Penuh (lingkungan MultinodeHadoop + instalasi HBase)

  • Ini berjalan di Hadoop HDFS
  • Semua daemon akan berjalan di semua node yang ada di cluster
  • Sangat direkomendasikan untuk lingkungan produksi

Untuk penginstalan Hadoop Lihat URL ini Di Sini

Cara mengunduh file tar Hbase versi stabil

Langkah 1) Buka tautan di sini untuk mengunduh HBase. Ini akan membuka halaman web seperti yang ditunjukkan di bawah ini.

Langkah 2) Pilih versi stabil seperti yang ditunjukkan di bawah versi 1.1.2

Langkah 3) Klik pada hbase-1.1.2-bin.tar.gz. Ini akan mengunduh file tar. Salin file tar ke lokasi instalasi.

Hbase - Instalasi mode mandiri:

Instalasi dilakukan di Ubuntu dengan Hadoop sudah terpasang.

Langkah 1) Tempatkan hbase-1.1.2-bin.tar.gz di / home / hduser

Langkah 2) Buka zip dengan menjalankan perintah $ tar -xvf hbase-1.1.2-bin.tar.gz . Ini akan mengekstrak isinya, dan itu akan membuat hbase-1.1.2 di lokasi / home / hduser

Langkah 3) Buka hbase-env.sh seperti di bawah ini dan sebutkan jalur JAVA_HOME di lokasi tersebut.

Langkah 4) Buka file ~ / .bashrc dan sebutkan jalur HBASE_HOME seperti yang ditunjukkan di bawah ini

ekspor HBASE_HOME = / home / hduser / hbase-1.1.1 ekspor PATH = $ PATH: $ HBASE_HOME / bin

Langkah 5) Buka hbase-site.xml dan tempatkan properti berikut di dalam file

hduser @ ubuntu $ gedit hbase-site.xml (kode seperti di bawah ini)

hbase.rootdirfile:///home/hduser/HBASE/hbase
hbase.zookeeper.property.dataDir/home/hduser/HBASE/zookeeper

Di sini kami menempatkan dua properti

  • Satu untuk direktori root HBase dan
  • Yang kedua untuk direktori data sesuai dengan Zookeeper.

Semua aktivitas HMaster dan ZooKeeper mengarah ke hbase-site.xml ini.

Langkah 6) Buka file host yang ada di / etc. lokasi dan sebutkan IP seperti yang ditunjukkan di bawah ini.

Langkah 7) Sekarang Jalankan Start-hbase.sh di lokasi hbase-1.1.1 / bin seperti yang ditunjukkan di bawah ini.

Dan kita dapat memeriksa dengan perintah jps untuk melihat HMaster sedang berjalan atau tidak.

Step8) Shell HBase dapat mulai dengan menggunakan "shell hbase" dan itu akan masuk ke mode shell interaktif seperti yang ditunjukkan pada gambar di bawah ini. Setelah masuk ke mode shell, kita dapat melakukan semua jenis perintah.

Mode mandiri tidak memerlukan daemon Hadoop untuk memulai. HBase dapat berjalan secara mandiri.

Hbase - Mode instalasi terdistribusi semu:

Ini adalah metode lain untuk Instalasi Apache Hbase, yang dikenal sebagai mode Instalasi Terdistribusi Pseudo. Di bawah ini adalah langkah-langkah untuk menginstal HBase melalui metode ini.

Langkah 1) Tempatkan hbase-1.1.2-bin.tar.gz di / home / hduser

Langkah 2) Buka zip dengan menjalankan perintah $ tar -xvf hbase-1.1.2-bin.tar.gz . Ini akan mengekstrak isinya, dan itu akan membuat hbase-1.1.2 di lokasi / home / hduser

Langkah 3) Buka hbase-env.sh seperti berikut di bawah ini dan sebutkan jalur JAVA_HOME dan jalur server Wilayah di lokasi dan ekspor perintah seperti yang ditunjukkan

Langkah 4) Pada langkah ini, kita akan membuka file ~ / .bashrc dan menyebutkan jalur HBASE_HOME seperti yang ditunjukkan di screen-shot.

Langkah 5) Buka HBase-site.xml dan sebutkan properti di bawah ini di file. (Kode seperti di bawah) 

hbase.rootdirhdfs://localhost:9000/hbase
hbase.cluster.distributedtrue
hbase.zookeeper.quorumlocalhost
dfs.replication1
hbase.zookeeper.property.clientPort2181
hbase.zookeeper.property.dataDir/home/hduser/hbase/zookeeper
  1. Menyiapkan direktori root Hbase di properti ini
  2. Untuk pengaturan terdistribusi kita harus mengatur properti ini
  3. Properti kuorum ZooKeeper harus ditetapkan di sini
  4. Penyiapan replikasi dilakukan di properti ini. Secara default kami menempatkan replikasi sebagai 1.

    Dalam mode terdistribusi penuh, beberapa node data hadir sehingga kami dapat meningkatkan replikasi dengan menempatkan lebih dari 1 nilai di properti dfs.replication

  5. Port klien harus disebutkan di properti ini
  6. Direktori data ZooKeeper dapat disebutkan di properti ini

Langkah 6) Jalankan daemon Hadoop terlebih dahulu dan setelah itu jalankan daemon HBase seperti yang ditunjukkan di bawah ini

Di sini pertama-tama Anda harus menjalankan daemon Hadoop dengan menggunakan perintah "./start-all.sh" seperti yang ditunjukkan di bawah ini.

Setelah memulai daemon Hbase oleh hbase-start.sh

Sekarang periksa jps

Hbase - Instalasi mode Terdistribusi Penuh: -

  • Penyiapan ini akan berfungsi dalam mode cluster Hadoop di mana beberapa node muncul di seluruh cluster dan berjalan.
  • Pemasangannya sama dengan mode pseudo didistribusikan; satu-satunya perbedaan adalah ia akan muncul di beberapa node.
  • File konfigurasi yang disebutkan dalam HBase-site.xml dan hbase-env.sh sama dengan yang disebutkan dalam mode pseudo.

Pemecahan Masalah Instalasi HBase

1) Pernyataan Masalah: Server master menginisialisasi tetapi server wilayah tidak menginisialisasi

Komunikasi antara Master dan server wilayah melalui alamat IP mereka. Seperti cara Master mendengarkan bahwa server wilayah sedang berjalan atau memiliki alamat IP 127.0.0.1. Alamat IP 127.0.0.1 yang merupakan host lokal dan menyelesaikan ke host lokal server master sendiri.

Sebab:

Dalam komunikasi ganda antara server wilayah dan master, server wilayah terus menerus memberi tahu server Master tentang alamat IP mereka adalah 127.0.0.1.

Larutan:

  • Harus menghapus node nama server master dari host lokal yang ada di file host
  • Lokasi file host / etc / hosts

Apa yang harus diubah:

Buka /etc./hosts dan pergi ke lokasi ini

127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost: : 1 localhost3.localdomain3 localdomain3

Ubah konfigurasi di atas seperti di bawah ini (hapus nama server wilayah seperti yang disorot di atas)

127.0.0.1 localhost.localdomainlocalhost: : 1 localhost3.localdomain3 localdomain3

2) Pernyataan Masalah: Tidak dapat menemukan alamat saya: XYZ dalam daftar server kuorum Penjaga Hutan

Sebab:

  • Server Zookeeper tidak dapat memulai, dan itu akan membuat kesalahan seperti .xyz pada nama server.
  • HBase mencoba untuk memulai server Zookeeper pada beberapa mesin tetapi pada saat yang sama mesin tidak dapat menemukan sendiri konfigurasi kuorum yaitu ada di file konfigurasi HBase.zookeeper.quorum .

Larutan:-

  • Harus mengganti nama host dengan nama host yang ditampilkan dalam pesan kesalahan
  • Misalkan kita memiliki server DNS maka kita dapat mengatur konfigurasi di bawah ini di HBase-site.xml.
    • HBase.zookeeper.dns.interface
    • HBase.zookeeper.dns.nameserver

3) Pernyataan Masalah: Membuat Direktori Root untuk HBase melalui Hadoop DFS

  • Guru berkata bahwa Anda perlu menjalankan skrip migrasi HBase.
  • Setelah menjalankan itu , skrip migrasi HBase merespons seperti tidak ada file di direktori root .

Sebab:

  • Pembuatan direktori baru untuk HBase menggunakan sistem file Terdistribusi Hadoop
  • Di sini HBase mengharapkan dua kemungkinan

1) Direktori root tidak ada

2) HBase contoh berjalan sebelumnya diinisialisasi sebelumnya

Larutan:

  • Pastikan kesesuaian direktori root HBase saat ini tidak ada atau telah diinisialisasi oleh contoh HBase sebelumnya.
  • Sebagai bagian dari solusi, kami harus mengikuti langkah-langkah

Langkah 1) Menggunakan Hadoop dfs untuk menghapus direktori root HBase

Langkah 2) HBase membuat dan menginisialisasi direktori dengan sendirinya

4) Pernyataan masalah: acara Zookeeper sesi kedaluwarsa

Sebab:

  • Server HMaster atau HRegion dimatikan dengan melakukan Pengecualian
  • Jika kita mengamati log, kita bisa mengetahui pengecualian sebenarnya yang muncul

Berikut ini menunjukkan pengecualian yang dilemparkan karena Zookeeper acara kedaluwarsa. Peristiwa yang disorot adalah beberapa pengecualian yang terjadi di file log

Kode file log seperti yang ditampilkan di bawah ini:

WARN org.apache.zookeeper.ClientCnxn: Exceptionclosing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ecjava.io.IOException: TIMED OUT at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORTINFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]INFO org.apache.zookeeper.ClientCnxn: Server connection successfulWARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65ejava.io.IOException: Session Expired at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired

Larutan:

  • Ukuran RAM default adalah 1 GB. Untuk melakukan impor yang berjalan lama, kami telah mempertahankan kapasitas RAM lebih dari 1 GB.
  • Harus menambah batas waktu sesi untuk Penjaga Zookeeper.
  • Untuk menambah waktu sesi dari Zookeeper, kita harus mengubah properti berikut di "hbase-site.xml" yang ada di jalur folder hbase / conf.
  • Batas waktu sesi default adalah 60 detik. Kami dapat mengubahnya menjadi 120 detik seperti yang disebutkan di bawah ini
 zookeeper.session.timeout 1200000
 hbase.zookeeper.property.tickTime 6000