Sunday, September 06, 2009

How to setup a Single node - hadoop cluster with hBASE

This guy has good instructions - http://blog.ibd.com/Part 1 setup Hadoop1. Get download and untar
wget http://apache.mirrors.hoobly.com/hadoop/core/hadoop-0.20.0/hadoop-0.20.0.tar.gz

tar xvf hadoop-0.20.0.tar.gz


2. Modify configuration files

cd hadoop-0.20.0/conf$edit core-site.xml
Add
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

3. Edit site configuration for replication.

hadoop-0.20.0/conf$edit hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>


4. Set Map reduce node - note even if we are not using it.

hadoop-0.20.0/conf$edit mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

5. Check local ssh access

hadoop-0.20.0/conf$ssh localhost
Last login: Sat Sep 5 11:56:25 2009
LOLCAT@~$exit
logout
Connection to localhost closed.

6. Format / initialize hadoop file system

hadoop-0.20.0$bin/hadoop namenode -format
09/09/05 12:01:28 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = LOLCAT.local/10.0.1.193
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.20.0
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.20 -r 763504; compiled by 'ndaley' on Thu Apr 9 05:18:40 UTC 2009
************************************************************/
09/09/05 12:01:28 INFO namenode.FSNamesystem: fsOwner=spicysquid,staff,com.apple.sharepoint.group.2,admin,com.apple.sharepoint.group.1
09/09/05 12:01:28 INFO namenode.FSNamesystem: supergroup=supergroup
09/09/05 12:01:28 INFO namenode.FSNamesystem: isPermissionEnabled=true
09/09/05 12:01:28 INFO common.Storage: Image file of size 100 saved in 0 seconds.
09/09/05 12:01:28 INFO common.Storage: Storage directory /tmp/hadoop-spicysquid/dfs/name has been successfully formatted.
09/09/05 12:01:28 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at LOLCAT.local/10.0.1.193
************************************************************/

8. Start everything up!
./start-all.sh
starting namenode, logging to /Users/spicysquid/hbase/hadoop20/hadoop-0.20.0/bin/../logs/hadoop-spicysquid-namenode-LOLCAT.local.out
localhost: starting datanode, logging to /Users/spicysquid/hbase/hadoop20/hadoop-0.20.0/bin/../logs/hadoop-spicysquid-datanode-LOLCAT.local.out
localhost: starting secondarynamenode, logging to /Users/spicysquid/hbase/hadoop20/hadoop-0.20.0/bin/../logs/hadoop-spicysquid-secondarynamenode-LOLCAT.local.out
starting jobtracker, logging to /Users/spicysquid/hbase/hadoop20/hadoop-0.20.0/bin/../logs/hadoop-spicysquid-jobtracker-LOLCAT.local.out
localhost: starting tasktracker, logging to /Users/spicysquid/hbase/hadoop20/hadoop-0.20.0/bin/../logs/hadoop-spicysquid-tasktracker-LOLCAT.local.out


9. Check urls to see if they are up:

The Job Tracker can be found at http://localhost:50030
The Task Tracker can be found at http://localhost:50060

The NameNode / Filesystem / log browser can be found at http://localhost:50070



Part 2 - Setup HBASE


1. download hbase 20 and untar

wget http://people.apache.org/~stack/hbase-0.20.0-candidate-3/hbase-0.20.0.tar.gz

tar xvf hbase-0.20.0.tar.gz

2. Modify conf/hbase-site.xml for hdfs server

<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
<description>The directory shared by region servers.
</description>
</property>


3. start hbase
*** optional --- i had to start zookeeper first...
hbase-0.20.0/bin$./hbase-daemon.sh start zookeeper
./start-hbase.sh

4. create a table.
hbase-0.20.0/bin/hbase shell
1 row(s) in 0.0170 seconds

hbase(main):003:0> disable 'test'
09/09/05 13:22:13 INFO client.HBaseAdmin: Disabled test
0 row(s) in 4.0660 seconds
hbase(main):004:0> drop 'test'
09/09/05 13:22:17 INFO client.HBaseAdmin: Deleted test
0 row(s) in 0.0120 seconds
0 row(s) in 0.0040 seconds
0 row(s) in 0.0440 seconds
hbase(main):005:0> create 'test','data'
0 row(s) in 0.0500 seconds
hbase(main):006:0> list

5. Check
Check hdfs web url to see how the files are created
The NameNode / Filesystem / log browser can be found at http://localhost:50070

6. stop hbase
stop hadoop

hadoop-0.20.0/bin$./stop-all.sh
stopping jobtracker
localhost: stopping tasktracker
stopping namenode
localhost: stopping datanode
localhost: stopping secondarynamenode


hbase-20.0/bin/./stop-hbase.sh

39 comments:

Anonymous said...

[url=http://community.bsu.edu/members/buy+online+Viagra.aspx]Viagra no prescription no fees overnigh[/url]
[url=http://ceklansi.ru/index.php]знакомства литва[/url]
[url=http://ceklansi.ru/tegos-ru-znakomstva.php]тегос ру знакомства[/url]
[url=http://ceklansi.ru/olga-blyad.php]ольга блядь[/url]
[url=http://ceklansi.ru/odinokaya-zhenschina-zhelaet-poznakomitsya-onlayn.php]одинокая женщина желает познакомиться онлайн[/url]
[url=http://ceklansi.ru/blyadi-luganska.php]бляди луганска[/url]
[url=http://celuyou.ru/dosug-nn-ru.php]досуг нн ру[/url]
[url=http://celuyou.ru/sayt-seks-znakomstva.php]сайт секс знакомства[/url]
[url=http://celuyou.ru/poznakomtes-s-uolli-sparksom-onlayn.php]познакомьтесь с уолли спарксом онлайн[/url]
[url=http://celuyou.ru/iskusstvo-znakomstva-s-muzhchinami.php]искусство знакомства с мужчинами[/url]
[url=http://celuyou.ru/znakomstva-bez-registracii-v-novosibirske.php]знакомства без регистрации в новосибирске[/url]
[url=http://deperovero.ru/znachenie-slova-blyad.php]значение слова блядь[/url]
[url=http://deperovero.ru/prostitutki-transvestity-moskvy.php]проститутки трансвеститы москвы[/url]
[url=http://mx.deperovero.ru/novyy-arbat-prostitutki.php]новый арбат проститутки[/url]
[url=http://mx.deperovero.ru/prostitutki-kruglosutochno.php]проститутки круглосуточно[/url]
[url=http://rp.deperovero.ru/sayt-znakomstv-saransk.php]сайт знакомств саранск[/url]
[url=http://rp.deperovero.ru/chat-znakomstv-v-stavropole.php]чат знакомств в ставрополе[/url][url=http://ss.deperovero.ru/index.php]секс чаты знакомств москвы[/url]
[url=http://ss.deperovero.ru/serpuhovsko-timiryazevskaya-intim.php]серпуховско-тимирязевская интим[/url]
[url=http://tt.deperovero.ru/sluzhba-znakomstv-muzhchina-i-zhenschina.php]служба знакомств мужчина и женщина[/url]
[url=http://tt.deperovero.ru/intim-belorussii.php]интим белоруссии[/url]

Anonymous said...

[color=#6699cc]ВИА [url=http://dejavu-group.ru/index.php]Dejavu-group[/url] - это коллектив виртуозных вокалистов и музыкантов.
[url=http://dejavu-group.ru/index.php]Dejavu-group[/url]- лидер в области музыкального оформления торжеств, музыкальных мероприятий, корпоративок .
В копилке Музыкантов Dejavu-group более 3000 песен.
Живая музыка. Диско, хиты 70-80-90-х, джаз, ретро, шансон, современная музыка, европейские хиты, фоновая музыка, поп .
Музыкальная группа Deja Vu обладает мощной качественной аппаратурой, позволяющей заполнить приятным и плотным уху звуком как компактное помещение (фуршет), так и огромное помещение (корпоратив до тысячи человек).

Андрей +7 910 483 8294 [/color]

Anonymous said...

Задумалась о подарках на Новый год ребенку, ему 3 годика, всевозможные-машинки-конструкторы у него есть навалом, ему нравится мышонок Тич. Я отыскала типа такой игрушки, только мишку sweetwear.ру, кто-либо покупал такого? Есть смысл покупать? Или посоветуйте что-либо аналогичное. Не дайте сыну остаться без подарка от ДедаМороза.

Anonymous said...

всем удачи в новом году

Anonymous said...

Слушайте, ну сколько можно уже встречать этого тигра!? Уже как-то поднадоели эти праздники, наверное правы были те, кто советовал куда-нибудь ехать, а не ваньку валять все 10 дней. Уже реально делать нечего - в квартире прибралась, отмыла и отчистила всё что только можно, отметили всей толпой Хэппи Нью Еар, отошли от его отмечания, доели и допили всё, что осталось от новогодней пьян.. ночи :) Отошли от доедания и допивания, выбрались на природу, пожарили курочку на гриле, покатались на сноуборде, сходили в боулинг, в кино поглядели Аватар, покатались с горок на ватрушках, маму с папой навестила. Сегодня утром проснулась и осознала, что впереди ещё пять дней отдыха. Чем заняться ещё, уже ума не приложу. Кто вообще чем занимается в эти праздники, поделитесь со мной идеями.
ЗЫ И правда говорят, что 10 дней отдыха - это удар, но не только по экономике страны, но и про нам самим)))

Anonymous said...

Smoke Away Pills fartonast
http://www.hoops101.com/ - fluoxetine online
For instance, you may develop the suicidal thoughts if you had not yet crossed the 24 year of age and taking this antidepressant for the first time ever.
[url=http://www.hoops101.com/]prozac medication[/url]

Keep in mind that although Prozac has been reported to be an effective solution to depression related problem, if you intake this without consulting to your doctor you may find yourself into really worst scenario.
buy fluoxetine
In some case, this medication is prescribed in addition to other medications, such as olanzapine (Zyprexa), for increasing the chances of successful treatment to the problem of manic depression (bipolar disorder).


buy zolpidem
Worldwide delivery, no prescription, no hidden fees!
Ambien is for the treatment of people suffering from lack of sleep and relevant disorders.
[url=http://www.overcomestagefright.org/]ambien without prescription[/url]
Many people were caught driving during sleep who were on medication of Ambien.
http://www.overcomestagefright.org/ - ambien 10 mg
Common effects of Ambien are headache, increased libido, impulsive behavior, sleeping while driving or eating and later forgetting the account, delusions, memory loss, tiredness, drowsiness etc.

Anonymous said...

[url=http://vgashop.net]Нескорый суд[/url] [url=http://avto-shop.biz]и более всего[/url] [url=http://otzv.net]Насмешки недостойных[/url] [url=http://allmet.org]над достойным[/url] [url=http://jmarket.info]Когда так просто[/url] [url=http://vybory2012.com]сводит все концы[/url] [url=http://tvparty.biz]Удар кинжала[/url]

Anonymous said...

[color=#6699cc]ВИА [url=http://dejavu-group.ru/about_us.php]Dejavu-group[/url] - это коллектив дипломированных вокалистов и музыкантов на праздник.
[url=http://dejavu-group.ru/svadba.php]Дежа вю[/url]- лидер в области организации и проведения корпоративных вечеринок, свадеб, торжеств, шоу программ, музыкальных вечеров.
В репертуаре ВИА Deja Vu около 3 тыс. песен.
Живая музыка. Поп, хиты 70-80-90-х, диско, джаз, ретро, современная музыка, европейские хиты, фоновая музыка, шансон .
Музыканты на праздник Дежа вю располагает мощной качественной аппаратурой, которая позволяет заполнить плотным и приятным уху звуком как небольшое помещение (фуршет), так и огромное помещение (корпоратив до 1000 человек).

Андрей +7 910 483 8294 [/color]

Anonymous said...

В воскресенье сходили с коллегами на киносеанс Нашей Раши, хочется поделиться впечатлениями, пока свежи воспоминания и горячи эмоции. Сразу хочу высказать свою точку зрения - посмотреть фильм стоит. Новая лента Камеди Клаб Продакшн выигрывает у своих предшественников – “самых лучших фильмов» сразу по нескольким критериям. Во-первых, это актёрский состав. Совсем не трудно догадаться, что больше 1/2 ролей в фильме исполняют Галустян и Светлаков. Конечно, не хочется говорить, что фильм выехал только на них, но если бы не эти ребята, фильм смотрелся бы достаточно убого. Конечно, может быть мы все уже привыкли и полюбили персонажей из сериала Наша Russia, и именно поэтому в кино мы шли без большой доли скептицизма. И это уже показатель 2: бренд нашей Раши. Ну и в третьих, это какой-никакой, но сюжет - последовательность действий, которые мало-помалу развиваются от начала, и имеют логическую (или не совсем) концовку. Чего практически не было в самых лучших фильмах - где грубо говоря была последовательность миниатюр, кое как скреплённых общей ниточкой меж собой.
Конечно, фильм Наша Раша Яйца Судьбы не без минусов - это порой уже потёртые шутки, а некоторые моменты можно было обыграть и развить получше. Слишком мало в действии мы увидели Ваню Дулина, Настю Кузнецову, Снежану Денисовну, Славика с Димоном. Ну и, если честно, не очень порадовала концовка, которая оказалась как то очень смятой, скоротечной, и при этом предсказуемой. Но, несмотря на это, фильм всё же понравился. Конечно создатели постарались, чтобы зрители выходили из зала с улыбкой на лице, и в финальные титры "посадили" Сергея Юрьевича Белякова, который в пух и прах разложил всех создателей и участников фильма, кроме себя любимого. Ход сыграл на все сто!!!

Anonymous said...

После вселенской катастрофы Америка превратилась в мертвую пустыню. По дорогам которым нет конца, кишащим бандами, ведущеми воины за воду и еду, странствует безстрашный Илай. Однажды он попадает в мрачные края, где когда-то находился прекрасный штат Калифорния, а теперь это сущий ад, где бесчинствует тиран Карнеги.
книга илая смотреть

Anonymous said...

[color=#6699cc]
Не знаеш сколько времени я тут сижу? Может-быть... есть мега мысль по[url=http://www.pi7.ru] видео[/url] порталу Думаю вам понравится

[url=http://www.pi7.ru/]Скачать / Смотреть бесплатно Мне бы в небо[/url]
aнекдот для разнообразия :)

Студентка делится впечатлением с подругой о летней практике:
- А ночевали мы на сеновале. Однажды началась гроза, и крыша рухнула. . .
- И тебя не придавило?
- Нет, все Лёше на спину упало

Я 5 часов блуждала по сети, пока не вышела на ваш форум! Думаю, я здесь останусь надолго!
прошу прощения за опечатик.... очен маленькая клавиатура у PDA!

[/color]

Anonymous said...

[color=#6699cc]
Приветик! Может-быть... есть cупер предложение по[url=http://www.pi7.ru] видео[/url] порталу Думаю вам понравится

[url=http://www.pi7.ru]порновидео[/url]
aнекдот для разнообразия :)

В секс-шопе пррдавец девчышкам-малолеткам:
- А вап здесь какгоо хрена надо?
- Вон того, на верхней покле, с вибратором! . .

Я 8 часов блжудаьа по сети, пока не вышела на ваш форум! Думааю, я здесь останусь надолго!
прошу прощения за опечатки.... очень маленькая клавиатура у PDA!

[/color]

Anonymous said...

Недавно стала всё больше размышлять над такой ситуёвиной: а что если бы во всём мире пропал интернет. Я конечно понимаю, что интеренет сам по себе взять и исчезнуть не может, но тем не менее, если не брать во внимание все технические нюансы, и вообразить что такое возможно... Теперь не почитать новости, блоги, не найти нужную информацию в Яндексе, а самое страшное не выйти ни в аську, ни в контакт!
И тут я поняла насколько я зависима от сети. Нет, вроде бы целыми днями перед монитором не провожу, однако признаюсь, день начинаю и заканчиваю и менно компьютером. Хотя, если с другой стороны посмотреть, будет больше живого общения, и больше времени на реальные развлечения, на саморазвитие и т.п. Хотя опять же с другой стороны, с некоторыми друзьями связаться можно только через инет (кто живет в других городах и странах, телеон - дорого знаете ли), ну и дополн.инфо можно получить быстро, чем сидеть в библиотеках...
А как вы, легко бы смогли перенести такую утрату?

Anonymous said...

Мне вот кажется, что такое написать мог то ли креативный гений, то ли героиновый наркоман :(

Anonymous said...

У нас в Дагестане за такие слова могут и камням изакидать :(

Anonymous said...

http://cans.ru/Настоящий мужчина не тот, который заводит новую девушку каждый вечер, а тот, который каждый вечер заводит одну и ту же…

Anonymous said...

Не очень люблю такие тексты %:(

Anonymous said...

В Вашей RSS нельзя получать полные тексты записей, что ли?

Anonymous said...

Логотип мне нравится:)

Anonymous said...

У Вас долго загружается блог - видимо, хостинг плоховат

Anonymous said...

Об этом уже писал кто-то из моих ЖЖ-френдов :(

Anonymous said...

Прошу прощения за оффтопик.
Вы продаете сквозные ссылки с сайта? Если да, свяжитесь со мной, плз!

Anonymous said...

На словах ты Лев Толстой, а не деле ... простой!

Anonymous said...

На словах ты Лев Толстой, а не деле ... простой!

Anonymous said...

На словах ты Лев Толстой, а не деле ... простой!

Anonymous said...

На словах ты Лев Толстой, а не деле ... простой!

Anonymous said...

А сегодня день архивного работника. У вас на сайте есть "Архив"? Можете праздновать! :))

Anonymous said...

А сегодня день архивного работника. У вас на сайте есть "Архив"? Можете праздновать! :))

Anonymous said...

А сегодня день архивного работника. У вас на сайте есть "Архив"? Можете праздновать! :))

Anonymous said...

А сегодня день архивного работника. У вас на сайте есть "Архив"? Можете праздновать! :))

Anonymous said...

А сегодня день архивного работника. У вас на сайте есть "Архив"? Можете праздновать! :))

Anonymous said...

У нас в жж за такой пост бы закидали какашками в каментах:)

Anonymous said...

Подскажите, а у вас сквозную ссылку купить можно? Если да, сообщите цену на мыло, пожалуйста?

Anonymous said...

В Голландии появилась новая услуга, [url=http://bit.ly/b4ymh5 ]платная подруга[/url]
она поговорит с вами по телефону, составит компанию по магазинам, пойдет с вами в кафе и если нужно припрется наночь глядя с бутылкой вина поговорить по душам.

И ничего не потребует взамен, кроме 50 евро в час.

Anonymous said...

Продаётся клубничная рассада
Сорта: Elsanta, Mauling Pandror, Gigant Maximus, WIKOT, Senga Dulcita, Kamaroza
[img]http://litva4u.com/images/normal/113522.jpg[/img]
Цена: 0,25$

Все вопросы по телефону: +371-27041630
e-mail: klugakluga@inbox.lv

Anonymous said...

Мы постарались собрать в этом разделе самые эффективные диеты. У нас Вы сможете подобрать диету максимально подходящую Вам. Все диеты имеют подробное описание. Если у Вас есть свой рецепт эффективной диеты, то Вы можете прислать описание Вашей диеты и мы опубликуем ее. Если вы хотите поделиться Вашей диетой заходите сюда
Сейчас известно довольно много диет. Время от времени появляются новые. Мы постарались собрать все диеты, что бы Вы могли выбрать ту диету которая Вам больше подходит. В нашем каталоге диет Вы можете найти более 200 диет. Но помните, что похудение- это средство, а цель- это здоровье! И в этом вам поможет правильное питание.

Вот только некоторые из них:

лунный календарь для похудения
яблочная диета отзывы результаты комментарии
журнал похудей 20молодые
руслана писанка похудела фото
стб диета


и еще одна:

[url=http://bit.ly/97h2kk]скачать бесплатно как похудеть
[/url]

Anonymous said...

Мы постарались собрать в этом разделе самые эффективные диеты. У нас Вы сможете подобрать диету максимально подходящую Вам. Все диеты имеют подробное описание. Если у Вас есть свой рецепт эффективной диеты, то Вы можете прислать описание Вашей диеты и мы опубликуем ее. Если вы хотите поделиться Вашей диетой заходите сюда
Сейчас известно довольно много диет. Время от времени появляются новые. Мы постарались собрать все диеты, что бы Вы могли выбрать ту диету которая Вам больше подходит. В нашем каталоге диет Вы можете найти более 200 диет. Но помните, что похудение- это средство, а цель- это здоровье! И в этом вам поможет правильное питание.

Вот только некоторые из них:

чешская диета
пропаганда здорового питания
диета для больных гастритом
влияние диеты на здоровье
похудеть плавание


и еще одна:

[url=http://bit.ly/97h2kk]камни в желчном пузыре диета
[/url]

Anonymous said...

Здравствуйте!
Приглашаем Вас посетить новый сайт: посвященный услугам платного секса в России и СНГ - [url=http://007-sex.ru]007-sex.ru[/url].
На нашем сайте вы найдете информацию по следующим темам: [URL="http://007-sex.ru/intim-uslugi/shluhi-v-pavlovskom-posade.html"]шлюхи в Павловском Посаде[/URL], [URL="http://007-sex.ru/intim-uslugi/eskort-vinnic.html"]эскорт Винниц[/URL], [URL="http://007-sex.ru/kommentarii/blyadi-nedaleko-ot-metro-bulvar-dmitriya-donskogo.html"]бляди недалеко от метро Бульвар Дмитрия Донского[/URL].
Самыми обсуждаемыми темами вчера были: [URL="http://007-sex.ru/individualki/shluhi-biyska.html"]шлюхи Бийска[/URL] и [URL="http://007-sex.ru/individualki/ankety-shluh-v-nizhnem-novgorode.html"]анкеты шлюх в Нижнем Новгороде[/URL]

Anonymous said...

[url=http://uskino.ru/index.php?newsid=700]klip фильм смотреть онлайн[/url]
[url=http://uskino.ru/index.php?newsid=926]кино онлайн смотреть перевал дятлова[/url]


USkino.ru является порталом, на котором сосредоточено колоссальное количество кинофильмов, исключительно в отличном качестве, передаваемые на большой скорости, без необходимости проходить нудную процедуру регистрации, смотреть надоевшую рекламу. А именно последняя всегда мешает любителям кино нормально смотреть кинофильмы. Самая главная особенность этого ресурса заключается в том, что он совершенно бесплатный. На сайте никогда не попросят пользователя отправить сообщение, или что-то оплатить. Ежедневно на к нам заходят тысячи человек для того, чтобы позволить себе расслабиться и насладиться просмотром качественного кино, без лишних проблем.
USkino.ru - один из немногих самых трудолюбивых и честных проектов в паутине. На сайте заботятся о своей репутации, о впечатлениях пользователей, заходящих на сайт отдохнуть. Каждый день на портал загружаются новые картины. Основной акцент порталасайта делается на безопасность, а также на его наполнение новостями кино. Этот портал начал свою деятельность 5 января 2012 года. С тех пор работа портала не прекращалась ни на один день. Здесь заботятся о своих пользователях и поддерживают дружбу с деловыми партнерами. У нас можно посмотреть все последние новинки кино в онлайне полностью бесплатно, исключительно в самом высоком качестве, не выходя из дома и не отрываясь от любимого дивана.

[url=http://uskino.ru/index.php?newsid=649]кино кококо смотреть[/url]
[url=http://uskino.ru/index.php?newsid=333]вкус ночи смотреть онлайн[/url]