Hadoop
概要 MRUnit：MapReduceテスト用ライブラリ 今回は、0.5.0をインストールする。 ダウンロード ダウンロード(Apache)：http://ftp.jaist.ac.jp/pub/apache//incubator/mrunit/stable/ インストール apache-commons-configuration apache-commons-lang がない…
概要 ※ 今回は、3.0.3をインストールした。 Mavenダウンロード Maven本体＠Maven – Download Apache Maven Maven to Eclipse(M2E)＠http://m2eclipse.sonatype.org/archived-releases.html M2E直リン＠http://m2eclipse.sonatype.org/sites/m2e/0.12.1.20110…
FsShellとは hadoop fs [-options]このコマンド実行時に、呼ばれるクラス。プログラム上から、このクラスを呼ぶ事ができれば、引数のオプションで、実行できる事が、そのまま実行できる。 呼び方 上のコマンドを呼ぶ際に、呼ばれるmainメソッドは、下記の様…
目次 概要 in-mapper conbinerパターン 参考サイト TODO テンプレ 概要 Hadoop MapReduce デザインパターン ―MapReduceによる大規模テキストデータ処理の３章の簡単なまとめ。 in-mapper combinerパターン 処理の概要 Mapper ↓ ローカル(各ノード) ---------…
目次 概要 ダウンロード Eclipseからの利用 使い方 参考 TODO 概要 NoSQLサーチエンジン。 ビッグデータのリアルタイムサーチ。 プロジェクト目標：1000億以上のレコードのインデックス。 HBase利用。 要は、HBase利用の為のライブラリ。 現行Ver.0.90(2011/…
目次 ダウンロード インストール メモ 参考サイト ダウンロード 下記リンクよりダウンロード。 https://ccp.cloudera.com/display/SUPPORT/CDH3+Downloadable+Tarballs 今回は、Hadoop 0.20.2+923.142をダウンロードした。 原因は分からないが、0.20.2+923だ…
HBase導入まとめ 目次 HBaseインストール HBase設定 環境変数設定 実行 シェル Eclipseでのプログラム実行 注意 参考サイト HBaseインストール ここからダウンロード → Apache HBase – Apache HBase™ Home 今回は、0.90.4を使用。 解凍後適当なフォルダに設…
Hadoop導入まとめ 目次 Hadoopインストール インストール確認（コマンド） インストール確認（ブラウザ越し） プログラム実行 エクリプスによる実行／デバッグ 参考サイト Hadoopインストール 下記リンクが詳しい（Ubuntu） kkaneko.com - ※ 環境変数（JAVA_…
Classファイルから起動Hadoopの導入手順は、こっちにまとめ直した(2011/10/08)↓ Hadoop導入まとめ - オボエガキ用 Classのファイルパス設定 export HADOOP_CLASSPATH=クラスファイルのあるパス 実行 hadoop クラスファイル 引数 実行するときは、上で設定し…
Hadoop象本3章 Hadoop 第2版作者: Tom White,玉川竜司,兼田聖士出版社/メーカー: オライリージャパン発売日: 2011/07/23メディア: 大型本購入: 9人 クリック: 182回この商品を含むブログ (24件) を見るの3章をやるよ！ localhostの件(P48) localhostは、「ha…
Class Path設定Hadoopの導入手順は、こっちにまとめ直した(2011/10/08)↓ Hadoop導入まとめ - オボエガキ用Hadoopのクラスパスの設定は、.bashrcに書かない方が良いらしい。実行時に、クラス$Mapが見つからない云々で、二三日どつぼに嵌った。 Class Path確認…
Hadoopを動かす(一日目)Hadoopの導入手順は、こっちにまとめ直した(2011/10/08)↓ Hadoop導入まとめ - オボエガキ用これ(Hadoop 第2版)を買って、本格的に勉強開始。 2章の1発目のサンプルプログラムから動かすのに苦労したので、纏める。 Hadoop起動 起動そ…
Hadoop install メモ 参考リンクHadoopの導入手順は、こっちにまとめ直した(2011/10/08)↓ Hadoop導入まとめ - オボエガキ用 導入手順(for Ubuntu) kkaneko.com - adduser, useradd の違い まさおのブログ (表): Ubuntu でユーザを追加する (adduser を使うべ…
