【Hadoop徹底入門 第2版】の要点まとめ

Hadoop徹底入門 第2版

上記の本を読破したので、要点を纏める。

主要プロジェクト

プロジェクトとして出てきた言葉はさらに深堀りが必要。
ここに出てくる言葉がわからないと先を読みすすめても理解ができない。

処理概要

どこまで処理に幅を持たせられるのか？
処理を変更したい場合は、どこをいじる必要があるのか？
input及びouputの物理名はどうなるのか？

等を、もっと理解する必要がある。

おもなコンポーネント

Hadoopクラスターの概念図
これを覚えておかないと、どこの話なのか混乱する。

概念はこちらのほうがわかりやすいかも

タイトル未設定

運用について

ログの箇所

クラスタの障害対応

ノード障害への対応
暴走したタスクやジョブの停止
ブラックリスト
メタデータのバックアップとリストア
HDFSの初期化

まとめ

この手のものは、動かして体感するのが一番のよい。
しかし、Hadoopは最小構成でもサーバ3台が必要なので、
ここをどうするか考えていきたい。

参考

Hadoop徹底入門 第2版

よいと思ってもらえたら、「スキ」をお願いします。
「スキ」は、継続の源泉です。

kindle unlimited
定額で様々な本が読み放題。特に技術書の入門編のものが読み放題なので、いつもお世話になっています。
こちらの「Hadoop徹底入門 第2版」も読むことができます。

amazon audible
時短で読書できるので、とても重宝しています。