レッスン

1.1 シャーディングとは何ですか? しつこくグーグルで検索すると、いわゆるパーティショニングといわゆるシャーディングの間にはかなり曖昧な境界があることがわかります。誰もが自分の好きなように、好きなように電話をかけます。水平パーティショニングとシャーディングを区別する人もいます。シャーディングはある種の水平分割であるという人もいます。 建国の父たちによって承認され、ISO によって認定されるような用語標準は 1 つも見つかりませんでした。個人的な内なる信念は次のようなものです

2.1 シャーディングして N 倍遅くする方法は? 次のように、ちょうど N 回シャードして速度を落とすことができます。 docs00...docs15 リクエストを並列ではなく順番に送信します。 単純なクエリでは、 key 、 WHERE something=234 ではなく選択を行います。 この場合、シリアル化された部分 (シリアル) は 1% や 5% ではなく、最新のデータベースでは約 20% を占めます。非常に効率的なバイナリ プロトコルを使用してデータベースにアク

3.1 ビッグデータという用語の出現の歴史 ビッグデータという用語は比較的最近登場しました。Google トレンドによると、2011 年以降、このフレーズの使用が活発に増加し始めていることが わかります。 同時に、今では怠け者だけがこの用語を使用しません。特にこの用語はマーケティング担当者によって不適切に使用されることがよくあります。では、ビッグデータとは実際何でしょうか? 問題を体系的に述べて強調することにしたので、概念を定義する必要があります。 私の実践では、さまざまな定

4.1 Hadoop に関する一般情報 MapReduce パラダイムは、2004 年に Google によって「MapReduce: 大規模クラスターでのデータ処理の簡素化」という記事で提案されました。提案された記事にはパラダイムの説明が含まれていましたが、実装が欠落していたため、Yahoo の数名のプログラマーが、Nutch Web クローラーの作業の一部としてその実装を提案しました。Hadoop の歴史の詳細については、記事「Hadoop の歴史: 4 ノードからデータ

5.1 マップのみのジョブ ここでは、MapReduce を効果的に使用して実際的な問題を解決するためのさまざまなテクニックを説明し、開発を簡素化したり、クラスター上での MapReduce タスクの実行を大幅に高速化したりできる Hadoop の機能のいくつかを紹介します。 覚えているとおり、MapReduce は Map、Shuffle、Reduce の各ステージで構成されています。一般に、シャッフル段階はデータがこの段階でソートされるため、実際のタスクの中で最も難しいこ

Hbase を使い始める最も簡単な方法は、hbase シェル ユーティリティを使用することです。これは、hbase クラスター ノードに hbase をインストールした直後に使用できます。