レッスン

6.1 略語の戦い: BASE vs. 酸 「化学では、pH は水溶液の相対的な酸性度を測定します。pH スケールは 0 (強酸性物質) から 14 (強アルカリ性物質) まであり、25°C の純水の pH は 7 で中性です。 データ エンジニアは、トランザクションの信頼性に関してデータベースを比較するためにこの比喩を採用しています。」 おそらく、考えられたのは、pH が高いほど、つまり、データベースが「アルカリ」(「BASE」) に近づくほど、トランザクションの信頼性は低

7.1 なぜ必要なのか ACID のすべてのプロパティ、その目的、使用例について詳しく説明しました。ご覧のとおり、すべてのデータベースが ACID 保証を提供しているわけではなく、パフォーマンス向上のために ACID 保証が犠牲になっています。したがって、ACID を提供しないデータベースがプロジェクトで選択される可能性があり、必要な ACID 機能の一部をアプリケーション側で実装する必要がある場合があります。また、システムがマイクロサービスやその他の種類の分散アプリケーショ

8.1 トランザクションID XID または TxID として指定されます (違いがある場合は教えてください)。タイムスタンプは TxID として使用でき、すべてのアクションをある時点まで復元したい場合に影響を与える可能性があります。タイムスタンプが十分に細分化されていない場合、トランザクションが同じ ID を取得する可能性があるため、問題が発生する可能性があります。 したがって、最も信頼できるオプションは、一意の UUID 製品 ID を生成することです。Python では

1.1 NoSQL データベースの仕組み NoSQL データベースは、さまざまなデータ モデルを使用してデータにアクセスし、操作します。これらのタイプのデータベースは、低遅延と柔軟なデータ モデルを必要とするデータ集約型アプリケーション向けに最適化されています。これらはすべて、他の種類のデータベースに特有の厳格なデータ一貫性要件を緩和することによって実現されます。 書籍の単純なデータベースのスキーマ モデリングの例を考えてみましょう。 リレーショナル データベースでは、多くの

2.1 NoSQL という用語の出現 最近、「NoSQL」という用語が非常にファッショナブルで人気があり、この看板の下であらゆる種類のソフトウェア ソリューションが積極的に開発、推進されています。NoSQL は、膨大な量のデータ、線形スケーラビリティ、クラスター、フォールト トレランス、非リレーショナル性の代名詞となっています。ただし、NoSQL ストレージとは何なのか、この用語がどのように登場したのか、どのような共通の特徴があるのかを明確に理解している人はほとんどいません。

: および:

4.1 説明 Apache Cassandraは、NoSQL システムのクラスに属する分散データベース管理システムであり、ハッシュの形式で提示される巨大なデータ配列の拡張性と信頼性の高いストレージを作成するように設計されています。 当初、このプロジェクトは Facebook の内部で開発され、2009 年に Apache Software Foundation の傘下に移管され、この組織がプロジェクトの開発を続けています。Cassandra に基づく産業用ソリューションは、C

5.1 データの配布 クラスタノード間でキーに応じてデータがどのように分散されるかを考えてみましょう。Cassandra を使用すると、データ分散戦略を設定できます。最初の戦略では、md5 キーの値に応じてデータを分散します (ランダム パーティショナー)。2 つ目では、キー自体のビット表現、つまり序数マークアップ (バイト順のパーティショナー) が考慮されます。 ほとんどの場合、最初の戦略の方が、サーバー間のデータの均等な分散やそのような問題について心配する必要がないため、

1.1 シャーディングとは何ですか? しつこくグーグルで検索すると、いわゆるパーティショニングといわゆるシャーディングの間にはかなり曖昧な境界があることがわかります。誰もが自分の好きなように、好きなように電話をかけます。水平パーティショニングとシャーディングを区別する人もいます。シャーディングはある種の水平分割であるという人もいます。 建国の父たちによって承認され、ISO によって認定されるような用語標準は 1 つも見つかりませんでした。個人的な内なる信念は次のようなものです

2.1 シャーディングして N 倍遅くする方法は? 次のように、ちょうど N 回シャードして速度を落とすことができます。 docs00...docs15 リクエストを並列ではなく順番に送信します。 単純なクエリでは、 key 、 WHERE something=234 ではなく選択を行います。 この場合、シリアル化された部分 (シリアル) は 1% や 5% ではなく、最新のデータベースでは約 20% を占めます。非常に効率的なバイナリ プロトコルを使用してデータベースにアク

3.1 ビッグデータという用語の出現の歴史 ビッグデータという用語は比較的最近登場しました。Google トレンドによると、2011 年以降、このフレーズの使用が活発に増加し始めていることが わかります。 同時に、今では怠け者だけがこの用語を使用しません。特にこの用語はマーケティング担当者によって不適切に使用されることがよくあります。では、ビッグデータとは実際何でしょうか? 問題を体系的に述べて強調することにしたので、概念を定義する必要があります。 私の実践では、さまざまな定

4.1 Hadoop に関する一般情報 MapReduce パラダイムは、2004 年に Google によって「MapReduce: 大規模クラスターでのデータ処理の簡素化」という記事で提案されました。提案された記事にはパラダイムの説明が含まれていましたが、実装が欠落していたため、Yahoo の数名のプログラマーが、Nutch Web クローラーの作業の一部としてその実装を提案しました。Hadoop の歴史の詳細については、記事「Hadoop の歴史: 4 ノードからデータ