課堂

1.1 什麼是分片？ 如果你堅持谷歌，原來所謂的分區和所謂的分片之間有一個相當模糊的界限。大家隨便叫什麼就叫什麼。有些人區分水平分區和分片。其他人說分片是某種水平分區。 我沒有找到一個單一的術語標準可以得到創始人的批准和 ISO 的認證。個人內心的信念大概是這樣的：平均劃分就是按照任意的方式“把基數切成塊”。 垂直分區- 按列。例如，有一個巨大的表，其中包含 60 列中的數十億條記錄。我們保留至少 60 個 20 億條記錄的巨型表，而不是保留一個這樣的巨型表——這不是列基，而

如何進行選擇，將一個表中的十億條記錄加入另一個表中的十億條記錄？

3.1 大數據一詞的出現歷史 大數據這個詞出現的時間相對較晚。谷歌趨勢顯示自 2011 年以來該短語的使用開始積極增長： 同時，現在只有懶人不使用這個詞。特別是，營銷人員經常不恰當地使用該術語。那麼大數據究竟是什麼？由於我決定係統地陳述和突出這個問題，因此有必要定義這個概念。 在我的實踐中，我遇到了不同的定義： 大數據是指超過 100GB 的數據（500GB、1TB，任何你喜歡的）。 大數據是無法在 Excel 中處理的數據。 大數據是無法在單台計算機上處理的數據。 甚至這些

4.1 Hadoop 概況 MapReduce 範式由 Google 於 2004 年在其文章MapReduce: Simplified Data Processing on Large Clusters中提出。由於提議的文章包含範例的描述，但缺少實現，雅虎的幾位程序員提議將他們的實現作為 nutch 網絡爬蟲工作的一部分。您可以在 Hadoop 的歷史：從 4 個節點到數據的未來一文中閱讀有關 Hadoop 歷史的更多信息。 最初，Hadoop 主要是一種用於存儲數據和運行

5.1 僅映射作業 現在是時候描述各種技術，使您能夠有效地使用 MapReduce 解決實際問題，並展示 Hadoop 的一些功能，這些功能可以簡化開發或顯著加快 MapReduce 任務在集群上的執行速度。 我們記得，MapReduce 由 Map、Shuffle 和 Reduce 階段組成。通常，Shuffle 階段在實際任務中是最困難的，因為數據是在這個階段排序的。事實上，有許多任務可以單獨免除 Map 階段。以下是此類任務的示例： 數據過濾（例如Web服務器日誌中的“

開始使用 Hbase 的最簡單方法是使用 hbase shell 實用程序。它在任何 hbase 集群節點上安裝 hbase 後立即可用。