课程

6.1 缩写之战：BASE vs. 酸 “在化学中，pH 测量水溶液的相对酸度。pH 范围从 0（强酸性物质）到 14（强碱性物质）；25°C 的纯水的 pH 值为 7，呈中性。 数据工程师用这个比喻来比较数据库的交易可靠性。” 可能的想法是：pH 值越高，即 数据库越接近“碱性”（“BASE”），交易越不可靠。 流行的关系型数据库，如MySQL，就是在ACID的基础上出现的。但是在过去的十年里，所谓的 NoSQL 数据库，在这个名称下结合了几种非常不同类型的数据库，在没有

7.1 为什么需要 我们已经详细讨论了 ACID 的所有属性、它们的用途和用例。如您所见，并非所有数据库都提供 ACID 保证，为了更好的性能而牺牲它们。因此，很可能在您的项目中选择了不提供 ACID 的数据库，并且您可能需要在应用程序端实现一些必要的 ACID 功能。而且，如果您的系统被设计为微服务或某种其他类型的分布式应用程序，那么一个服务中的正常本地事务现在将变成分布式事务——当然，将失去其 ACID 特性，即使数据库每个单独的微服务都是 ACID。 我不想为您提供有关

8.1 交易 ID 它被指定为 XID 或 TxID（如果有区别，请告诉我）。时间戳可以用作 TxID，如果我们想将所有操作恢复到某个时间点，它可以发挥作用。如果时间戳不够精细，可能会出现问题 - 然后事务可以获得相同的 ID。 因此，最可靠的选择是生成唯一的 UUID prod ID。在 Python 中这很容易： >>> import uuid

1.1 NoSQL 数据库的工作原理 NoSQL 数据库使用各种数据模型来访问和操作数据。这些类型的数据库针对需要低延迟和灵活数据模型的数据密集型应用程序进行了优化。所有这一切都是通过放宽对其他类型数据库的典型严格数据一致性要求来实现的。 考虑一个简单的书籍数据库的模式建模示例。 在关系数据库中，书籍条目通常被分成多个部分（或“规范化”）并存储在单独的表中，这些表的关系由主键和外键约束定义。在此示例中，Books表有ISBN、书名和“ISBN”和“Author”Author-

2.1 NoSQL一词的出现 最近，“NoSQL”一词变得非常流行和流行，各种软件解决方案都在这个标志下积极开发和推广。NoSQL 已经成为海量数据、线性可伸缩性、集群、容错、非关系性的代名词。然而，很少有人清楚地了解NoSQL存储是什么，这个词是怎么出现的，它们有什么共同的特点。让我们尝试填补这个空白。 这个词最有趣的地方在于，尽管它在 90 年代末首次使用，但直到 2009 年年中才以现在使用的形式获得了真正的意义。最初，这是一个开放的名称- 由 Carlo Strozz

3.1. 弱酸性 长期以来，数据一致性一直是架构师和开发人员的圣牛。所有关系数据库都提供了某种程度的隔离，要么通过更新锁和阻塞读取，要么通过撤消日志。随着海量信息和分布式系统的出现，很明显，一方面要为它们确保一组事务性操作，另一方面要获得高可用性和快速响应时间是不可能的。 此外，即使更新一条记录也不能保证任何其他用户会立即看到系统中的更改，因为更改可能发生在例如主节点中，并且副本被异步复制到从节点，另一个用户可以使用该从节点作品。在这种情况下，他将在一定时间后看到结果。这就是

4.1 说明 Apache Cassandra是属于 NoSQL 系统类的分布式数据库管理系统，旨在为以哈希形式呈现的庞大数据阵列创建高度可扩展且可靠的存储。 最初，该项目是在 Facebook 的内部开发的，并于 2009 年转移到 Apache 软件基金会的旗下，该组织继续开发该项目。部署基于 Cassandra 的工业解决方案，为 Cisco、IBM、Cloudkick、Reddit、Digg、Rackspace、华为、Netflix、Apple、Instagram、G

5.1 数据分布 让我们考虑如何根据集群节点之间的键分布数据。Cassandra 允许您设置数据分发策略。第一个这样的策略根据 md5 键值分配数据 - 随机分区程序。第二个考虑了密钥本身的位表示 - 序号标记（字节顺序分区程序）。 在大多数情况下，第一种策略具有更多优势，因为您无需担心服务器之间数据的均匀分布等问题。第二种策略在极少数情况下使用，例如，如果需要间隔查询（范围扫描）。重要的是要注意，此策略的选择是在创建集群之前做出的，实际上如果不完全重新加载数据就无法更改。

1.1 什么是分片？ 如果你坚持谷歌，原来所谓的分区和所谓的分片之间有一个相当模糊的界限。大家随便叫什么就叫什么。有些人区分水平分区和分片。其他人说分片是某种水平分区。 我没有找到一个单一的术语标准可以得到创始人的批准和 ISO 的认证。个人内心的信念大概是这样的：平均划分就是按照任意的方式“把基数切成块”。 垂直分区- 按列。例如，有一个巨大的表，其中包含 60 列中的数十亿条记录。我们没有保留一个这样的巨型表，而是保留了至少 60 个每个有 20 亿条记录的巨型表——这不

如何进行选择，将一个表中的十亿条记录加入另一个表中的十亿条记录？

3.1 大数据一词的出现历史 大数据这个词出现的时间相对较晚。谷歌趋势显示自 2011 年以来该短语的使用开始积极增长： 同时，现在只有懒人不使用这个词了。尤其是，营销人员经常不恰当地使用该术语。那么大数据究竟是什么？由于我决定系统地陈述和突出这个问题，因此有必要定义这个概念。 在我的实践中，我遇到了不同的定义： 大数据是指超过 100GB 的数据（500GB、1TB，任何你喜欢的）。 大数据是无法在 Excel 中处理的数据。 大数据是无法在单台计算机上处理的数据。 甚至这

4.1 Hadoop 概况 MapReduce 范式由 Google 于 2004 年在其文章MapReduce: Simplified Data Processing on Large Clusters中提出。由于提议的文章包含范例的描述，但缺少实现，雅虎的几位程序员提议将他们的实现作为 nutch 网络爬虫工作的一部分。您可以在 Hadoop 的历史：从 4 个节点到数据的未来一文中阅读有关 Hadoop 历史的更多信息。 最初，Hadoop 主要是一种用于存储数据和运行