MongoDB全入门——开发者认证考试准备

基础

1. Bson

BSon是MongoDB的基本数据储存格式。
二进制的Json数据，同Json一样，支持将文档和数组嵌入其他文档和数组中，Bson包含扩展名，允许表示不属于Json规范的数据格式，如日期类型和BinData类型等。

2. JavaScript

熟悉基本的JavaScript语法。如批量插入一些测试数据到MongoDB中：

> show dbs
admin   0.000GB
config  0.000GB
local   0.000GB
test    0.485GB

> use test
switched to db test

> db.test.count()
0

> for (i=0; i<100; i++){db.test.insertOne({"num":i})}
{
    "acknowledged" : true,
    "insertedId" : ObjectId("5e3cf9266cb880389a894629")
}

> db.test.count()
100

3. 垂直和水平扩展

理解数据库的垂直分片和水平分片分别是指什么、应用场景、注意事项。
垂直扩展涉及增加单个服务器的容量，例如使用功能更强大的CPU，添加更多RAM或增加存储空间量。垂直扩展是存在一个实际的最大值的。

水平扩展涉及划分系统数据集并在多台服务器上加载，并添加其他服务器以根据需要增加容量。扩展部署的容量仅需要根据需要添加其他服务器，这可以比单台机器的高端硬件降低总体成本。折衷方案是增加基础结构和部署维护的复杂性。

MongoDB是通过分片支持水平拓展的。

4. MongoDB与关系型数据库MySQL的差异

MySQL将数据储存在表中，使用结构化语言SQL进行查询，通常的查询需要使用外键将多个表进行联接合并获取最终结果。MySQL需要预定义好表结构。
MongoDB是NoSQL数据库，将数据存储为类似JSON的文档BSON中，使用MongoDB查询语言（MQL）进行访问。字段类型及数量因文档而异，无需预先定义和束缚。它更适合处理高度多样化且大规模的数据类型。在开发中也不需要使用相对复杂的ORM映射层，返回Json数据格式对开发人员更加友好，其扩展性更加强大和容易。

SQL中术语与MongoDB术语对应名称参考:

SQL	MongoDB
database	database
table	collection
row	docment
column	field
index	index
table join	$lookup
primary key(Specify any unique column)	primary key(automatically set to the _id field)
...	...

MongoDB一个文档的结构示例：

{
  _id: ObjectId("509a8fb2f3f4948bd2f983a0"),
  user_id: "abc123",
  age: 55,
  status: 'A'
}

CURD操作

在CURD操作前，需要先了解几个简单的命令：
show dbs:查看当前数据库
use <db_name>: 切换到指定数据库
show collections: 显示当前数据库下集合
db: 变量db指向当前使用的数据库名

1. 了解_id字段与ObjectId类型

如果没有特别指明_id字段类型，MongoDB会为每个插入的文档默认会生成一个_id字段，其数据格式为ObjectId，该字段是自动为每个文档生成的唯一标识id字段，且MongoDB会自动为_id字段创建唯一索引。

示例：ObjectId("507f191e810c19729de860ea")
ObjectId是由3个部分组成以确保它的唯一性：

• 时间戳：4个字节的时间戳值
• 随机值：5个字节的随机值
• 计数器: 3个字节的递增计数器，初始化值为随机值

在Mongo shell可使用如下方式获取一个新的ObjectId：

> var x=ObjectId()
> x
ObjectId("5e3d0df76cb880389a894631")

2. C:新增文档

• inserOne()

db.collection.insertOne({"name": "越大大雨天", "gender": 1})

• insertMany()
  批量插入多条个数据

db.collection.insertMany([{"name": "越大大雨天", "gender": 1}, {"name": "小雨", "gender": 0, "age": 25}])

• replaceOne()
  将符合querry条件的文档替换为指定文档：

• upsert参数
  update时使用，可以自动做到有则更新，无则创建的逻辑。

db.foo.update( { a : 5, b : { \$lte : 7 } }, { $set : { c : 8 } }, { upsert : true } )

针对将foo集合中a等于5，b大于等于7的文档，若存在，则添加字段c等于8，若不存在，则创建新文档{a: 5, c: 8}

• findAndModify()
  修改并返回单个文档,upsert为true时，不存在则插入。

db.people.findAndModify({
    query: { name: "Andy" },
    sort: { rating: 1 },
    update: { $inc: { score: 1 } },
    upsert: true
})

3. R:查询文档

db.collection.find()

• 比较运算符

比较符	含义
$gte	大于等于
$gt	大于
$lte	小于等于
$lt	小于

查询字段"count"字段值大于等于4的所有结果：

 db.collection.find( { count: { $gte: 4 } } )

• 元素运算符
  $in:查询字段元素在指定数组内的所有文档

db.collection.find({"status": {"$in": ["A", "D"]}})

$exists:查找存在指定字段的所有文档

db.bios.find( {
   birth: { \$gt: new Date('1920-01-01') },
   death: { $exists: false }
} )

$all：查询数组字段全部包含指定数组元素的所有文档

db.bios.find( { contribs: { $all: [ "ALGOL", "Lisp" ] } } )

$size：查询数组字段长度为指定值的所有文档

db.bios.find( { contribs: { $size: 4 } } )

elemmatch: 要求数组中每一个元素都符合多个条件才返回

db.bios.find( {"x": {"$elemMatch": {"$gte": 10, "$lt": 20}}} )

• 正则运算符

db.bios.find( { name: /^Wan?/} )

• 逻辑运算符
  $and, $or

db.collection.find($or:[{"num": 1207}, {"winner": true}])

• 投影
  对查询结果保留指定字段

db.bios.find(
{ contribs: 'OOP' },  
{ "_id":0, 'name.first': 1, birth: 1 }
)

5. 游标：cursor

使用find进行查询时，返回的结果是一个游标，需要进行手动迭代才能得到全部数据。在Python中使用程序查询得到也是一个生成器对象。

var myCursor = db.users.find( { type: 2 } );

while (myCursor.hasNext()) {
   print(tojson(myCursor.next()));
}

/*或者如下方式迭代*/
myCursor.forEach(printjson);

/*或者如下方式转换为列表*/
var documentArray = myCursor.toArray();

使用如下方式获取集合数量不会返回游标：

db.collection.count()
db.collection.distinct()

游标对象也可应用的一些方法：

• 排序：cursor.sort()
• 限制返回数量：cursor.limit()
• 跳过开头：cursor.skip()
• 返回下一个：cursor.next()

6. U：更新文档

db.collection.update()
db.collection.updateMany()

• 更新运算符
  $inc, $set, $unset, $pull, $pop

比较符	含义
$inc	递增字段值
$set	更新指定字段，不存在则创建该字段
$unset	移除指定字段

db.books.update(
   { _id: 1 },
   {
     $inc: { stock: 5 },
     $set: {
       item: "ABC123",
       "info.publisher": "2222",
       "ratings.1": { by: "xyz", rating: 3 }},
     $unset: { tags: 1 }
   }
)

• 数组修改器
  $push: 向数组增加元素
  $addToSet: 避免向数组插入重复的值，通常和pull：删除数组中元素$each`: 指定数组，可一次向数组中添加多个值

向数组中添加指定元素：

db.books.update(
   { _id: 2 },
   {
     $push: { ratings: { "by" : "jkl", "rating" : 2 } }
   }
)

将数组中的每个元素添加到hourly数组中：

db.books.update(
   { _id: 2 },
   {
     $push: { hourly: {$each:[522, 562, 559]}
   }
)

将数组中的每个元素添加到hourly数组中，但只会添加非重复元素：

db.books.update(
   { _id: 2 },
   {
     $addToSet: { hourly: {$each:[522, 562, 559]}
   }
)

• upsert=True
  前文已做讲解，更新时若指定upsert=True, 则会存在两种执行可能性，若存在查询的文档则正常执行更新操作，若不存在该文档，则会插入新文档。

db.user.update({"rep":  25}, {$inc: {rep: 3}}, upsert=true)

• $setOnInsert
  一个特殊的运算符，只会在创建文档的时候为指定字段赋值，在之后的更新操作中值都不会改变，通常搭配着upsert=true一起使用。
  例如：可为每个文档创建时间字段，且后续不会改变：

db.user.update({}, {$setOnInsert:{"createAt": new Date()}}, upsert=true)

• $pull, $pop
  删除数组元素
  $pull：删除指定元素
  $pop：删除数组开头或末尾一个元素

删除数组todo中的"laundry"元素：

db.lists.update({}, $pull:{"todo": "laundry"})

删除数组todo中末尾元素

db.lists.update({}, $pop:{"todo": 1})

{$pop:{"key":-1}}则从数组头部删除一个元素。

7.D:删除文档

db.collection.remove()

删除所有符合条件的文档：

db.products.remove( { qty: { $gt: 20 } } )

仅删除匹配到的第一个文档：

db.products.remove( { qty: { $gt: 20 } , justOne=true} )

• drop():删除集合
  删除students集合：

db.students.drop()

Index：索引

从根本上来说，MongoDB的索引也类似于其他数据库系统的索引。查询时利用索引可以直接定位到数据所在位置进行返回甚至利用索引完成排序，可以极大的提高结果返回速度。若查询条件不存在索引可用，MongoDB将不得不每次遍历全部的数据后返回我们的结果。

下图说明了使用索引选择和排序匹配文档的查询：

利用索引进行查询和排序

在创建集合期间，MongoDB 会在_id字段上 创建唯一索引。该索引可防止客户端插入两个具有相同值的文档。

具体的索引使用原则及使用规则可自行查看官方文档学习。

1. 创建索引

除默认的_id字段之外，我们可能需要在经常作为查询条件的字段上手动创建索引以提高查询效率。

• 单键索引

/* 1代表该索引按升序排序，-1则为降序 */
db.test.createIndex({"city": 1})

• 复合索引

/* 1代表该索引按升序排序，-1则为降序 */
db.test.createIndex({"city": 1, "county": -1})

在使用复合索引时，需要理解覆盖索引与隐式索引的概念，一般来说，复合索引对查询的支持是顺序包含的，比如如下的复合索引相当于同时覆盖了：{{"city": 1, "county": 1}、{"city": 1}两个索引，但却并不能覆盖{"county": 1, "code": 1}、{"code": 1}等非前缀顺序的索引。

{"city": 1, "county": 1, "code": 1}

• 为嵌入式文档创建索引
  若集合中文档存在嵌入式文档，且需要创建索引,只需要使用.定位到嵌入式字段名即可：

db.records.createIndex( { "location.state": 1 } )

• 唯一索引
  若还需要利用索引保证某一字段值的唯一性，可以为该字段创建唯一索引，创建唯一索引后，重复该字段值的文档将不能插入：

db.test.createIndex({"city": 1}, {"unique": true})

也可创建复合索引为唯一索引：

db.test.createIndex({"city": 1, "country": -1}, {"unique":true})

• 全文本索引
  MongoDB提供全文本索引以支持对字符串内容的文本搜索查询， MongoDB的text索引对大小写不敏感。
  一个集合最多可以有一个 text索引。
  为评论字段创建文本索引：

db.reviews.createIndex( { comments: "text" } )

对全文本索引字段的查询方法如下：

db.reviews.find( { $text : { $search : "fact find" } } )

全文本索引的成本比普通索引成本更高，且对写入性能的影响更大。
使用全文本索引进行查询时，将会返回查询条件中的每一个单词或部分或全部包含的结果。

• 稀疏索引(sparse index)
  由于唯一索引会把null也看做值，而不存在的字段默认会有null值，因此如果创建唯一索引后，将不允许插入多个不存在唯一索引字段的文档, 这一般来说不是我们想要的。
  在创建唯一索引时，可以再指定sparse=true将忽略不存在的字段，即忽略null值。
  使用稀疏索引示例：

db.test.createIndex({"email": 1}, {"unique": true, "sparse": true})

• TTL索引(time-to-live index)
  TTL索引是一种特殊的单字段索引，MongoDB可使用TTL索引在一定时间后或在特定时钟时间自动从集合中删除文档。
  在日期格式的字段上添加TTL索引，设定过期时间，MongoDB将会60秒对索引进行检查，若当前机器时间与字段时间差超过了索引的过期时间，MongoDB将会自动删除该文档。

对lastModifiedDate字段创建过期时间为3600秒的TTL索引示例：

db.eventlog.createIndex( { "lastModifiedDate": 1 }, { expireAfterSeconds: 3600 } )

TTL索引仍然支持在该字段上的索引查询。

2. 查询索引

使用以下命令可查询当前集合已存在的索引：

> db.test.getIndexes()
[
    {
        "v" : 2,
        "key" : {
            "_id" : 1
        },
        "name" : "_id_",
        "ns" : "test.test"
    },
    {
        "v" : 2,
        "key" : {
            "city" : 1
        },
        "name" : "city_1",
        "ns" : "test.test"
    },
    {
        "v" : 2,
        "key" : {
            "city" : 1,
            "country" : -1
        },
        "name" : "city_1_country_-1",
        "ns" : "test.test"
    }
]

查询结果表示当前集合test存在三个索引：

1. _id:1,MongoDB自动创建的_id唯一索引
2. city:1,city字段的单键索引，按升序排列
3. city:1,county:-1,city和county两个字段组成的复合索引，按city升序、county降序排列

3. explain解释查询

可使用explain来查看一个查询cursor游标遍历的文档数、使用的索引、耗时等信息，帮助我们优化查询。MongoDB查询优化器会根据可用索引选择并缓存最有效的查询计划。
你也可以使用hint强制MongoDB使用指定的索引进行查询，虽然这不一定有什么用...
找到winningPlan部分，查看最终获胜的查询计划详细信息。

> db.test.find({"city":"San Diego"}).explain()
{
    "queryPlanner" : {
        "plannerVersion" : 1,
        "namespace" : "test.test",
        "indexFilterSet" : false,
        "parsedQuery" : {
            "city" : {
                "$eq" : "San Diego"
            }
        },
        "queryHash" : "0491F17A",
        "planCacheKey" : "DD7C864F",
        "winningPlan" : {
            "stage" : "FETCH",
            "inputStage" : {
                "stage" : "IXSCAN",
                "keyPattern" : {
                    "city" : 1
                },
                "indexName" : "city_1",
                "isMultiKey" : false,
                "multiKeyPaths" : {
                    "city" : [ ]
                },
                "isUnique" : false,
                "isSparse" : false,
                "isPartial" : false,
                "indexVersion" : 2,
                "direction" : "forward",
                "indexBounds" : {
                    "city" : [
                        "[\"San Diego\", \"San Diego\"]"
                    ]
                }
            }
        },
        "rejectedPlans" : [
            {
                "stage" : "FETCH",
                "inputStage" : {
                    "stage" : "IXSCAN",
                    "keyPattern" : {
                        "city" : 1,
                        "country" : -1
                    },
                    "indexName" : "city_1_country_-1",
                    "isMultiKey" : false,
                    "multiKeyPaths" : {
                        "city" : [ ],
                        "country" : [ ]
                    },
                    "isUnique" : false,
                    "isSparse" : false,
                    "isPartial" : false,
                    "indexVersion" : 2,
                    "direction" : "forward",
                    "indexBounds" : {
                        "city" : [
                            "[\"San Diego\", \"San Diego\"]"
                        ],
                        "country" : [
                            "[MaxKey, MinKey]"
                        ]
                    }
                }
            }
        ]
    },
    "serverInfo" : {
        "host" : "aYue-MacBook-Pro.local",
        "port" : 27017,
        "version" : "4.2.1",
        "gitVersion" : "edf6d45851c0b9ee15548f0f847df141764a317e"
    },
    "ok" : 1
}

如果需要获取查询耗时、查询遍历的文档数，则可以使用如下executionStats解释模式：

db.test.find({"city":"San Diego"}).explain("executionStats")

访问官方文档了解每个explain输出字段具体含义：https://docs.mongodb.com/manual/reference/explain-results/

4.索引对性能的影响

索引通常会提高读取性能，但会降低写入性能。诸如更新和删除之类的混合操作，可能取决于用例（尽管使用索引通常更快）。
集合写入数据时，将会维护更改索引，索引越多，相对更多的降低写入性能。
索引需要加载到内存中读取， 因此如果索引过多过大超出机器可用的RAM时，MongoDB将会在磁盘中加载索引，大大降低查询效率。
因此，在创建索引时需要综合考虑实际情况，创建性价比更高的索引或复合索引。

聚合:Aggregation

pass

复制集:Replication

1. 基本介绍

副本集提供冗余和高可用性，并且是所有生产部署的基础。复制可提供一定程度的容错能力，以防止丢失单个数据库服务器。

客户端读写操作

在学习复制集时，需要先清除几个名词概念：

• Arbiter(仲裁器)
  一个复制集需要奇数个服务器构成，在某些服务器成本的限制，你可以使用一个低性能的服务器实例作为一个仲裁器添加到复制集中：

  
  仲裁器
  

  仲裁器可以参加投票选举，但是本身不能保存副本数据，也不能成为主节点。

• Delayed(延迟)
  所有写入都是先写入到Primary主节点的，数据从主节点复制操作日志到Secondary从节点中执行所花费的时间是复制滞后的。
• votes(投票数)
  当主节点与其他从成员之间的通行延迟超过electionTimeoutMillis配置的时间（默认为10秒）时，会触发自动故障转移，合格的从节点将会投票选举出新的主节点，为集群恢复读写操作。
• priority(优先级)
  可以为Secondary从节点设置优先级，若指定某个从节点的优先级为priority=0，则该节点永远不会被选举为主节点。

2. 启动副本集

分片:Sharding

pass