mongodb分库配置

测试机配置

SAS 硬盘

16GB内存

千兆网

8 cores cpu

mongodb

版本： 2.2.3

replicaset: 3台物理机

driver：pymongo2.5.2(w=2,safe=True,use_greenlets)

分库前测试结果

之前有测试过mongodb的读写性能对于单条数据比较小的应用场景非常适合读写的吞吐量很不错但是我们的应用场景是单条数会超过1MB 实际测试下来的结果是写锁非常严重吞吐量保持在20qps左右但是mongodb的CPU占用率不到70% 内存占用量在40% - 50% 磁盘IO也未到瓶颈 mongostate 查看状态的时候写锁的比例非常高

给常用查询的字段加索引

开始测试时没有给查询的字段加索引使用explain的结果如下：

    db.users.find({'uid':'123456789'}).explain()
    {
    "cursor" : "BasicCursor",
    "isMultiKey" : false,
    "n" : 0,
    "nscannedObjects" : 2,
    "nscanned" : 2,
    "nscannedObjectsAllPlans" : 2,
    "nscannedAllPlans" : 2,
    "scanAndOrder" : false,
    "indexOnly" : false,
    "nYields" : 0,
    "nChunkSkips" : 0,
    "millis" : 9,
    "indexBounds" : {},
    }

在查询的时候使用的是BasicCursor 没有对查询uid添加索引导致查询时需要遍历所有的ns

添加索引db.users.ensureIndex({'uid':1})后再看查询的解释

 db.users.find({'uid':'123456789'}).explain()
    {
    "cursor" : "BtreeCursor uid_1",
    "isMultiKey" : false,
    "n" : 0,
    "nscannedObjects" : 0,
    "nscanned" : 0,
    "nscannedObjectsAllPlans" : 0,
    "nscannedAllPlans" : 0,
    "scanAndOrder" : false,
    "indexOnly" : false,
    "nYields" : 0,
    "nChunkSkips" : 0,
    "millis" : 0,
    "indexBounds" : {
        "uid" : [
                [
                "123456789",
                "123456789"
            ]
    ]},
    }

添加索引后吞吐有一定的提升但是非常有限我们测试的主要场景是大量的更新操作查看mongostat的结果还是写锁严重

分库

mongodb在2.2后的写锁是数据库级别的所以我们尝试着进行分库在单个replicaset集群上部署多个数据库然后进行测试实际的测试结果为写锁被分散到多个数据库上但是local这个数据库的写锁比例突然上升了很多能到120%+

查看local这个数据库里面存的数据

    switched to db local
    dds:PRIMARY> show collections;
    me
    oplog.rs
    replset.minvalid
    slaves
    system.indexes
    system.replset

上述collections中 me是mongodb的host信息 slaves里面存了secondary和oplog同步的信息 opslog.rs里面记录的是oplog 怀疑是oplog同步导致local写锁比例上升

添加replicaset集群

为了验证上述猜测我们在测试的三台物理机上又搭建了一个replicaset 然后再进行测试结果非常好 local写锁有明显下降吞吐量提高到150qps