首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 数据库 > 其他数据库 >

MongoDB权威指南(四)- 索引

2012-08-17 
MongoDB权威指南(4)- 索引Note:mongoDB的索引的工作方式和关系数据库中的索引几乎是一样的。1.索引简介假设

MongoDB权威指南(4)- 索引

Note:mongoDB的索引的工作方式和关系数据库中的索引几乎是一样的。

1.索引简介

假设我们要按单个key查询,如下:

>?db.people.find({"username"?:?"mark"})

对单个的key进行查询的时候,我们可以在这个key上建立索引来提高查询速度。使用ensureIndex方法建立索引如下:

>?db.people.ensureIndex({"username"?:?1})

一个索引只需创建一次,重复创建相同的索引没有任何效果。

一个key上建立的索引会使对这个key的查询速度提高,除此之外就没有效果了,即使是查询包含这个key,如:

>?db.people.find({"date"?: date1}).sort({"date"?:?1,?"username"?:?1})

这个查询里,服务器必须遍历整个collction来找到日期符合的记录,这个过程叫做table scan(全表扫描),一般情况下你都会尽量避免

table scan,因为它对大型的collection运行非常缓慢。作为一条经验规则,你需要给它创建一个索引,包含了查询中用到的所有key的一个索引。

>?db.ensureIndex({"date"?:?1,?"username"?:?1})

传递给ensureIndex方法的document参数和sort方法的参数是一样的,它是一组key/value对,值可能是1或-1,代表索引进行的方向。

如果索引里只有一个key,方向就无所谓了,如果索引里有多个key,那么你就得考虑索引的方向问题。假设我们有下边的一些用户:

{?"_id"?: ...,?"username"?:?"smith",?"age"?:?48,?"user_id"?:?0?}
{?"_id"?: ...,?"username"?:?"smith",?"age"?:?30,?"user_id"?:?1?}
{?"_id"?: ...,?"username"?:?"john",?"age"?:?36,?"user_id"?:?2?}
{?"_id"?: ...,?"username"?:?"john",?"age"?:?18,?"user_id"?:?3?}
{?"_id"?: ...,?"username"?:?"joe",?"age"?:?36,?"user_id"?:?4?}
{?"_id"?: ...,?"username"?:?"john",?"age"?:?7,?"user_id"?:?5?}
{?"_id"?: ...,?"username"?:?"simon",?"age"?:?3,?"user_id"?:?6?}
{?"_id"?: ...,?"username"?:?"joe",?"age"?:?27,?"user_id"?:?7?}
{?"_id"?: ...,?"username"?:?"jacob",?"age"?:?17,?"user_id"?:?8?}
{?"_id"?: ...,?"username"?:?"sally",?"age"?:?52,?"user_id"?:?9?}
{?"_id"?: ...,?"username"?:?"simon",?"age"?:?59,?"user_id"?:?10?}

如果我们建立索引{"username" : 1, "age" : -1},mongoDB就会按下边的样子组织用户:

{?"_id"?: ...,?"username"?:?"jacob",?"age"?:?17,?"user_id"?:?8?}
{?"_id"?: ...,?"username"?:?"joe",?"age"?:?36,?"user_id"?:?4?}
{?"_id"?: ...,?"username"?:?"joe",?"age"?:?27,?"user_id"?:?7?}
{?"_id"?: ...,?"username"?:?"john",?"age"?:?36,?"user_id"?:?2?}
{?"_id"?: ...,?"username"?:?"john",?"age"?:?18,?"user_id"?:?3?}
{?"_id"?: ...,?"username"?:?"john",?"age"?:?7,?"user_id"?:?5?}
{?"_id"?: ...,?"username"?:?"sally",?"age"?:?52,?"user_id"?:?9?}
{?"_id"?: ...,?"username"?:?"simon",?"age"?:?59,?"user_id"?:?10?}
{?"_id"?: ...,?"username"?:?"simon",?"age"?:?3,?"user_id"?:?6?}
{?"_id"?: ...,?"username"?:?"smith",?"age"?:?48,?"user_id"?:?0?}
{?"_id"?: ...,?"username"?:?"smith",?"age"?:?30,?"user_id"?:?1?}

首先按名字的升序排列,名字相同的组里按降序排列。这索引会优化按{"username" : 1, "age" :-1}的排序操作,而对{"username" : 1, "age" : 1}

的排序效果就没那么好了,如果我们想优化{"username" : 1, "age" : 1},那就应该按{"username" : 1, "age" : 1}来建立索引,让年龄也升序排列。

对username和age建立的索引同时也会是对username的查询速度提高,通常,如果索引有N个key组成,对其中前边部分的查询速度也会提高。

例如,我们建立了索引{"a" : 1, "b" : 1, "c" : 1, ..., "z" : 1},那么效果上相当于我们也有了{"a" : 1}, {"a" : 1, "b" : 1}, {"a" : 1, "b" : 1, "c" :1}等等。

mongoDB的查询优化器会调整查询条件之间的顺序以利用索引,比如说你要查询{"x" : "foo", "y" : "bar"},而你的索引是{"y" : 1, "x" :1},优化器会自行调整。

索引的不利之处是给插入、更新、删除操作增添了一些负担。

在某些情况下,使用索引也许还不如不用索引。通常,如果查询返回collection里一半甚至更多的记录,那么相比为几乎每个document查找索引及其值,直接使用

全表扫描还更快些。

索引度量? (Scaling Index)

假设我们有个collection存储用户的状态消息,我们想按用户查询每个用户的最新状态,根据我们学到的知识,我们可能会这样建立索引:

>?db.status.ensureIndex({user :?1, date :?-1})

这个索引会使对user和date的查询速度提高,但实际上并不是最好的选择。按照这个索引,我们的数据可能是下边这个样子:

User?123?on March?13,?2010
User?123?on March?12,?2010
User?123?on March?11,?2010
User?123?on March?5,?2010
User?123?on March?4,?2010
User?124?on March?12,?2010
User?124?on March?11,?2010
...

如果只是这个数据规模,这样子看起来还是不错的,如果程序里有百万千万的用户,每个用户每天都会产生几十条状态更新呢?

如果每个用户的状态消息的索引记录都占用了磁盘空间一页的大小,那么每次进行最新状态查询时,数据都不得不加载另外一个页面进内存。

要是我们使用{date : -1, user : 1}做索引,那么数据库就可以将最近几天的索引保持在内存里,会有更少的页面对换,查询最新状态

也会更快。

对嵌入document的key建立索引

>?db.blog.ensureIndex({"comments.date"?:?1})

对嵌入的document建立索引和对顶级document建立索引没有差别,两者在组合索引里也可以组合使用。

为排序建立索引

如果对一个未建立索引的key调用sort方法,mongoDB需要取出所有的数据,放入内存然后排序,所以这个大小是有限制的,

如果collection太大,mongoDB就会返回一个错误。建立索引可以避免这个问题,使你可以对任意数量的数据进行排序而不会耗尽内存。

2.唯一索引?

唯一索引保证对于指定的key,collection里每个document中其值都是唯一的。如,要保证用户名都不重复:

>?db.people.ensureIndex({"username"?:?1}, {"unique"?:?true})

Note:如果key不存在,索引就会将其值存储为null,如果要再插入一个不含此key的document,插入就会失败,因为已经有了一个

值为null的document。

删除重复

对已有的collection建立唯一索引时,里边也许已经有了重复的值,这会导致索引建立失败,如果你想删掉具有重复值的document,

可以使用dropDups选项,遇到的第一个document被保留,其他的都被删除掉了。

>?db.people.ensureIndex({"username"?:?1}, {"unique"?:?true,?"dropDups"?:?true})

组合唯一索引

组合唯一索引里的单个key的值可以是重复的,但是所有key的组合必须是唯一的。

3.使用explain和hint

>?db.foo.find().explain()

explain方法返回一个document而不是游标本身,这个document包含了用到的索引、统计信息等。

举个例子,对一个无索引的collection执行一个最简单的查询({}),返回64个document,那么explain的输出为

>?db.people.find().explain()
{
  "cursor"?:?"BasicCursor",
  "indexBounds"?: [ ],
  "nscanned"?:?64,
  "nscannedObjects"?:?64,
  "n"?:?64,
  "millis"?:?0,
  "allPlans"?: [
  {
    "cursor"?:?"BasicCursor",
    "indexBounds"?: [ ]
  }
  ]

}
  • "cursor" : "BasicCursor"意思是查询没有使用索引
  • "nscanned" : 64
    数据库扫描过的document数量
  • "n"?:?64
    返回的结果集的document数量
  • "millis"?:?0
    数据库执行查询消耗的毫秒数

    现在我们看个稍微复杂点的例子,假设我们在age键上建立了索引,我们要查询年龄为20多岁的用户。

    >?db.c.find({age : {$gt :?20, $lt :?30}}).explain()
    {
      "cursor"?:?"BtreeCursor age_1",
      "indexBounds"?: [
        [{"age"?:?20},{"age"?:?30}]
      ],
      "nscanned"?:?14,
      "nscannedObjects"?:?12,
      "n"?:?12,
      "millis"?:?1,
      "allPlans"?: [
        {
        "cursor"?:?"BtreeCursor age_1",
        "indexBounds"?: [
          [{"age"?:?20},{"age"?:?30}]
        ]
      }
      ]
    }
    • "cursor" : "BtreeCursor age_1"这次不是BasicCursor了,索引是存储在B-Tree的数据结构里,这个查询使用了索引,它是使用了B-Tree类型的游标。age_1是索引的名字,有了这个名字我们就可以查询system.indexes collection,获取关于此索引的更多信息。
      >?db.system.indexes.find({"ns"?:?"test.c",?"name"?:?"age_1"})
      {
        "_id"?: ObjectId("4c0d211478b4eaaf7fb28565"),
        "ns"?:?"test.c",
        "key"?: {
          "age"?:?1
        },
        "name"?:?"age_1"
      }
    • "allPlans" : [ ... ]
      列出了此查询可用的所有的计划。如果我们有多个索引和更加复杂的查询,"allPlans"就会包含所有可能的计划。

      让我们看个更复杂点的查询例子,假设我们有一个索引{"username" : 1, "age" : 1}和一个索引{"age" : 1, "username" : 1},那么当我们

      查询username和age的时候会发生什么事?实际上这样要依赖于查询。

      >?db.c.find({age : {$gt :?10}, username :?"sally"}).explain()
      {
        "cursor"?:?"BtreeCursor username_1_age_1",
        "indexBounds"?: [
          [
            {
              "username"?:?"sally",
              "age"?:?10
            },
            {
              "username"?:?"sally",
              "age"?:?1.7976931348623157e+308
            }
          ]
        ],
        "nscanned"?:?13,
        "nscannedObjects"?:?13,
        "n"?:?13,
        "millis"?:?5,
        "allPlans"?: [
          {
            "cursor"?:?"BtreeCursor username_1_age_1",
            "indexBounds"?: [
              [
                {
                  "username"?:?"sally",
                  "age"?:?10
                },
                {
                  "username"?:?"sally",
                  "age"?:?1.7976931348623157e+308
                }
              ]
            ]
          }
        ],
        "oldPlan"?: {
          "cursor"?:?"BtreeCursor username_1_age_1",
          "indexBounds"?: [
            [
              {
                "username" : "sally",
                "age" : 10
              },
              {
                "username" : "sally",
                "age" : 1.7976931348623157e+308
              }
            ]
          ]
        }
      }

      由于当我们查询的是一个确定的username值和一个age范围值,所以数据库使用的是{"username" : 1, "age" : 1}这个索引,

      反过来,如果我们查询的是一个确定的年龄和名字范围,那么数据库就会使用另外的那个索引

      >?db.c.find({"age"?:?14,?"username"?:?/.*/}).explain()
      {
        "cursor"?:?"BtreeCursor age_1_username_1 multi",
        "indexBounds"?: [
          [
            {
              "age"?:?14,
              "username"?:?""
            },
            {
              "age"?:?14,
              "username"?: {
              }
            }
          ],
          [
            {
              "age"?:?14,
              "username"?:?/.*/
            },
            {
              "age"?:?14,
              "username"?:?/.*/
            }
          ]
        ],
        "nscanned"?:?2,
        "nscannedObjects"?:?2,
        "n"?:?2,
        "millis"?:?2,
        "allPlans"?: [
          {
            "cursor"?:?"BtreeCursor age_1_username_1 multi",
            "indexBounds"?: [
              [
                {
                  "age"?:?14,
                  "username"?:?""
                },
                {
                  "age"?:?14,
                  "username"?: {
                  }
                }
              ],
              [
                {
                  "age"?:?14,
                  "username"?:?/.*/
                },
                {
                  "age"?:?14,
                  "username"?:?/.*/
                }
              ]
            ]
          }
        ]
      }

      如果你发现数据库使用的不是你想用的索引,那么你可以使用hint强制数据库使用你指定的索引。

      >?db.c.find({"age"?:?14,?"username"?:?/.*/}).hint({"username"?:?1,?"age"?:?1})

      指定索引通常是没有必要的,mongoDB有自己的查询优化器,会很聪明地选择使用哪个索引,你只需要关心的是优化器有可用的索引以备选择。

      4.索引管理

      每个database都有个叫system.indexes的collection,它里边存储了索引的元数据信息,这个collection是保留的,不能进行插入或删除,

      只能通过ensureIndex和dropIndexes命令来操作里边的document。system.indexes里包含了每个索引的详细信息,另外还有个叫

      system.namespaces的collection列出了索引的名字。查看这collection可以看到,每个collection至少有两条记录,一个是collection本身,

      另外的是collection里的每个索引。

      建立索引是个耗时耗资源的操作,如果collection的数据量很大,你可以指定background选项来在后台进行工作。

      >?db.people.ensureIndex({"username"?:?1}, {"background"?:?true})

      如果没有使用background选项的话,database就会阻塞所有的请求,知道索引建立完成。

      如果你不在需要某个索引,你可以用dropIndexes命令移除它,你可能得先在system.indexes里找到索引的名字,因为各种驱动自动生成

      的索引名字各不一样。

      >?db.runCommand({"dropIndexes"?:?"foo",?"index"?:?"alphabet"})

      使用*删除collection的所有的索引

      >?db.runCommand({"dropIndexes"?:?"foo",?"index"?:?"*"})

      ?

      5.地理空间索引

      在ensureIndex方法中使用"2d"做参数而不是1或者-1,建立空间索引

      >?db.map.ensureIndex({"gps"?:?"2d"})

      gps这个key的值必须是某种成对的值,一个包含两个元素的数组,或者一个有两个key的嵌入的document,下边的例子都是可以的

      {?"gps"?: [?0,?100?] }
      {?"gps"?: {?"x"?:?-30,?"y"?:?30?} }
      {?"gps"?: {?"latitude"?:?-180,?"longitude"?:?180?} }

      嵌入的document里边key的名字是任意的,它们的值缺省是从-180到180,方便使用经纬度,如果你要使用其他的单位,可以指定

      最大值和最小值

      >?db.star.trek.ensureIndex({"light-years"?:?"2d"}, {"min"?:?-1000,?"max"?:?1000})

      地理空间索引可以通过两种方式来使用,一是普通的find查询,另外是作为数据库命令。

      ?> db.map.find({"gps" : {"$near" : [40, -73]}}).limit(10)

      和下边的使用geoNear命令进行的查询等价

      >?db.runCommand({geoNear :?"map", near : [40,?-73], num :?10});

      mongoDB还允许你使用一个shape来查找document,为了查找shape里所有的点,我们可以使用"$within"条件操作符,使用"$box"

      定义一个矩形

      >?db.map.find({"gps"?: {"$within"?: {"$box"?: [[10,?20], [15,?30]]}}})

      "$box"的值是含两个元素的数组,第一个是左边的Y值小的顶点,第二个是右边的Y值大的顶点。(大概就是这个意思,因为一般地理坐标系统

      中,Y轴是向上的,而我们的屏幕坐标中,原点在左上角,Y轴是向下的,数据库里仅仅是数据)

      同样,你也可以找到一个圆里边的所有点,$center的第一个元素是圆心,第二个元素是半径

      >?db.map.find({"gps"?: {"$within"?: {"$center"?: [[12,?25],?5]}}})

      组合空间索引

      >?db.ensureIndex({"location"?:?"2d",?"desc"?:?1})

      如果你要查询最近的咖啡馆

      >?db.map.find({"location"?: {"$near"?: [-70,?30]},?"desc"?:?"coffeeshop"}).limit(1)
      {
        "_id"?: ObjectId("4c0d1348928a815a720a0000"),
        "name"?:?"Mud",
        "location"?: [x, y],
        "desc"?: ["coffee",?"coffeeshop",?"muffins",?"espresso"]
      }来源:http://www.open-open.com/lib/view/open1328162180984.html

热点排行