MongoDB聚合操作

简介

MongoDB是一款开源的NoSQL数据库，以其强大的查询和聚合功能而闻名。在MongoDB中，aggregate命令是一个非常强大的工具，用于对大量数据进行复杂的数据处理和转换。类似于sql中的group by

aggregate的工作原理

aggregate使用聚合管道来处理数据。聚合管道由一系列的阶段组成，每个阶段执行特定的操作，例如过滤、分组、排序和计算等。这些阶段按顺序执行，将数据从一个阶段传递到下一个阶段，直到最终产生聚合结果。

管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。

MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。

这里我们介绍一下聚合框架中常用的几个操作：

$project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。
$match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。
$limit：用来限制MongoDB聚合管道返回的文档数。
$skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。
$unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。
$group：将集合中的文档分组，可用于统计结果。
$sort：将输入文档排序后输出。
$geoNear：输出接近某一地理位置的有序文档。

如何使用aggregate

使用aggregate非常简单。首先，你需要连接到MongoDB数据库，然后使用聚合命令来执行你的聚合操作。
在示例中，我们首先使用$match阶段来筛选出create_date>"2024-01-01T17:08:18+08:00"类别的文档。
然后，我们使用$group阶段按client_order_ref进行分组，统计client_order_ref的数量 最后按client_order_ref的数量递减排序。

db.collection.aggregate([
  {
    $match: {
      create_date: {
        $gt: "2024-01-01T17:08:18+08:00",
      },
    },
  },
  {
    $group: {
      _id: "$client_order_ref",
      count: {
        $sum: 1,
      },
    },
  },
  {
    $sort: {
      count: -1,
    },
  },
])

字段 a 进行去重，但是对于重复的 a 字段，只希望统计一次相应的 b 字段的值
[
  {
    $match: {
      paid_at: {
        $gte: "2024-01-01 00:00:00",
        $lt: "2024-02-01 00:00:00",
      },
      store_name:
        "samarkand.kuaishou.foreveryoung",
      "order_status": {"$nin": ["TRADE_CLOSED", "TRADE_REFUND"]},
    },
  },
  {
    $group: {
      _id: "$client_order_ref",
      amounts: {
        $addToSet: "$pay_amount",
      },
    },
  },
  {
    $unwind: "$amounts",
  },
  {
    $group: {
      _id: null,
      total: {
        $sum: "$amounts",
      },
    },
  },
]

最佳实践

总结

aggregate是MongoDB中一个非常强大的工具，它可以帮助我们深入挖掘和分析大量数据。通过合理设计聚合管道和使用最佳实践，我们可以更好地利用aggregate的功能，从数据中提取出有价值的信息。