最近使用MongoDB的聚合管道分析流程圖的時候，發(fā)現(xiàn)了一些性能上的問題，不過問題不大順利解決，記錄一下。

環(huán)境：i5 8G Win10 vs2015 sqlserver2014
數(shù)據(jù)：10萬條，復雜度高的流程運行時數(shù)據(jù)（一條數(shù)據(jù) 400行）

當需要分析這些工單的時候，如分析一段時間內(nèi) 每天完成的工單 平均耗時多少。

這個分析會先按每天進行一個循環(huán)查詢，從開始時間到結束時間，然后統(tǒng)計出一個數(shù)組,如下

{
seriesData
:
[0, 0, 441699, 1057436, 3596237, 2168424, 56, 30175, 30175, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,…]
xAxisData
:
["2017/6/25", "2017/6/26", "2017/6/27", "2017/6/28", "2017/6/29", "2017/6/30", "2017/7/1", "2017/7/2",…]
}

問題:程序邏輯寫完后基本沒問題 數(shù)據(jù)也正確,但是 效率太低,前后一個月的數(shù)據(jù) 花了 3500ms

分析:在分析數(shù)據(jù)前,聚合管道會先拿取數(shù)據(jù),如果拿取的時候無法準確拿取所需數(shù)據(jù),或者說不知道哪些數(shù)據(jù)是目標數(shù)據(jù)而進行了全表遍歷,就會導致性能地下.所以這里就需要對創(chuàng)建工單時間來進行一個索引,讓每次查詢都能最快查詢到所要的結果,然后進行分析

結果:性能提升10倍 花費350ms

創(chuàng)建索引代碼留檔

db.order.createIndex({"CreatedWhen":1})

c# 代碼留檔

private readonly IMongoDatabase _mongoDatabase;

        public RuntimeBaseAnalysisService(IMongoDatabase mongoDatabase)
        {
            _mongoDatabase = mongoDatabase;
        }
        

        public Dictionary<string, long> GetTotalElapsedTime(DateTime beginTime, DateTime endTime, int step, string collectionName)
        {
            Dictionary<string,long> Data = new Dictionary<string, long>();

            var AnalysisEndTime = beginTime.AddDays(step);
            var AnalysisbeginTime = beginTime;
            do
            {
                var re = GetTotalElapsedTimeAvg(AnalysisbeginTime, AnalysisEndTime, collectionName);
                Data.Add(AnalysisbeginTime.ToShortDateString(), re);

                AnalysisbeginTime = AnalysisEndTime;
                AnalysisEndTime = AnalysisEndTime.AddDays(step);

            } while (endTime > AnalysisEndTime);

            GetTotalElapsedTimeAvg(beginTime,endTime, collectionName);
            

            return Data;
        }

        private long GetTotalElapsedTimeAvg(DateTime? beginTime, DateTime? endTime, string collectionName)
        {
            var collection = _mongoDatabase.GetCollection<Runtime>(collectionName);
            var match = new BsonDocument()
            {
                {
                    "$match",
                    new BsonDocument
                        {{
                                "$and",new BsonArray()
                                {
                                    new BsonDocument() { { "CreatedWhen", new BsonDocument() { { "$gte", beginTime } } } },
                                    new BsonDocument(){ { "CreatedWhen", new BsonDocument() { {"$lt", endTime } } } },
                                    new BsonDocument(){ { "Status", SystemStatus.Completed } },
                                }
                        }}
                }
            };
            var project = new BsonDocument()
            {
                {
                    "$project",new BsonDocument()
                    {
                        {"_id",0 },
                        {"Duration", new BsonDocument() { { "$subtract", new BsonArray()
                        {
                            "$LastModifiedWhen","$CreatedWhen"
                        } } } }
                    }
                }
            };

            var group = new BsonDocument() {
                {
                    "$group",new BsonDocument()
                    {
                        {"_id","" },
                        {"Duration",new BsonDocument() { { "$avg", "$Duration" } } }
                    }
                } };

            var pipeline = new[] { match, project , group };
            var resultPipe = collection.Aggregate<BsonDocument>(pipeline).ToListAsync();
            BsonValue bv;
            if (resultPipe.Result.Count>0 && resultPipe.Result[0].TryGetValue("Duration", out bv))
            {
                return bv.ToInt64();
            }
            else
            {
                return 0;
            }
        }