使用Node.js将许多记录插入Mongodb的正确方法

我想知道使用Node.js批量插入Mongodb(尽管可能是任何其他数据库)的正确方法是什么

我已经编写了下面的代码作为示例,虽然我认为它是浮动的,因为db.close()可能在所有异步collection.insert调用完成之前运行.

MongoClient.connect('mongodb://127.0.0.1:27017/test', function (err, db) {
    var i, collection;
    if (err) {
        throw err;
    }
    collection = db.collection('entries');
    for (i = 0; i < entries.length; i++) {
        collection.insert(entries[i].entry);
    }
    db.close();
});

chridam.. 19

如果您的MongoDB服务器是2.6或更高版本,最好利用写命令批量API,允许执行批量插入操作,这些操作只是服务器顶部的抽象,以便轻松构建批量操作和因此,通过对大型集合的更新,可以获得性能提升.

批量发送批量插入操作会减少到服务器的流量,从而通过不在单个语句中发送所有内容来执行有效的线路事务,而是分解为可管理的服务器承诺块.使用这种方法在回调中等待响应的时间也更少.

这些批量操作主要有两种形式:

订购批量操作.这些操作按顺序执行所有操作,并在第一次写入错误时执行错误输出.

无序批量操作.这些操作并行执行所有操作并聚合所有错误.无序批量操作不保证执行顺序.

请注意,对于比2.6更旧的服务器,API将下转换操作.然而,不可能将100%下转换,因此可能存在一些无法正确报告正确数字的边缘情况.

在您的情况下,您可以批量实现批量API插入操作,如下所示:

对于MongoDB 3.2+使用bulkWrite

var MongoClient = require('mongodb').MongoClient;
var url = 'mongodb://localhost:27017/test';
var entries = [ ... ] // a huge array containing the entry objects

var createNewEntries = function(db, entries, callback) {

    // Get the collection and bulk api artefacts
    var collection = db.collection('entries'),          
        bulkUpdateOps = [];    

    entries.forEach(function(doc) {
        bulkUpdateOps.push({ "insertOne": { "document": doc } });

        if (bulkUpdateOps.length === 1000) {
            collection.bulkWrite(bulkUpdateOps).then(function(r) {
                // do something with result
            });
            bulkUpdateOps = [];
        }
    })

    if (bulkUpdateOps.length > 0) {
        collection.bulkWrite(bulkUpdateOps).then(function(r) {
            // do something with result
        });
    }
};

对于MongoDB <3.2

var MongoClient = require('mongodb').MongoClient;
var url = 'mongodb://localhost:27017/test';
var entries = [ ... ] // a huge array containing the entry objects

var createNewEntries = function(db, entries, callback) {

    // Get the collection and bulk api artefacts
    var collection = db.collection('entries'),          
        bulk = collection.initializeOrderedBulkOp(), // Initialize the Ordered Batch
        counter = 0;    

    // Execute the forEach method, triggers for each entry in the array
    entries.forEach(function(obj) {         

        bulk.insert(obj);           
        counter++;

        if (counter % 1000 == 0 ) {
            // Execute the operation
            bulk.execute(function(err, result) {  
                // re-initialise batch operation           
                bulk = collection.initializeOrderedBulkOp();
                callback();
            });
        }
    });             

    if (counter % 1000 != 0 ){
        bulk.execute(function(err, result) {
            // do something with result 
            callback();             
        }); 
    } 
};

调用该createNewEntries()函数.

MongoClient.connect(url, function(err, db) {
    createNewEntries(db, entries, function() {
        db.close();
    });
});

Arjan Frans.. 7

你可以用insertMany.它接受一组对象.检查API.

如果您的MongoDB服务器是2.6或更高版本,最好利用写命令批量API,允许执行批量插入操作,这些操作只是服务器顶部的抽象,以便轻松构建批量操作和因此,通过对大型集合的更新,可以获得性能提升.

批量发送批量插入操作会减少到服务器的流量,从而通过不在单个语句中发送所有内容来执行有效的线路事务,而是分解为可管理的服务器承诺块.使用这种方法在回调中等待响应的时间也更少.

这些批量操作主要有两种形式:

订购批量操作.这些操作按顺序执行所有操作,并在第一次写入错误时执行错误输出.

无序批量操作.这些操作并行执行所有操作并聚合所有错误.无序批量操作不保证执行顺序.

请注意,对于比2.6更旧的服务器,API将下转换操作.然而,不可能将100%下转换,因此可能存在一些无法正确报告正确数字的边缘情况.

在您的情况下,您可以批量实现批量API插入操作,如下所示:

对于MongoDB 3.2+使用bulkWrite

var MongoClient = require('mongodb').MongoClient;
var url = 'mongodb://localhost:27017/test';
var entries = [ ... ] // a huge array containing the entry objects

var createNewEntries = function(db, entries, callback) {

    // Get the collection and bulk api artefacts
    var collection = db.collection('entries'),          
        bulkUpdateOps = [];    

    entries.forEach(function(doc) {
        bulkUpdateOps.push({ "insertOne": { "document": doc } });

        if (bulkUpdateOps.length === 1000) {
            collection.bulkWrite(bulkUpdateOps).then(function(r) {
                // do something with result
            });
            bulkUpdateOps = [];
        }
    })

    if (bulkUpdateOps.length > 0) {
        collection.bulkWrite(bulkUpdateOps).then(function(r) {
            // do something with result
        });
    }
};

对于MongoDB <3.2

var MongoClient = require('mongodb').MongoClient;
var url = 'mongodb://localhost:27017/test';
var entries = [ ... ] // a huge array containing the entry objects

var createNewEntries = function(db, entries, callback) {

    // Get the collection and bulk api artefacts
    var collection = db.collection('entries'),          
        bulk = collection.initializeOrderedBulkOp(), // Initialize the Ordered Batch
        counter = 0;    

    // Execute the forEach method, triggers for each entry in the array
    entries.forEach(function(obj) {         

        bulk.insert(obj);           
        counter++;

        if (counter % 1000 == 0 ) {
            // Execute the operation
            bulk.execute(function(err, result) {  
                // re-initialise batch operation           
                bulk = collection.initializeOrderedBulkOp();
                callback();
            });
        }
    });             

    if (counter % 1000 != 0 ){
        bulk.execute(function(err, result) {
            // do something with result 
            callback();             
        }); 
    } 
};

调用该createNewEntries()函数.

MongoClient.connect(url, function(err, db) {
    createNewEntries(db, entries, function() {
        db.close();
    });
});

你可以用insertMany.它接受一组对象.检查API.