在Java中创建太多线程

我在我的Java应用程序中使用线程来并行获取数据(使用网络调用).我有一个方法(不在线程类中),它创建一个给定大小(最大10-15)的线程池并将它们用于网络调用,我从循环中多次调用该方法.

当我在慢速机器(3 GB RAM,Pentium-IV)上运行此应用程序时,一切正常,但是当我在iMac(32 GB RAM,i7处理器)上运行它时,它创建了太多线程,大约2,500个有时会抛出一个内存不足的错误.

我怀疑JVM在完成后不会将完成的线程重新放回池中,因此它正在创建新线程.

甚至在iMac上,如果我保留Thread.sleep(1000); 在for我上面提到的循环中一切正常.虽然创建了大约900个线程.

以下是此应用程序的代码示例:

public ArrayList getValuesForKeyFromMaps(String key, ArrayList locations) throws InterruptedException, ExecutionException {

    int threadNum = locations.size(); // 10-15 at max

    ExecutorService executor = Executors.newFixedThreadPool(threadNum);
    List>> taskList = new ArrayList>>();

    for(final Meta location : locations){

        FutureTask> futureTask_1 = new FutureTask>(new Callable>() {
            public ArrayList call() throws Exception {
                // Service call
                return getValues(key, location);
            }
        });
        taskList.add(futureTask_1);
        executor.execute(futureTask_1);

    }

    ArrayList values = new ArrayList();

    // Wait until all results are available and combine them at the same time
    for (int j = 0; j < threadNum; j++) {
        FutureTask> futureTask = taskList.get(j);
        values.addAll(futureTask.get());
    }
    executor.shutdown();
    return values;
}

如果我在iMac上使用下面的for循环调用上面的方法,它会抛出一个内存错误,因为它创建了大约2,500个线程.但它在较慢的机器上工作正常.

    for(String key : keySet){
        getValuesForKeyFromMaps(key, metaMap.get(key));
    }

并且,使用以下代码,在iMac上,它可以正常工作,大约有900个线程.

    for(String key : keySet) {
        getValuesForKeyFromMaps(key, metaMap.get(key));
        Thread.sleep(200); // Sleeping for 200 ms
    }

如果我将上面的for循环中的睡眠时间增加到1000毫秒,它只创建30-50个线程并且应用程序正常工作.

如何控制应用程序中允许的最大线程数？我打算在给定时间最多创建/使用10-15个线程,但Java创建的太多了.

创建太多线程不是Java; 你是!

每次调用函数时都不要创建执行程序.如果你有100个集合,每个集合包含100个元素,那么你将创建10,000个线程 - 这非常耗费资源......而且毫无意义.

ExecutorService executor = Executors.newFixedThreadPool(threadNum);

您最有可能拥有8个内核 - 只需创建一个包含8个线程的执行程序并在任何地方使用它.您的代码将更快地运行,您的应用程序将消耗更少,更少的资源.

熟悉此代码审查单一执行程序问题.您可以在应用程序中使用该解决方案.