java 并发的例子-并行数据处理

晨曦之光 发布于 2012/03/26 16:30
阅读 6K+
收藏 9

JDK5引进了一个高级并发的API,它位于java.util.concurrent这个包中。

它考虑到了更优雅和直观的多线程编程。我知道这对有些人来说并不算什么新消息,但是我发现 大部分程序员仍然用Thread类和Runnable接口来解决java中大多数的并发问题,其实这些问题大部分都可以用新API以更加简洁的方式来实现。

在这个系列的帖子中我会提供一些例子教你怎么用java.util.concrrent包中的类来解决常见的一些问题。现在让我们开始一个简单的并行数据处理的解决方案。

想象你现在有一堆数据元素,你现在需要对它们中的某些数据进行加工处理,现在需要以最快的速度来完成这个任务,但是你不想占有系统中所有其他可以利用的资源。

一个好的策略就是用一个预先定义好的最大的活动线程数创建一个线程池,当线程可用的时候,一次就用一个线程来处理一个数据单元。

这个策略可以快速的用一个固定的线程池执行任务。

我们可以用一个runnable接口来模拟数据处理:

package com.ricardozuasti;
 
public class DataProcessor implements Runnable {
    public DataProcessor(int data){
        this.data = data;
    }
 
    @Override
    public void run() {
        System.out.println("Processing data: " + data);
        // Data processing goes here
    }
 
    private int data;
}

接着用Executors工具类中的newFixedThreadPool(n)方法来创建一个新的线程池服务(通过给定的最大的活动线程数目)。返回值(实现了ExecutorService接口)可以用来提交新的任务,通过execute()和submit()方法。

package com.ricardozuasti;
 
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;
 
public class Concurrency1 {
 
    public static void main(String[] args) {
        ExecutorService executor = Executors.newFixedThreadPool(5);
 
        for (int i = 0; i<100; i++){
            executor.execute(new DataProcessor(i));
        }
 
        System.out.println("Starting shutdown...");
        executor.shutdown();
 
        try {
            executor.awaitTermination(100, TimeUnit.SECONDS);
        } catch (InterruptedException ex) {
            System.out.println("Interrupted or timed out while awaiting termination");
        }
 
        System.out.println("All done!");
 
    }
}

在提交我们所有的工作单元到ExecutorService后我们可以通知它关闭,这样就不会阻塞我们当前运行的线程,也可以避免先前通过运行提交的任务,但是仅仅阻止了新任务被传给ExecutorService。

事实上如果想要所有的任务都要完成,我们可以通过awaitTermination() 来完成。

查看 Executors API 可以了解其他想要构建的executor服务。

英文原文 , OSCHINA原创翻译

加载中
0
h
huduku

如果是从一个表中分页式查询处理数据,中间过程遇到宕机或者其他不可预料的错误,导致处理过程在中间失败,那么下次启动程序时,如何恢复数据处理过程,而处理过的数据不再重复处理?

返回顶部
顶部