【转】Linux中多线程wait使用注意

使用管道生成的while，是无法进行并发管理的

hdfs dfs -rmr $cdns_hadoop_base_dir/dt=$ydate
hdfs dfs -mkdir $cdns_hadoop_base_dir/dt=$ydate
cat nodeList| while read nodename
dohdfs dfs -mkdir $cdns_hadoop_base_dir/dt=$ydate/node=$nodenamels *$nodename*lzo > cdnsFileListLzowhile read query_logdo(    hdfs dfs -put $query_log $cdns_hadoop_base_dir/dt=$ydate/node=$nodenamerm $query_log -rfyarn jar ${hadooplzojar} ${hadooplzoclass} $cdns_hadoop_base_dir/dt=$ydate/node=$nodename/$query_log ) &done < cdnsFileListLzo
wait
done

里面用小括号括住代码块。。。

在处理日志的时候，采用管道多线程，怎么都实现不了wait功能，经上篇文章才知道，使用管道生成的while，无法进行并发管理。

while read query_logdo(    hdfs dfs -put $query_log $cdns_hadoop_base_dir/dt=$ydate/node=$nodenamerm $query_log -rfyarn jar ${hadooplzojar} ${hadooplzoclass} $cdns_hadoop_base_dir/dt=$ydate/node=$nodename/$query_log ) &done < cdnsFileListLzo

修改为上述方式，完美解决问题。。。

OVER

转载于:https://www.cnblogs.com/zhzhang/p/6268517.html

【转】Linux中多线程wait使用注意相关推荐

linux线程多参数传递参数,Linux中多线程编程并传递多个参数
解析Linux中多线程编程并传递多个参数 Linux中多线程编程并传递多个参数实例是本文讲解的内容,不多说,先来看内容. Linux下的多线程编程,并将多个参数传递给线程要执行的函数. 以下是实验程序 ...
对linux中多线程编程中pthread_join的理解
对linux中多线程编程中pthread_join的理解分类: 程序员面试 linux学习2013-08-04 21:32 234人阅读评论(0) 收藏举报多线程linuxpthread_jo ...
linux中多线程解析
Linux系统下的多线程遵循POSIX线程接口,称为 pthread.编写Linux下的多线程程序,需要使用头文件pthread.h,连接时需要使用库libpthread.a.顺便说一下,Linux ...
linux 线程带参数,Linux中多线程编程并传递多个参数的简单例子
今天上午实验了Linux下的多线程编程,并将多个参数传递给线程要执行的函数. 以下是实验程序的源代码: /*********************** pthread.c ************* ...
Linux中多线程使用信号量(信号灯)，和sem_wait()函数使用
文章目录编程环境: 信号量(信号灯): 使用步骤: "生产者-消费者"例子: 理论模型: 代码分析: 代码实现: 运行结果: Mac 下对 sem_init()/sem_dest ...
【Linux】多线程中使用fork()
(最核心的东西我在下面用红色字体标出来了,理解了那块,这些东西都是就理解了!) 在本篇文章开始之前,需要大家先了解线程和进程,这位大哥讲的言简意赅:进程和线程的主要区别(总结)_kuangsongha ...
linux守护进程中多线程实现,Linux下实现多线程客户/服务器
在传统的Unix模型中,当一个进程需要由另一个实体执行某件事时,该进程派生(fork)一个子进程,让子进程去进行处理. Unix下的大多数网络服务器程序都是这么编写的,即父进程接受连接,派生子进程,子 ...
linux进程查看所有线程,Linux中查看进程的多线程的方法
在SMP系统中,我们的应用程序经常使用多线程的技术,那么在Linux中如何查看某个进程的多个线程呢? 本文介绍3种命令来查看Linux系统中的线程(LWP)的情况: 在我的系统中,用qemu-syst ...
Linux在多线程应用程序中处理信号
目录信号上下文从task_struct看signal 发送信号到线程信号是Linux中非常有用的功能,它可以将通知从一个进程发送到另一个进程,并从内核发送到该进程.在某些错误情况下(访问错误的内 ...

【转】Linux中多线程wait使用注意

【转】Linux中多线程wait使用注意相关推荐

最新文章

热门文章