3
回答
CDH5.7.2环境跑比较大的任务时候,其他任务一直等待

CDH5.7.2环境跑比较大的任务时候,其他任务一直等待,小任务可以并行,

关键这个大任务,其实也不大也就10G的数据,我的配置8台128G内存的,CPU和内存还剩余好多,我觉得应该是配置的的问题,搜了好久,测试了好些参数配置都没有效果,所以才发帖子来问下的,谢谢大家了,请帮忙看看,我觉得肯定是这个任务占用了 分配的所有资源,导致其他任务只能等待。

举报
共有3个答案 最后回答: 1年前
你是想跑这个大任务的时候,其他的小任务也能同时运行?你看一下yarn的配置吧,yarn的话都是整块资源进行分配的,是不是跟yarn的配置有关系
--- 共有 3 条评论 ---
上海黑无常回复 @GestureWei : 好吧 谢谢~ 2年前 回复
GestureWei回复 @上海黑无常 : 就是我之前在测试集群上测试的时候,就是发现内存分配minimum那个参数影响的就是整个yarn内存分配的最小值,一个任务一次申请,最小也会是这么多内存,还有其他相似的参数。当然我也只是初学初试的beginner,不一定是对的,仅供参考吧 2年前 回复
上海黑无常是的 想大任务的时候,小任务也可以执行,能说下你是配置的那些参数么? 2年前 回复

yarn和 mr  设置  yarn 你在可以申请出来的内存  mr opt是你要设置一个mr你要用多少 内存资源   yarn中还有一个设置  最大资源 和最小资源  就是控制mr opt的   ps:你从国家手上申请到1个亿  你只能拿9千万做流动    9千万 你要分到很多你的子公司  分9个  每个子公司1千万   子公司 人员开支 只能是9百万  其它的  都是调动资金  就是 java

顶部