摘要:一种Hadoop同构集群下的资源参数优化方法,包括建立同构集群的作业特征库;在默认配置下,用新作业的部分数据来运行作业,获取新作业的资源占用特征Fs;计算作业特征库中每一个作业的资源占用特征F与Fs的相对距离;取作业特征库中与Fs的相对距离最小的那个作业的参数最优取值,作为新作业s的最优取值;以新作业s的参数最优取值配置集群,完整运行新作业。本发明的有益效果:提高作业运行的执行效率;提高集群的资源使用率,避免集群资源浪费或争夺;建立作业特征库,方便后期作业分析和优化。
- 专利类型发明专利
- 申请人四川大学;
- 发明人陈兴蜀;曾婉琳;罗永刚;王文贤;
- 地址610065 四川省成都市武侯区一环路南一段24号
- 申请号CN201410171929.0
- 申请时间2014年04月25日
- 申请公布号CN103942108B
- 申请公布时间2017年03月01日
- 分类号G06F9/50(2006.01)I;