Hadoop自適應任務調度算法
大小：0.76 MB 人氣： 2017-12-20 需要積分：1
針對異構集群任務推測式執行算法存在的任務進度比例固定、落后任務被動選取等問題，提出基于快慢節點集計算能力差異的自適應任務調度算法。該算法量化節點集計算能力差異實現分集調度，并通過節點與任務速率的動態反饋及時更新快慢節點集，提高節點集資源利用率與任務并行度。在兩節點集中，利用動態調整任務進度比例判別落后任務，主動選擇采用替代執行方式為落后任務執行備份任務的快節點，從而提升任務執行效率。與最長近似結束時間（ LATE）算法的實驗對比結果表明，該算法在短作業集、混合型作業集、出現節點性能下降的混合型作業集執行時間上比LATE算法分別縮短了5.2l%、20. 51%、23. 86%，啟用的備份任務數比LATE算法明顯減少。所提算法可使任務主動適應節點差異，在減少備份任務的同時有效提高作業整體執行效率。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%