鲁夫于1939年5月1日接管第5军，并带领这支部队参加了第二次世界大战。他还同时指挥斯图加特的第5军区。1941年6月30日，魯夫被授予騎士鐵十字勳章。从1942年1月8日到1942年5月31日，鲁夫被任命为第4装甲集团军的指挥官。第4装甲集团军是A集团军群的一部分，A集团军群是在1942年夏季攻势期间南方集团军群被分成两个编队时形成的。
鲁夫于1942年6月1日至1943年6月24日期间指挥第17集团军。第17集团军也是A集团军群的一部分。鲁夫是第17集团军的指挥官，1942年6月3日，意大利驻俄远征军短暂地从属于它。6月至7月，德国第17集团军、意大利驻俄远征军和罗马尼亚第3集团军编组为“鲁奥夫集团军群”。到1942年7月，意大利部队从鲁奥夫集团军群析出。
夏末，作为A集团军群的一部分，鲁夫和第17集团军向高加索油田发起进攻。到12月，苏联军队摧毁了保卫其侧翼的军队（包括ARMIR），并在斯大林格勒包围了德国第6集团军。B集团军群从俄罗斯南部撤出，但鲁夫和第17集团军奉命守住“库班桥头堡”。
在1943年由苏联北高加索阵线军事法庭进行的克拉斯诺达尔审判中，鲁夫指挥的第17集团军被严重指控犯有战争罪。然而在战后，苏联并没有寻求引渡鲁夫。
1943年6月，鲁奥夫升任大将，并被調往军官预备队，不再使用。戰爭結束時，他住在博登湖畔。他於1967年3月20日在蒂賓根去世。
