泰始元年（265，44），武帝司馬炎受禪，以佐命之勛，進(jìn)號(hào)中軍將軍，加散騎常侍，改封郡公，邑三千戶。固讓封不受，乃進(jìn)本爵為侯，置郎中令，備九官之職，加夫人印綬。

泰始初，詔以羊祜為尚書右仆射、衛(wèi)將軍，給本營兵，時(shí)王佑、賈充、裴秀皆前朝名望，羊祜每讓，不處其右。

泰始五年（269，48），武帝將有滅吳之志，以羊祜為都督荊州諸軍事、假節(jié)，散騎常侍、衛(wèi)將軍如故。羊祜率營兵出鎮(zhèn)南夏，開設(shè)庠序，綏懷遠(yuǎn)近，甚得江漢之心。羊祜始至，軍無百日之糧，及至季年，有十年之積。

在軍常輕裘緩帶，身不被甲，鈴閤之下，侍衛(wèi)者不過十?dāng)?shù)人，而頗以畋漁廢政。

泰始八年（272，51），加車騎將軍，開府如三司之儀。祜上表固讓，不聽。

及還鎮(zhèn)，吳西陵督步闡舉城來降。吳將陸抗攻之甚急，詔羊祜迎步闡。羊祜率兵五萬出江陵，遣荊州刺史楊肇攻陸抗，不克，步闡竟為陸抗所擒。坐貶為平南將軍，而免楊肇為庶人。

吳人翕然悅服，稱為羊公，不之名也。

羊祜貞愨無私，疾惡邪佞，旬勖、馮紞之徒甚忌之。從甥王衍嘗詣羊祜陳事，辭甚俊辨，羊祜不然之，王衍拂衣而起。羊祜顧謂賓客曰：“王夷甫方以盛名處大位，然敗俗傷化，必此人也?！辈疥U之役，羊祜以軍法將斬王戎，故王戎、王衍并恨，每言論多毀羊祜。時(shí)人為之語曰：“二王當(dāng)國，羊公無德?！?/p>