羊祜出身于汉魏时期的名门士族之家，祖父
羊续汉末曾任南阳太守，父亲羊衜则在曹魏时期出任上党太守，母亲乃汉末名儒蔡邕之女，姐姐
羊徽瑜更是司马师续弦之妻，史称“景献皇后”。
羊祜虽然年十二丧父，却在能言之年就开始被父亲教之以典范的文章，到了九岁，羊衜又向他传授《诗》、《书》，在严格的家学教育下，终使羊祜克绍箕裘，成为一代贤才。
[245年前后]：此时曹爽当权，羊祜和
王沈一起被爽征辟。沈劝羊祜应命就职，祜曰：“委质事人，复何容易。”于是没有出仕。
其实之前羊祜已被多次征召，由于当时明争暗斗的曹氏（羊祜娶夏侯霸之女）和司
马氏（羊徽瑜嫁于司马师为妻）都同羊祜有姻亲关系，被他一一拒绝，这可能是他选择回避的主要原因。
[249年]：曹爽死后，多人受到株连，当时应命就职的王沈也被免职。此时王沈服祜之远见，羊祜还是谦虚地回答：“此非始虑所及。”
这时羊祜的岳父夏侯霸怕遭受株连降蜀，其亲属大都断绝了和夏侯家的关系，只有羊祜对其家属安慰体恤更胜于平日。
[255年]：司马昭任大将军，对羊祜再次征辟，还是没有应命。同年被公车征拜为中书侍郎，不久就升任给事中、黄门郎。
[260年]：陈留王
曹奂即位，赐爵关内侯，食邑百户。改任秘书监。
[264年]：司马昭奏请建立五等爵制，羊祜以功封钜平子，食邑六百户。
同年拜相国从事中郎，与荀勖一起共掌司马炎的机密。又迁中领军，统领御林军，兼管内外政事。
[266年]：司马炎受禅代魏后，羊祜有扶立之功，进号中军将军，加散骑常侍，改封郡公，食邑三千户。祜固让封公，于是由本爵钜平子进封为侯，设置郎中令，备设九官之职，并授予夫人印绶。
羊祜劝晋武帝司马炎守三年之丧，不听。泰始初年又升
任尚书右仆射，卫将军。
[268年]：大司马
石苞被诬谋反,羊祜担保石苞不会叛变,司马炎不信。
[269年]：晋武帝有吞吴之志，以羊祜都督荆州诸军事、假节，并保留散骑常侍、卫将军不变，出镇襄阳。
羊祜到任后，着力经略荆州，休养生息，屯田兴学，怀柔招徕，安抚百姓，深得军民之心。在军事上用奇计使
吴国撤掉了对襄阳威胁最大的石城(今钟祥县治)驻军，有力地控制了东吴夏郡（今鄂州）在汉水东、长江北的大片土地。晋武帝下诏撤销江北都督，拜羊祜为南中郎将，并把原属部队划归为祜统帅，使其兵力扩大到八万多人。羊祜抽调其中的四万人垦田八百余顷，改变了初到荆州无百日之粮的窘境，到后来使八万荆州士兵积有十年余粮。
不久加封车骑将军，开府如三司之仪，羊祜上表坚决推辞，但没有得到允许。
[270年]：吴拜陆抗都督荆州诸军事，引起羊祜的高度警惕。羊祜开始加紧在荆州的戎备。
[272年]：冬，吴西陵督
步阐举城降晋，陆抗闻讯立即派兵围攻西陵（今湖北宜昌东南，西陵峡口）。晋武帝命羊祜和巴东监军
徐胤分别率军攻打江陵（今湖北江陵）和建平（今四川巫县），从东西两面分散陆抗的兵力，以实现由荆州刺史
杨肇直接去西陵援救步阐的计划。但陆抗破坏了江陵以北的道路，羊祜五万大军的粮秣运输发生困难，加之江陵城防坚固，守将
张咸按陆抗的命令固守城池，又有公安督
孙遵在南岸抵御进攻，羊祜顿兵城下，不能前进。杨肇兵少粮悬，被陆抗击败，步阐城陷族诛。此战之后，羊祜被奏贬为平南将军。
羊祜在边境，得名素著，在朝中却每遭低回。他正直忠贞，嫉恶如仇，毫无私念，因而颇受荀勖、冯紞等人的忌恨。
王衍是羊祜的堂甥，曾来陈说事情，言辞华丽，雄辩滔滔。羊祜很不以为然，王衍拂衣而去。西陵之战，羊祜曾要按军法处斩
王戎。所以，王戎和王衍都怨恨他，言谈中常攻击羊祜。时人有言：“二王当国，羊公无德。”
[276年]：冬十月，晋武帝改封羊祜为征南大将军，恢复其贬降前的一切职权。
在此之前羊祜曾密表司马炎,极力肯定益州刺史王濬的军事才能，使晋武帝留任王濬监益州诸军事，加龙骧将军，并秘密命他修造战船，为顺流伐吴作准备。
羊祜本人也命令部将缮甲训卒，广为戎备。经过七年的练兵和各项物质准备，荆州边界的晋军实力远远超过了吴军，而两年前吴军主帅陆抗病死，吴国境内又因为吴主孙皓的高压统治使各种矛盾日益激化。这表明晋灭吴的条件和时机已经成熟。
羊祜不失时机的上疏请求伐吴，此疏就是历史上有名的《请伐吴疏》。奏疏得到了司马炎的肯定，却遭到了朝内其他大臣的反对，权臣贾充、荀勖、冯紞等人的态度尤为激烈。他们提出西北地区的鲜卑未定，不应该两线作战。只有度支尚书杜预、中书令张华等少数人赞同。
恰逢晋军在秦、凉屡有败绩，羊祜遂再次上表：“
吴平则胡自定，但当速济大功耳。”但还是遭到大部分人的反对，祜叹曰：“天下不如意事十常居七、八。天与不取，岂非更事者恨于后时哉！”
[277年]：晋武帝下诏封羊祜为南城侯，设置相的官职，与郡公同级。羊祜坚辞不受，帝许之。
羊祜每逢晋升，都十分诚恳的退让，因此名德远播，朝野尊仰，都以为它应该居于宰辅之位。晋武帝当时正有兼并之志，要依仗羊祜来主持东南的局面，所以搁置了请他入相之议。
冬十二月，吴夏口都督
孙慎侵入西晋边界，掠走弋阳、江夏等地上千家人口。羊祜没有派兵进行追击。事后，晋武帝派人追查原因，并打算移徙荆州的治所。祜曰：“江夏去襄阳八百里，比知贼问，贼去亦已经日矣。步军方往，安能救之哉！劳师以免责，恐非事宜也。昔魏武帝置都督，类皆与州相近，以兵势好合恶离。疆埸之间，一彼一此，慎守而已，古之善教也。若辄徙州，贼出无常，亦未知州之所宜据也。”使者不能诘。
[278年]：八月，羊祜染病，请求入朝。返回洛阳正逢景献皇后羊徽瑜去世，羊祜十分悲痛，病情更加严重。晋武帝下诏，命他抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。羊祜则再一次向司马炎陈述了伐吴的主张。
后来羊祜病重不能入朝，晋武帝专门派中书令张华前去咨询方略，并要求羊祜带病伐吴，羊祜婉言拒绝。
十一月羊祜病逝，享年五十八岁，并在临终前举荐杜预自代。
羊祜死后，举天皆哀。晋武帝亲着丧服痛哭，时值寒冬，武帝的泪水流到鬓须上都结成了冰。
荆州百姓在集市之日闻之羊祜的死讯，罢市痛哭，街巷悲声相属，连绵不断；吴国守边将士也为之落泪。可惜羊祜无子，以兄发子篇奉祜嗣。
羊祜的仁德流芳后世。襄阳的百姓为纪念他特地在羊祜生前喜欢游憩的岘山上刻下石碑，建立庙宇，按时祭祀。由于人们一看见石碑就会忍不住伤心落泪，杜预因此称之为“堕泪碑”。
荆州人为了避羊祜的名讳，把房屋的“户”都改叫为“门” ，另把户曹也改为辞曹。
羊祜生前有很多著述，有名的有《晋书·羊祜传》记载的《
老子传》和《请伐吴疏》，另外他还受命修撰《晋礼》、《晋律》，对晋朝典制创立多有贡献。
晋灭吴的战争结束了汉末以来长期的分裂割据状态，使中国重归一统。羊祜虽然没有亲自参加这次战争，但他为规划、准备这场战争作出了不可磨灭的贡献。