隋朝末年，隋場帝窮兵默武驕奢淫意。好大喜功，先是開鑿大運河，后來幾次興兵東征，大舉侵略朝鮮。全國的青壯男子大多數被抽調修河、當兵。土地無人耕種，苛捐雜稅年年增加，人民陷入水深火熱之中，天下即將大亂。

　　當時正在山西馬邑作地方官的李靖，對國家形勢的嚴峻形勢有著清醒地認識。李靖不希望天下大亂，他來到京城，面見執掌軍政大權的越國公楊素，打算說服楊素，拿出辦法，穩定政局。交談之后，李靖深感失望，立即辭去官職。回家深入研究兵書戰策。

　　李靖的舅父韓擒虎，是隋朝的開國名將，對《孫子兵法》很有研究，經常與李靖在一起談論心得體會。每次暢談之后，韓擒虎都十分慨嘆，稱贊李靖的看法。

　　不久，楊素病死，他的兒子楊玄感舉兵造反。接著，全國各地農民紛紛起義，李靖來到太原，幫助唐高祖李淵統一天下。

　　后來唐太宗李世民即位，李靖由刑部尚書調任兵部尚書。當時西北的少數民族突厥和吐谷渾經常襲擾邊境，搶劫牛馬，屠殺百姓，成為唐朝的邊患。唐太宗平定天下之后，立即任命李靖為行軍總管，率兵北征，徹底解除西北邊疆的威脅。一次，李靖僅率三千鐵騎，出奇制勝，將突厥逐出境外，而后李靖為平定邊患，經常統兵在外，大小百余戰，立下赫赫戰功，升為尚書仆射。

　
　李靖看到天下基本平定，估計以后不會有大規模征戰，覺得自己是員武將，在朝廷已經不會有太大作為，決定辭去職務，告老還鄉。

　
　一次，唐太宗派李靖到各地察訪民情，李靖推辭說：“我年齡有些老了，只怕辜負陛下的信任，還是派別人去更好些。”

　
　李靖回到家把他的想法詳細寫進了奏章，送給唐太宗。

　
唐太宗看了李靖的奏章，覺得措辭十分得體，態度非常懇切，內心很感動，立即同意了。第二天，派中書侍郎向李靖傳達他的旨意，說：“我看從古至今，作了大官而能知足的人太少了，不論聰明人或庸俗的人差不多都不能自知。有些人本來沒什么才能，還留戀權勢，不肯辭官，還有人生病，根本不能辦事，仍然占據高位。我同意你辭官，不僅成全你的志向，更重要的是想把你樹為一代楷模，讓人們學習。”

　
　李靖辭官以后，把平生用兵心得寫成一部《李衛公兵法》，可惜后來失傳了。