Khan var chef för en infanteridivision i Pakistans armé mellan 1962 och 1964, och blev överbefälhavare för armén 1966. År 1969 anmodade president Mohammad Ayub Khan honom att ta över makten i landet för att förhindra inbördeskrig. Efter Pakistans nederlag i kriget mot Indien 1971, då dåvarande Östpakistan gjorde sig självständigt som Bangladesh tvingades Yahya Khan avgå och efterträddes av Zulfikar Ali Bhutto.[2]