Allerede i 1100-tallet var Głogów befæstet og i perioden 1251–1506 var byen hovedstad i hertugdømmet Głogów. Fra 1526 var byen en del af kongeriget Böhmen og dermed også af det habsburgske (østrigske) rige, men i 1741 blev området erobret af den preussiske konge, Frederik den Store, og hørte derefter til Preussen. Under Trediveårskrigen var byen en overgang under svensk herredømme, og under Napoleonskrigene i fransk besiddelse fra 1806 til 1814. I det tyske kejserrige fra 1871 var byen en fæstning af 2. klasse og én af Preussens større garnisonsbyer. Glogau var dengang et jernbaneknudepunkt og en betydelig industriby. Ved en i henhold til Versaillestraktaten afholdt folkeafstemning i 1921 stemte 12 % af byens indbyggere for et tilhørsforhold til Polen.
Under den 2. Slesvigske Krig i 1864 var et stort antal danske krigsfanger interneret i fæstningen Glogau.
I 1945 under 2. verdenskrig blev byen af Hitler erklæret som en fæstning, der skulle holdes for enhver pris, og blev belejret i seks uger af Den Røde Hær, hvorefter 98% af byen lå i ruiner. Efter Jaltakonferencen blev byen, ligesom det meste af Nedre Schlesien, overdraget til Polen og de tysktalende indbyggere blev fordrevet. I maj 1945 ankom de første polske bosættere til ruinerne. Efter at et kobberstøberi blev bygget i Głogów i 1967 begyndte byen at udvikle sig. Støberiet er stadig den største industrivirksomhed i byen.
Fra 1945-1950 var Głogów del af voivodskabet Wrocław og blev i 1950 en del af det nyoprettede Zielona Góra voivodskab. Fra 1975-1998 var byen en del af voivodskabet Legnica, og efter den administrative reform i 1999 blev Głogów en del af voivodskabet Nedre Schlesien.