Mapa del río Potomac en el que aparece Harrisonburg
La ciudad de Harrisonburg nació en 1779 tras la cesión por Thomas Harrison de dos acres y medio de su terreno al dominio público. Fue gobernada por trustees (fideicomisarios) hasta 1849, cuando mediante una nueva carta municipal se estableció una Alcaldía e Isaac Hardesty fue elegido el primer alcalde de la ciudad.
La guerra civil estadounidense afectó a Harrisonburg entre 1861 y 1864. La ciudad estuvo tanto bajo el control de los unionistas como de los confederados. Cuando, tras la guerra, los esclavos del Valle de Shenandoah fueron liberados en 1865, fundaron una población cercana, a la que llamaron Newtown. El asentamiento negro fue anexionado por Harrisonburg en 1892.
En 1916, Harrisonburg se convirtió en ciudad independiente, llegando a alcanzar una población de 5.875 habitantes en 1920. La población continuó expandiéndose, adquiriendo nuevas tierras hasta alcanzar los 45,6 km² en 1992 y los 40.468 habitantes (censo de 2000).