En 1845 oni komencis konstrui fortikaĵon laŭ la meksika limo. En la sekva jaro meksikanoj sieĝis ĝin, dume mortis komandanto de la fortikaĵo Jacob Brown. Tial teksasanoj nomis la fortikaĵon "Fort Brown". La urbeto mem fondiĝis en 1848. En la 1860-aj jaroj la urbo estis grava kontrabandopunkto kaj ankaŭ bataloj okazis, fine oni eksplodis la fortikaĵon. En 1906 konflikto okazis inter blankuloj kaj nigruloj. En 1991 Brownsville ricevis universitaton.
Brownsville havas mildan dezertan klimaton. La temperaturo averaĝe varias inter 10-34 °C. La varmo kulminas en julio kaj aŭgusto, la malvarmo kulminas en januaro. Jare pluvas po 702 mm, escepte en 2004 neĝis.