Nació en el seno de una familia pobre de Misisipi. Se graduó con el segundo mejor promedio de su escuela secundaria a pesar de la segregación racial y obtuvo un título universitario en la Universidad Estatal de Ohio. Sintió fascinación por los aviones desde niño y se alistó en la Armada de los Estados Unidos en 1946, convirtiéndose en guardiamarina. Brown consiguió sus alas de piloto el 21 de octubre de 1948, logro del que la prensa de la época se hizo amplio eco. En enero de 1949 fue destinado al Escuadrón n.º 32 de Caza y Ataque a bordo del portaavionesUSS Leyte, donde llegó a ser jefe de escuadrilla.
_(cropped).jpg)
