Brainard mostró su talento artístico desde muy niño: en Tulsa, Oklahoma, ganó todos los concursos de arte colegiales en los que se inscribió, y además diseñaba los vestidos de su madre. A los 16 conoció a los que serían sus mejores amigos el resto de su vida, los poetas Ron Padgett y Ted Barrigan, y Patricia Mitchell. Vivió en Nueva York durante dos años, entre el 61 y el 62, y pasó meses vendiendo su sangre para comer.