Nacido en Alburquerque, Nuevo México, Bobby comenzó a tocar la guitarra a la edad de ocho años y cambió a la trompeta a los diez. A los trece tocaba en bailes locales con bandas y a los quince había reunido su propio grupo para tocar en bailes, conciertos ocasionales y en cafeterías de jazz. Pasó la mayor parte de sus días de instituto tocando no menos de seis noches por semana en un club nocturno, dando un temprano comienzo a su carrera profesional.