Ya durante la década de los cincuenta, destacó en el ámbito del jazz como intérprete, arreglista y compositor. Además de su propio grupo, formó parte de las big bands de Yuri Salsky y Oleg Lundstrem. Como compositor, fue elaborando un peculiar estilo en donde fusionaba el idioma del jazz con el lenguaje clásico. Aun así, pese a su tono jazzístico e improvisatorio, las obras de Kapustin no dejan margen para la libre intervención del intérprete y fijan sobre el papel todas las notas. El prolífico catálogo de Kapustin ronda las 160 piezas.