Felipe II ordenaría la creación en la Iglesia de los Jerónimos de el Cuarto Real, un lugar para el retiro espiritual del rey y el alojamiento de las visitas ilustres, pero no era un lugar cómodo. Las críticas llovieron desde Europa por medio de sus embajadores que no dudaban en decir que España no se merecía ese palacio. Ya con Felipe IV, el Conde Duque de Olivares convencería al rey de la necesidad de hacer un palacio al uso de Versalles, para el descanso real y para las ilustres visitas.
