Los infantes contaban con su propia servidumbre, y el alojamiento de las familias de ésta suponía un problema en todos los Reales Sitios. Como consecuencia de ello, Carlos III mandó publicar una orden por la que deberían ser Sus Altezas Reales, los infantes D. Gabriel y D. Antonio, los que se hicieran cargo del alojamiento de dichas familias en los Reales Sitios, edificando, comprando o alquilando casas para ello. Finalmente, se decidió construir edificios para este uso, y así se hizo en Aranjuez, El Escorial y San Ildefonso. Concebido como un gran palacio, la Casa de Infantes le imprime a la calle un aire noble y señorial. El autor del proyecto fue José Díaz Gamones, cuyo papel será decisivo para la arquitectura y el trazado urbano de esta parte de la población. Su nombre debe considerarse esencial para La Granja, superando en conocimientos y calidad a otros maestros.
El gran bloque de este edificio, de planta rectangular con tres patios en su interior, responde a un estilo distinto al de los situados en la Plaza de Palacio. En la fachada principal los vanos se disponen simétricamente en todas las plantas, con sus correspondientes remates en granito, guardapolvos rectos en los balcones de la planta principal y frontones triangulares y curvos alternativamente en la segunda. Tampoco se le da un tratamiento especial a la portada, que se reduce, sencillamente, a un gran hueco adintelado con frontón triangular de remate; una poderosa cornisa de granito corona dicha fachada.
Todo ello contribuye a la imagen que ofrece, la de un gran palacio barroco clasicista, estilo que su arquitecto conocía bien pues había trabajado en el Palacio de Riofrío. Los patios transmiten también un aire extremadamente sobrio, todavía más acusado que en las fachadas, y excesiva frialdad. Se trata de corredores de arcos sobre pilares a través de los cuales se accedía a las viviendas.
Durante el siglo XIX pasó el edificio por diferentes etapas en lo que se refiere a su posesión, aunque buena parte del mismo continuó perteneciendo a los Infantes. En 1908 se pensó hacer un hotel, proyecto que no se llevó a cabo, y continuó utilizándose como edificio de viviendas durante algún tiempo. Durante la Guerra Civil (1936-1939) el edificio se convirtió en un centro de detención,
interrogatorios y tortura del ejército franquista. En 1985, ya sin habitar, hubo un proyecto de rehabilitación que no llega a realizarse por el incendio sufrido un año después. Tras una gran rehabilitación se inauguró como Parador de Turismo en 2007.