En La Granja de San Ildefonso se construyeron casas para los embajadores de Nápoles, Francia y Portugal, porque se consideraban Embajadores de Familia debido a los vínculos de sangre que unían a los reyes de estos países con la monarquía española.
Frente al edificio de Infantes se encuentra la casa que, en el Siglo XVIII, se levantó para alojamiento de las personas de Cámara. Comenzó a edificarse en el año 1774 bajo la dirección de José Díaz Gamones. Se trata de un palacete con sobria fachada principal, en la cual se abren vanos sencillos, y en el centro una portada de entrada rematada por guardapolvos rectos. Es de destacar el tratamiento curvo de la esquina en piedra, lo cual remite a modelos de la trama barroca. Como en otros casos, decoran sus superficies exteriores revocados con motivos arquitectónicos hoy restaurados. En el interior las habitaciones se disponen en a un patio porticado en tres de sus lados, y cuenta con una interesante escalera que comunica los distintos pisos. Hasta mediados del siglo XIX fue propiedad del Patrimonio Real, pero poco después se vendió a D. Ignacio Baüer, por lo que pasó a llamarse Casa Baüer hasta la actualidad. Este propietario mandó realizar un gran jardín que rodea el edificio por los lados sur y este. Podemos ver el cerramiento de dicho jardín a continuación de la fachada principal, donde se levantó un espléndido pórtico con columnas dóricas adosado a la fachada lateral. En la parte posterior el jardín contribuyó a dar un aspecto cuadrangular a la Plaza de la Cebada.
En la calle del Barco, se encuentra un edificio destinado originalmente para el alojamiento del Embajador de Francia, quien residía en Valsain antes de construirse el edificio al que nos referimos en 1772. 29
Calle de Infantes, se encuentra otra casa que fue la del Embajador de Nápoles semejante a la del Embajador de Francia, al otro lado de la Calle de la Reina y de la que ya hemos hablado. Los dos embajadores citados se alojaban fuera del recinto antes de 1772, fecha en que se construyen las casas descritas; el de Francia en Valsaín, y el de Nápoles en la Casa de la Mata, casa situada en las proximidades de La Granja, y que desempeñó un papel interesante en la historia del lugar. En La Granja se construyeron casas sólo para los embajadores de Nápoles, Francia y Portugal, porque se consideraban Embajadores de Familia debido a los vínculos de sangre que unían a los reyes de estos países con la monarquía española. El resto del personal diplomático se acomodaba en edificios destinados al alojar al resto de la comitiva.