El conjunto de casas que ocupa el actual Ayuntamiento y otras, a la izquierda, fueron desde 1725 el Hospital o Real Enfermería; hasta esa fecha los habitantes del Real Sitio tenían que acudir a Segovia cuando estaban enfermos. Los reyes encargaron a Procaccini el proyecto, que incluía el hospital, el cementerio y una pequeña capilla. Aunque se han realizado varias obras a lo largo de su historia, conserva, agrandes rasgos, el aspecto original.
El edificio ocupa una superficie rectangular alargada y cuenta con bajo, principal y buhardillas; las dependencias se organizan en torno a varios patios. La capilla se construyó en el año 1736 para Administrar los Sacramentos a los enfermos, y fue cedida a la Archicofradía de las Ánimas, hasta el año 1784 en que se estableció la Orden Tercera de San Francisco. Todavía se conserva la última casa de la manzana que ocupa el Ayuntamiento, y que no se distingue por ningún elemento especial, fue originalmente la Plomería. Paradójicamente, no parece lo más adecuado para este tipo de edificios asistenciales donde se quiere silencio y aires sanos. El hospital se adosó a ella, ya que la Plomería se había levantado pocos años antes.
Por razones higiénicas evidentes, el hospital se trasladó al exterior del recinto en 1783, y sabemos que después de dicho traslado se utilizó como escuela durante algunos años, hasta que en 1812, constituido el Ayuntamiento de San Ildefonso, sus dependencias se situaron en él.
