La Casa de Damas fue la primera Casa de Oficios situada en perpendicular al palacio. Durante el siglo XIX los Reyes la usaron como alojamientos. En 1918 sufrió un devastador incendio quedando el edificio prácticamente destruido en su totalidad. Hoy día acoge el Museo de Tapices del Palacio Real de La Granja, donde se exhibe una importante colección de tapices flamencos de los siglos XV y XVI confeccionados en honor del rey Carlos I España y Felipe II.
Patrimonio Nacional posee una colección de Tapices constituida por más de 2000 piezas, siendo considerada como una de las mejores en su género. Las obras que aquí se muestran fueron adquiridas por personajes emblemáticos de nuestra historia: Juana de Castilla, Isabel la Católica, Margarita de Austria y Carlos V. Se organizan en tres salas: la sala “Los Honores”, la sala de “Margarita de Austria” y una tercera sala dedicada a “Isabel la Católica y Carlos I”.