Edificio original del siglo XVII, fue el lugar donde se encontraba el Antiguo Hospital de la Misericordia. Este hospital fue trasladado a esta ubicación cuando los Condes de Oropesa deciden costear la construcción del Convento de las Agustinas recoletas, que se levantó en el solar que ocupaba el antiguo Hospital de la Misericordia.
Los Condes de Oropesa, obligados por el Ayuntamiento, compraron la llamada “Casa de los Herreros” y levantaron una nueva construcción como Hospital de la Misericordia, condición impuesta por los mandatarios municipales a cambio de otorgar permiso y ceder los terrenos para hacer el Convento del Santísimo Cristo de las Misericordias. Estos hospitales dieron asistencia sanitaria a todos aquellos necesitados de la época y sirvieron para dar cobijo a viajeros y peregrinos que por estas tierras se dirigían principalmente hacia el Monasterio de Guadalupe.
En el último tercio del siglo XIX fue adquirido por la familia Castillo, originarios de Quismondo (Toledo), contratistas de la vía férrea en el tramo que pasaba por La Calzada, que proceden a la reforma del edificio para adecuarlo a la época. Uno de los miembros de la familia Castillo, Doña Genoveva, asesinada en la guerra civil, por su carácter y destacada personalidad, ha dado el nombre al edificio hasta el día de hoy.
