V první polovině 17. století je rodem Widerspergerů založen poplužní dvůr, nejdříve pojmenován po obci Švarcava. Součástí dvora byl ovčín a 65 strychů polí. Po požáru v roce 1812 byl na stejném místě vybudován lovecký zámeček, již pojmenovaný Dianin. Stála zde škola pro děti z Horní a Dolní Huti, Švarcavy a Františkovy studánky. Další majitelé vybudovali koncem 19. století oboru pro daňky a jeleny.

Po druhé svět. válce sloužil zámeček jako rota pohraniční stráže a v současnosti zbývají ze zámečku pouze výrazné zříceniny až do výše prvního patra. Ostatní budovy je možné rozpoznat dle základových zdí a terénních nerovností.