Legenda głosi, że pierwotnie zamek miał być zbudowany na innym wzgórzu. Jednak każdej nocy diabły przenosiły gotową część budowli i wszystkie materiały budowlane na górę Chlumec.

Obecnie zamek jest własnością prywatną i pozostaje zamknięty dla zwiedzających.