Zamek Bolsover został zbudowany przez rodzinę Peverel w XII wieku. W czasach średniowiecznych posiadłość przechodziła wielokrotnie z rąk do rąk, aż zaczęła popadać w ruinę. W 1553 roku dwór i zamek zostały zakupione przez sir George’a Talbota. W 1608 roku zostały one sprzedane sir Charlesowi Cavendishowi, synowi Bess Hardwick, który przystąpił do odbudowy zamku, proces ten kontynuował jego syn William Cavendish. Z nazwy jest to zamek, ale został zaprojektowany do eleganckich życia, a nie do obrony. Wieża, znana dzisiaj jako Mały Zamek, została ukończona w 1621r. Podczas wojny domowej zamek Bolsover został przejęty przez parlamentarzystów, którzy go zaniedbali i znów popadł w ruinę. Jednak William Cavendish odzyskał swoją własność. Ostatecznie zamek stał się jedną z siedzib książąt Portland. Po roku 1883 był niezamieszkany i ostatecznie w 1945 roku został przekazany do skarbu państwa i jest ogólnie dostępny dla zwiedzających.