Warownia ta wzniesiona została w latach 1300-1310 z polecenia ówczesnego diuka (księcia) Brabancji Jana II (1275-1312). W XIV wieku zamek został zniszczony i splądrowany przez wojska hrabiego Flandrii Louisa de Male.
Odbudowany, otoczony fosą i potężnymi murami stanowił część pasu obronnego Brukseli. W 1489 roku Beersel przyłączył się do buntu miast niderlandzkich przeciwko cesarzowi Maksymilianowi I . Wtedy to Brukselczycy wspierani artylerią francuską najechali i zdobyli warownię. Podczas walk budowla została dotkliwie zniszczona.
Na przełomie XV i XVI wieku zamek został odbudowany. Wtedy też nadano mu ostateczny kształt. Obecnie stanowi on cenny przykład architektury obronnej okresu średniowiecza.