Skalne wzgórze Kadzielni zbudowane jest z wapieni górnodewońskich, głównie franu, a w wyższej części także famenu. Występują tu liczne skamieniałości koralowców, stromatoporoidów, trylobitów, łodzikowatych i innych zwierząt morskich sprzed 350 mln lat. Do cenniejszych znalezisk paleontologicznych należą ryby pancerne. Można tu zaobserwować liczne zjawiska tektoniczne, mineralizacyjne i różne formy krasowe. Kadzielnia stanowi największe skupisko grot i jaskiń na Kielecczyźnie.