La muntanya de Castellet juntament amb les restes del castell i el santuari formen un conjunt patrimonial de primer ordre al municipi. El topònim Castellet, identificat per primera vegada en una butlla papal del 1001 dona nom al municipi i al terme. El castell amb el terme va néixer probablement a finals del segle IX per consolidar la línia defensiva fronterera amb el món musulmà, del Llobregat-Cardener, i la seva repoblació. El castell tenia uns senyors jurisdiccionals i uns vassalls, els santvicentins, que fins a la meitat del segle XIX en pagaven els delmes, censos i en feien juraments de fidelitat. La decadència del castell, a partir del segle XV, va fer que s'acabés abandonant i un nou edifici en fes aquesta funció administrativa al territori, la Casa del Castell o Castell Nou, que fins al 1938/1948 encara es mantenia dempeus. El llibre també documenta les diferents nissagues de senyors jurisdiccionals. L'últim senyor, el baró Marià d'Alegre, d'Aparici i d'Amat, morí el 1831. Amb la decadència del castell, el santuari va anar prenent rellevança. Es passà d'una petita capella romànica al redòs del castell, ja documentada a la meitat del segle XII, a un edifici ampliat totalment el 1884. Se'n documenten romeus ja al segle XIV. Desdel segle XVII es tenen documentats els ermitants, que vivivien al a la Casa de l'Ermità, guardaven la capella, i acaptaven a Manresa i comarca.