Tra i secoli XII e XV è da ipotizzare un trasferimento di un primitivo fortilizio eretto sulla cima del Catarozzolo in un altro sito ovvero l'attuale Castello. Appare problematico avanzare ipotesi sull'epoca di realizzazione del secondo Castello, o più correttamente del Palazzo Comitale, il cui nucleo più antico potrebbe essere attribuito ai Normanni. La struttura più antica, che ormai non esiste più, aveva funzioni meramente militari; mentre la più recente ancora esistente oltre che funzioni militari, aveva anche funzioni di rappresentanza e di residenza della Famiglia Comitale. L'attuale Castello venne ingrandito e abbellito dai Sanseverino nel XIV secolo, era circondato da mura, di cui sopravanzano alcuni bastioni con torri. Dopo i Sanseverino il Castello di Chiaromonte subì un degrado: diventando un semplice palazzone agricolo nel XVII secolo. Per salvare il Castello dalla rovina, nel secolo successivo, la Camera Comitale decise di recuperarne la parte più solida, affidando i lavori ad alcuni artigiani del posto. Il Castello fu trasformato in Monastero. La ricostruzione fu completata nel 1855, come si desume da un contratto di appalto tra il Vescovo Acciardi e Carlucci il 30/05/1849. Nel 1869 il comune di Chiaromonte chiese il rilascio del Monastero per alloggiarvi alcuni enti del territorio. Per consolidare la destinazione del fabbricato e conservarne il possesso, il Vescovo il 16 giugno 1869 solennizzò la monacazione di cinque educande nel convento a porte chiuse. Poichè tale espediente costituiva aperta violazione ad una legge la sottoprefettura di Lagonegro chiesero lo sgombero delle religiose, l'ex Castello rimase comunque proprietà del Vaticano. Nel 1828 fu occupato dalle Suore Figlie dell'Oratorio, che vi istituirono un orfanotrofio, un asilo infantile e scuola di lavoro. E' formato da tre corpi: uno a sud a tre piani, con finestroni rinascimentali all'ultimo piano; un corpo a due piani sul lato ovest; e un terzo anche a due piani sul lato nord, nel quale ancora oggi troviamo il ponte che collega il Catello con la Chiesa di San Tommaso Apostolo, inizialmente cappella della fortezza, e che permetteva alla Contessa ed al suo corteo di damigelle di accedervi per le funzioni religiose,senza farsi vedere dai popolani. Attualmente il passaggio è stato murato, proprio per dividere i possedimenti della Curia da quelli della Sovrintendenza. Nei livelli inferiori erano ubicate le stalle per i cavalli, la prigione e le stanze segrete. Mentre il giardino intero è protetto sul lato est da un muro della antica linea fortificata che curvando chiudeva il Castello all'altezza dell'adiacente Chiesa di San Tommaso.