L’aspetto attuale di Palazzo Pastore è il risultato dell’intervento ottocentesco di riaccorpamento e ristrutturazione di diverse parti edilizie più antiche. La parte più antica (nucleo originario del tardo 400) è quella nell’angolo tra Via Ascoli e il vicolo con murature con caratteristiche particolari, volte più basse e la formazione di un mezzanino.
La data di costruzione dell’intero Palazzo è probabilmente da collocare tra il 1825 e il 1845 e il Palazzo si presenta come una quinta scenografica con un giardino aperto verso la campagna. Nonostante lo stile sia Neoclassico, esso presentavestigia tardo barocche, sianegli esterni (portale, balconi e ringhiere in ferro battuto, pinnacoli, cornici alle finestre) che negli affreschi interni.La vista a cannocchiale sia dal portone di ingresso verso il giardino sia dal balcone al primo piano verso il parco adiacente suggerisce un luogo di pace e tranquillità con un perfetto equilibrio tra spazi interni ed esterni.
Il palazzosi struttura su due piani; è composto da un corpo principale, interamente occupato dai locali della Biblioteca, più alcune costruzioni collegate che si affacciano sul cortile centrale e che ospitano, oltre all’archivio, un ufficio denominato “mediateca”.
