I Celestini acquistarono il feudo di Carmiano nel 1448, dai baroni che avevano governato per circa sessant'anni. In questi anni loro avevano costruito un palazzo, in cui risiedevano. Quando i celestini s'insediarono a Carmiano, scelsero come dimora l'allora Palazzo Baronale, che con le dovute modifiche divenne un convento. Il palazzo fu realizzato in varie epoche e il nucleo più antico risale alla prima metà del XIV secolo. Articolato in piano terra e primo piano, presenta un maestoso prospetto movimentato da porte e finestre e da un ampio portale affiancato da due nicchie con statue di santi e sormontato dallo stemma dell'ordine dei Celestini. La cappella al suo interno, dedicata a San Donato, è affrescata con pregievoli dipinti. Il chiostro è dominato da un pozzo decorato con grande fastosità barocca. Il primo piano ospita le stanze in cui vivevano i monaci.