Barokowy pałac został wzniesiony w XVIII w. dla ówczesnego właściciela miasta, późniejszego bpa Józefa Pawłowskiego. Obiekt został rozbudowany pod koniec XIX w. z inicjatywy Stefana Łąckiego. Po II wojnie światowej wielokrotnie remontowany, zaadaptowany na potrzeby ośrodka zdrowia.