Il Palazzo Vescovile venne edificato nel 1773, per volere del Card. Bufalini, in sostituzione del vecchio palazzo situato nei pressi di Sirolo, e fu utilizzato come residenza estiva dai Vescovi di Ancona.
Costituito il Regno d'Italia ed avvenuta la soppressione dei beni ecclesiastici, il Palazzo non andò al demanio, ma restò alla Chiesa. In seguito, con decreto di demanazione, il Palazzo fu acquisito dallo Stato che nel 1911 lo consegnò al Comune dietro modico compenso, e divenne sede municipale fino al 1928, anno in cui il Comune di Numana fu unito a quello di Sirolo. Nel 1929, l’ex palazzo vescovile venne utilizzato come sede di un opificio industriale per la lavorazione delle fisarmoniche. Lo stabile fu restituito al Comune nel 1966 e, completamente ristrutturato, è divenuto nuovamente sede municipale dal 1983.