Il Palazzo Vescovile, sede del Vescovado, del suo archivio e del Museo Diocesano, è un edificio la cui costruzione fu iniziata nell'XI secolo dal vescovo Gerlando,  nel corso dei secoli è stato ingrandito e abbellito per opera dei vescovi succedutisi alla guida della diocesi agrigentina.

La trasformazione più imponente, ridisegnata dall' architetto Domenico Dolcemascolo alla metà del Settecento, riguardò sia all'interno che il prospetto dell'edificio.

Si presenta con una facciata compatta sobria ed elegante, trafilata da una serie armoniosa di balconi a ringhiera inginocchiata. Il palazzo raggiunge la perfetta armonia nelle sue linee architettoniche, con l'antica Torre dell'Orologio (XV sec.) - con il quadrante ancora ben visibile - e il portale d’ingresso, delimitato da due colonne che sorreggono un balcone coronato dallo stemma di Lucchesi Palli.

Altri segni distintivi della sua nobiltà storico - artistica sono le opere collocate all'interno delle sale. In particolare è possibile ammirare una statua marmorea della Madonna di Monserrato, in stile gaginesco e molte belle tele recentemente restaurate, tra cui ricordiamo l’opera di Pompeo Buttafuco “Santi Cosma e Damiano”; una Pietà del XVI secolo di autore ignoto; le tele dell’artista agrigentino Nunzio Magro, “il Martirio di S. Erasmo” e la “Madonna col Bambino e i Santi Liborio, Lucia, Biagio, Raffaele”; gli “Angeli musicanti” di Francesco Narbone, pittore del secolo XVIII; “I sette santi Vescovi” di Francesco Sozzi (1732-1795)

In una delle sale si trovano i ritratti dei Vescovi Agrigentini, molti dei quali sono stati realizzati nel Settecento da Giuseppe Cristadoro.

Nel 2014 è stato portato a termine il trasferimento all'interno dell'edificio delle opere d'arte del Museo Diocesano , conferendogli una maggiore eleganza con l'incremento e l'apertura di nuovi servizi  il cui l'allestimento del museo prende la denominazione di MUDIA.