El Palacio Provincial, antigua Aduana, es un edificio de planta rectangular cuyas dependencias están organizadas en torno a dos patios cuadrangulares. Podemos hablar de edificio sobrio y neoclásico.
En su interior destaca el Salón Regio realizado bajo la dirección del arquitecto Juan de la Vega con motivo del viaje de Isabel II a Cádiz en 1862. Está lujosamente decorado siguiendo el gusto isabelino y con tallas realizadas por Juan Rosado y pinturas de Juan Bautista Vivaldi.
Con anterioridad el edificio dio habitación al rey Fernando VII en 1823, una vez acondicionadas las dependencias, residiendo mientras en la casa del comerciante gaditano Luis Gargollo, en la calle Antonio López.
Entre las anécdotas se cuenta que en su azotea se dedicaba el rey prisionero a volar cometas, actividad que no era meramente ociosa sino con objeto de comunicarse con el ejército del que estaba al mando el duque de Angulema acampado en la otra orilla de la bahía de Cádiz.
Hasta el año 1846, la Diputación tiene diversas sedes, incluso en casas particulares alquiladas, así además de en La Aduana, situó sus dependencias en la calle Isabel La Católica y en la calle Veedor. El 28 de septiembre de 1846 por el Ministro de Hacienda se ordenó al Director General de Aduanas que se autorizase la instalación en la CASA ADUANA DE CÁDIZ de las dependencias del GOBIERNO POLÍTICO. Se hacen diversas diligencias y en una de ellas se consigna de modo categórico que uno de los organismos que se trasladará será el de la DIPUTACIÓN PROVINCIAL y el CONSEJO DE PROVINCIA
En el BOLETÍN OFICIAL DE LA PROVINCIA publicado el día 31 de diciembre de 1846 se inserta una CIRCULAR anunciando que ya funcionaban en la CASA ADUANA las oficinas de la Diputación.
El edificio después de su uso primigenio de Aduana, ha sido sede compartida por el Gobierno Civil, incluyendo la vivienda del Gobernador, la Administración de Hacienda, la Administración de Correos y la Diputación provincial. Esta convivencia, unas veces pacíficas y otras conflictivas, terminó en 1963, una vez construidos los edificios de la Delegación de Hacienda y el Gobierno Civil ( actual Subdelegación del Gobierno ) en las cercanías de las Puertas de Tierra. Desde entonces la Diputación provincial es la que utiliza la sede en exclusiva, aunque hubo un periodo ( entre los años 1986 y 1989 )que fue ocupada por la Audiencia provincial con motivo del acondicionamiento de sus dependencias, para ello se cedió parte de la planta baja.
Actualmente la Diputación provincial tiene su sede en el Palacio provincial, pero dispone de otros edificios en donde tiene ubicados sus centros y oficinas, tanto en la capital como en toda la provincia (edificio Roma; edificio del Antiguo Hospicio provincial, hoy Institución Provincial Fernando Quiñones, Institución Provincial Gaditana, antigua Casa Cuna, etc.).
