El castillo de Púbol es una construcción de carácter medieval contigua a la iglesia, organizada en torno a un patio muy alto y estrecho y con un jardín. Fue un obsequio de Dalí a Gala donde ella podría refugiarse y él sólo podría acceder bajo rigurosa invitación.

En 1969, cuando Dalí decidió regalarle esta vivienda a Gala, el castillo estaba en un avanzado estado de abandono, con una vegetación que lo dominaba todo, es decir, en un ambiente salvaje. Entonces, ambos decidieron restaurarla a su gusto. Durante un año se crearon habitaciones muy grandes y con techos muy altos, un jardín con esculturas de elefantes de largas patas y con un cuervo sobre la grupa. También se construyó una piscina decorada con bustos de Richard Wagner, realizadas en cerámica de varios colores, y en diferentes partes del castillo y del jardín.

En su interior se pueden ver las pinturas y los dibujos que Dalí regaló a Gala para ser expuestos en el castillo, además de las esculturas de elefantes que decoran el jardín, una colección de vestidos de alta costura de Gala, y el mobiliario y los numerosos objetos con que ellos decoraron el castillo.

Salvador Dalí se implicó en la decoración diseñando dos chimeneas, colocando la G de Gala sobre puertas para marcar la propiedad del recinto y pintó personalmente algunas obras para el castillo: un gran óleo titulado El camino de Púbol (1971-73), el panel del techo del Salón de los Escudos, una puerta falsa y dos falsos radiadores, una figura de Gala sobre metal y otras pequeñas pinturas se distribuyen por toda la casa.

Gala murió en Porlligat el 10 de junio de 1982, a los 88 años. Sus restos fueron trasladados en su viejo Cadillac camino de Púbol para ser enterrada en la sala conocida como el delma, la sala del diezmo. Después de fallecer Gala, Dalí no la quiso dejar nunca sola en la cripta y se instaló en el castillo, donde mantuvo casi el mismo contrato de soledad y retiro que ella antes había practicado. Fue durante este período en Púbol cuando el pintor realizó sus últimas obras. Dalí vivió en el castillo entre junio de 1982 y agosto de 1984, cuando debió ser hospitalizado a causa de las quemaduras que le produjo el incendio que se declaró en su habitación. Al salir del hospital se trasladó a vivir a Torre Galatea de Figueres, su residencia hasta que murió en 1989.