La fundación principal de Abd al-Rahman III fue el centro residencial y administrativo de Madinat al-Zahra' (Medina Azahara), comenzado en 936 y al que se trasladó la corte en 945. La ciudad se extendía sobre un terreno amurallado de unos 1500 x 750 metros. Debido a la pendiente, en una estribación de la sierra cordobesa hacia el valle del Guadalquivir, se construyó sobre tres terrazas superpuestas. La residencia califal dominaba toda el área desde la terraza superior, al Norte. La explanada media albergaba la administración y las viviendas de los más importantes funcionarios de la corte. La inferior estaba dedicada al pueblo y los soldados, con la mezquita, mercados, baños y jardines públicos.

El palacio consta de una parte pública y otra privada. La arquitectura palatina reviste las mismas formas estructurales y ornamentales de las mezquitas contemporáneas (especialmente los arcos, con alternancia de dovelas de ladrillo y de piedra). El empleo de la sillería será un importante factor diferencial respecto al posterior arte nazarí del Reino de Granada. La casa privada se llamaba Dar al-Mulk o "Casa del Poder", matizando que "mulk" alude al poder atribuido en exclusiva a Dios, de modo que quizá el califa se arrogaba esta prerrogativa divina. La Dar al-Mulk se hallaba en la parte más elevada del complejo.

La parte pública del alcázar era conocida como Dar al-Yund ("Casa de los Militares"). Constaba de un gran patio o explanada y salas porticadas. Otro sector es Dar al-Wuzara, o "Casa de los Visires". Pero la zona mejor conocida es el famoso Salón del Trono o Salón Rico (donde se ha realizado recientemente una espectacular reconstrucción arqueológica). Consta de un pórtico de entrada, formado por cinco arcos de herradura, que comunica la sala con el patio anterior y su gran estanque. El salón lo forman tres naves separadas por arquerías de herradura. Son de un gran interés los paneles decorativos de yeserías, a base de motivos vegetales estilizados y geometrizantes, las más de las veces inspirados en el hum o "Árbol de la Vida". Estos rasgos basados en pautas matemáticas y rítmicas nos hablan del neopitagorismo y el neoplatonismo imperantes en la estética islámica.