2.1. Administración central
En un primer momento, la mayor parte del territorio pasó a estar gobernado por un Valí (walí), delegado del Califa de Damasco, que se encontraba al frente de la Administración, de la Hacienda, de la Justicia y del Ejército, pero sin que hubiera una organización político-administrativa en sentido estricto. Estos valíes organizaron políticamente la península según el modelo de Damasco desde el 716 pero, dado que los vínculos eran débiles, gozando de mucha autonomía hasta que en el año 756 al-Andalus se proclamó estado independiente, quedando tan sólo un reconocimiento tácito de la autoridad religiosa. A partir de este momento se detectaron cambios esenciales en la administración califal.
Aunque desde el principio la administración se configuró como centralizada con un personal jerarquizado, la idea que dominaría sería la descentralización del poder político, siendo Abdal-Rahman II quien inició una reforma administrativa para organizar las instituciones y la economía del país siguiendo el modelo abbasí, concentrando el poder en la figura del Emir y situando bajo él al hayib y al wasir. El emir reunía las mismas cualidades del califa, y por lo tanto era un monarca con tendencia al absolutismo que dependerá religiosamente del califa de Damasco. El reinado de Muhammad I (852-886) supondrá una serie de revueltas étnicas, hasta llegar al reinado de Abdal-Rahman III, que aportó un toque de estabilidad con la instauración del Califato.
La persona más cercana al califa y director del gobierno era el hayib o hachib (chambelán, mayordomo, primer ministro o Secretario de Estado), cuyo cargo era equivalente al del visir existente en Damasco. Sus funciones eran sustituir al príncipe cuando éste delegaba su autoridad en él y ser el jefe directo de la Administración central, militar y provincial. Controlaba la Secretaría de Estado, organizada con personal jerarquizado, y se encargaba de la correspondencia oficial y la administración de la Hacienda pública, manteniendo informado en todo momento al califa.
Los visires se encontraban por debajo del hayib, al que rendían cuentas, existiendo uno por cada una de las ramas de la Administración y juntos constituían un consejo.
Existe también una especie de Secretaría de Estado o Cancillería (Kitaba) a cuyo frente estaba el jefe de la chancillería califal, cuyas funciones fueron muy numerosas ostentando el cargo de visir. Con Abdal-Rahman III se reestructuró dicha secretaría en cuatro órganos, a cuyo frente se situó un visir. Cada uno de ellos se ocupaba de la correspondencia provincial, la correspondencia fronteriza, la ejecución de los decretos del califa y la atención a las reclamaciones. El correo fue esencial en la España musulmana, de ahí que el jefe de correos también fuese un funcionario importante. Junto a la cancillería, el califa contaba con su propio secretario privado.
Al proclamarse las taifas, dado que el monarca solía llevar el título de Hayib, el siguiente puesto en la Administración era ocupado por el visir.
En el reino nazarí de Granada, por debajo del sultán se encontraba un visir, que hacía las veces de primer ministro, que informaba al soberano de aquellos asuntos que debía saber y aprobar. Este visir, que podía alcanzar la dignidad de "Doble Visir" (con competencia civil y militar), era nombrado por el monarca por tiempo limitado en virtud de sus cualidades personales, no siendo indispensable que permaneciera a la nobleza. El visir actuaba por delegación del monarca o, en aquellos casos en que interviniese él mismo, a sus órdenes, siendo un funcionario de competencias diversas. Era el encargado de la ejecución de lo ordenado por el sultán, del reparto de asuntos a los funcionarios para obtener informes, de la correspondencia y, en ocasiones, de la redacción de los decretos, pudiendo asimismo tener delegadas las funciones militares.
2.2. Administración territorial: las Coras y los Valies
Los musulmanes aprovecharon el esquema administrativo de la provincia romana, fruto de la división cosntantiniana en diócesis. De ahí que en un principio existiese un gobernador, el qaid al-Kura, equivalente al dux provincial, según la práctica omeya del organizar el tesoro, ejército y administración de justicia, de acuerdo con los límites territoriales.
Durante el Califato se organizaron distritos administrativos o Coras (Kuwar, singular de Kura), que estaban centradas en las ciudades y el territorio circundante, de forma que cada Cora tenía varios distritos o partidos y una capital. Al frente de cada Cora estaba un gobernador o valí que nombraba el califa y a cuyo cargo estaba una secretaría, un servicio fiscal y una caja de reclutamiento, al existir listados con los miembros de la Cora que podían acudir a alistarse en momentos de levas. En las ciudades se situaba al Sabih almedina, figura que proviene del comes civitatis, encargado de la administración y policía urbana, existiendo también un muhtasib, jefe del mercado con jurisdicción. Los no musulmanes tenían una cierta autonomía organizándose en comunidades a cuya cabeza se encontraba un comes encargado de su capitación.
Importantes también fueron las Marcas (Thugur) que eran territorios militares que se establecían en zonas de guerra y que por tanto estaban permanentemente en alerta, para defender zonas más pobladas. Existieron tres Marcas: la superior con capital en Zaragoza, la media con capital en Toledo y la inferior con capital en Mérida. Al frente de las mismas se colocaba a un jefe militar, que gozaba de poder e independencia, lo que supuso en algunas ocasiones que estos gobernadores llegasen a oponer resistencia al gobierno central e incluso en llegasen a declararse independientes. Desaparecerán con los reinos de taifas.
La administración territorial taifa y nazarí giraba en torno a un gobernador (Valí), un jefe militar (Caid) y un agente fiscal (Amil).
2.3. Administración local
La administración local fue ejercida en la etapa nazarí por los alcaides y alguaciles, nombrados por el sultán.