Constitui uma das mais notáveis obras de arquitetura militar edificada durante a ocupação muçulmana em Portugal. Embora alguns autores sustentem a sua génese em períodos anteriores, a cidade e o castelo indiciam uma fundação islâmica. A primeira referência conhecida remonta ao século X, com al-Razi (historiador e geógrafo), que se refere a Silves como tendo castelo e simultaneamente que constituía a melhor vila do Algarve.

Localizada no outeiro, sobranceira à cidade, a antiga alcáçova da Xilb islâmica, em forma de polígono irregular, é composta por imponente muralha, construída em taipa militar e revestida a arenito vermelho (grés de Silves). Integra onze torres, nove adossadas e duas albarrãs, entre as quais se desenvolve um caminho de ronda, com uma extensão de 388 m.

O acesso ao interior, com cerca de 12 000 m², é feito por uma porta dupla de átrio, ladeada por duas torres que a protegem. A norte localiza-se a Porta da Traição, pequeno postigo que permitia transpor a muralha com discrição. Conservam-se no recinto vestígios de um palácio do período almóada, um aljibe grande cisterna e outros vestígios arqueológicos. O Aljibe tem associada a Lenda da Moura Encantada, segundo a qual nas noites de São João surge uma moura navegando sobre as águas da cisterna entoando cânticos e aguardando o desencantamento.