Aunque es probable su existencia en tiempos de los romanos, las primeras noticias históricas se refieren a su castillo (Castillo de Peñas Negras), que se rebeló contra Abderramán III y fue dominado personalmente por el propio califa en el año 927, siendo una fortaleza fronteriza de relativa importancia estratégica durante la Reconquista. En ella estuvo encerrado el duque Valentín, hijo de Alejandro VI, que se fugó por la torre sur tras dar muerte al alcaide.


