Durante el reinado de Carlos V, se llevó a cabo una fallida expedición sobre Argel en 1518, y en 1519 Hugo de Moncada fue derrotado en el mar por naves corsarias.
Siendo la isla de Djerba un puerto del rey de Túnez, feudatario del sultán de Turquía Selim I y base de corsarios turcos y berberiscos en el Mediterráneo, y habiendo padecido numerosos ataques tanto terrestres como a navíos españoles, el Emperador decidió en 1519 preparar una expedición para tomar esta plaza.
Tras desembarcar el ejército a unas 18 millas de los Gelves, el día 28 de mayo se inicia la marcha contra la isla, y tras caminar milla y media son atacados por el ejército del jeque Said, compuesto por diez o doce mil infantes y apenas doscientos soldados de caballería.
El 8 de mayo, se fortifica un caserío a medio camino del castillo.
El jeque no quedó desposeído de la plaza, sino que se convirtió en tributario del rey, obligándole a pagar una renta de 12.000 doblas por año.