Según la leyenda, fue fundado en el siglo X por Ali ibn al-Hassan Shirazi,[1] un príncipe persa de Shiraz.
Bordeando la costa africana, Ali compró la isla de Kilwa a los habitantes bantúes locales.
Según una crónica (Strong, 1895), Kilwa era originalmente propiedad de un rey bantú continental 'Almuli' y estaba conectada por un pequeño puente terrestre al continente, que aparecía durante la marea baja.
En solo unos años, la ciudad fue lo suficientemente grande como para establecer un asentamiento satélite en la cercana isla de Mafia.
El sultán podía nombrar a un gobernador o supervisor, aunque su autoridad no era igual en todas partes: en algunos lugares (por ejemplo, puestos avanzados como en la isla de Mozambique) era un verdadero gobernador, ejerciendo en nombre del sultán, mientras que en ciudades más establecidas como Sofala sus poderes eran mucho más limitados, más parecido a un embajador en la ciudad, que a un gobernador.
Muhammad mantuvo esa línea más o menos hasta el final, frustrando las ambiciones de Hassan.
Que nadie hubiera visto ni oído hablar de este príncipe, ausente durante años, fue muy conveniente para el emir Ibrahim.
La usurpación del sultanato por el emir Ibrahim conmocionó no solo en Kilwa, sino también en las ciudades vasallas.
Entregó su informe de exploración a Lisboa, describiendo el estado real del sultanato.
Habiendo asegurado tratados separados con Malindi, Mozambique y el importantísimo Sofala, los portugueses utilizaron su amenazante flota para atacar la propio Kilwa e imponer un importante tributo al emir Ibrahim.
Se ha especulado si Ibrahim habría perdido una oportunidad de oro para restaurar su fortuna si hubiera alcanzado un acuerdo con Cabral en 1500, pues podría haber asegurado la ayuda de la marina portuguesa para recuperar a sus antiguos vasallos semiindependientes bajo su dominio.
Al menos un noble de Kilwan, un tal Muhammad ibn Rukn ad Din (conocido por los portugueses como Muhammad Arcone), aconsejó al emir Ibrahim que entablara una alianza con los portugueses (por sus esfuerzos en conseguirlo, fue entregado como rehén a los portugueses por el emir, que luego se negó a rescatarlo, lo que le llevó ser sometido a la ira de Gama).
Después del golpe de Estado del emir Ibrahim, no fue difícil persuadir al jeque Isuf de Sofala (Yçuf en Barros y Çufe en Góis) (aparentemente un sobrino del fallecido emir Muhammad) para que rompiera, y firmó un tratado con los portugueses en 1502 que permitía la construcción de una factoría portuguesa y un fuerte en Sofala en 1505.
Recordando las correcciones constitucionales, Arcone insistió en que Micante, el hijo del difunto sultán al-Fudail, fuera designado su sucesor.
Los portugueses levantaron una fortaleza (Fuerte Santiago) en Kilwa y dejaron una guarnición, al mando de Pedro Ferreira Fogaça.
Según la regla de sucesión preestablecida, Micante ascendió al trono, pero Fogaça, al ver que la ascensión de Micante era apoyada por la antigua facción del emir Ibrahim, concluyó que no sería un títere portugués.
Pereira falló a favor de Hussein, confirmándolo como sultán, pero suavizó el golpe relevando al impopular comandante Fogaça y levantando las restricciones mercantilistas sobre el comercio marítimo de Kilwa.
En 1886, Kilwa fue anexado e integrado en la colonia del África Oriental Alemana, hasta 1918, después de la Primera Guerra Mundial.