После гибели двух своих сыновей Зикравайх, который до этого времени скрывался, решил лично возглавить движение. Карматы поклялись ему в верности. Возглавив армию карматов, он перешел в наступление на Сирию, где совершил много кровавых преступлений. Его отряды убивали мирное население, насиловали женщин, поджигали дома, уничтожали целые селения, нападали на караваны паломников. Затем они осадили Дамаск, но не сумели захватить город. В 310 году хиджры Зикравайх потерпел поражение от войск Халифата. Он был арестован и казнен. После этого события карма- ты ушли из Ирака и Сирии.
После серии поражений в Ираке, Сирии и Иемене, карматы закрепились на острове Бахрейн. В 301 году хиджры после смерти Абу Саида аль-Джаннаби, бахрейнских карматов возглавил его сын Саид. Спустя некоторое время его сверг его брат Абу Тахир Сулейман. Он держал народ в страхе, совершал мерзкие поступки и посягал на честь и достоинство людей. Затем он предпринял поход на другие провинции Халифата. В 311 году хиджры он захватил Басру, а в 313 году Куфу. В этих городах карматы совершили массу преступлений против мирного населения. Затем они двинулись на Мосул, а оттуда повернули на юг и двинулись на Мекку. Население городов и селений, через которые проходили отряды Абу Тахира Сулеймана, в панике покидали свои жилища. В 316 году хиджры он разгромил армию халифа аль-Муктади, а на следующий год захватил Мекку. Карматы убили множество паломников и совершили массу чудовищных преступлений. Абу Тахир Сулейман приказал бросить тела убитых паломников в колодец Замзам, вытащил Черный камень из стены Каабы и забрал его с собой. Черный камень оставался у карматов в течение 22 лет, до 339 года хиджры. Затем они вернули его обратно.