В Йемене, как и в других регионах, каждая область имела своего вождя. Как уже было сказано, там еще при жизни пророка Мухаммада объявил себя пророком некий аль-Асвад аль-Анси. Против него выступили мусульмане во главе с персом Файрузом ад-Дайлами и убили его. Однако в связи с тем, что спустя один день умер пророк Мухаммад, йеменцы отказались подчиниться мусульманскому государству. Назначенные пророком наместники Амр ибн Хазм и Халид ибн Саид ибн аль-Ас были вынуждены вернуться в Медину. Тогда халиф Абу Бакр начал принимать меры. Прежде всего он попытался разрешить конфликт мирным путем и предложил йеменцам принять Ислам и прекратить сопротивление, а затем был вынужден отправить наместника Мекки Аттаба ибн Усайда и его брата Халида ибн Усайда в йеменскую область Тихаму, чтобы покарать вероотступников. Этот поход был успешным,
и противник был разгромлен. В Таиф был послан Осман ибн Абуль-Ас, а в Шунуу - Ибн Рабиа. Жители этих областей также были усмирены.
Затем в Тихаме взбунтовались племена Ук и Ашар. Против них двинулся Тахир ибн Абу Хала, и ему удалось добиться успеха. После этого Абу Бакр послал Тахира ибн Абу Халу на помощь мусульманам Саны, а Абдулла ибн Саур получил приказ мобилизовать войска. Кроме того, Абу Бакр отправил в Иемен Мухаджира ибн Абу Умаййу и Халида ибн Усаййида. По мере продвижения по мекканской дороге к ним присоединялись другие отряды. Этот поход был успешным - мусульманам удалось разгромить йеменских вероотступников и пленить их лидеров Амра ибн Маадикариба и Кайса ибн Ади Иагуса аль-Макшуха, которые были отправлены к Абу Бакру.
В числе вероотступников оказались и жители Хадрамаута, где проповедовали Уккаша ибн Мухсин и Зияд ибн Лабид аль-Байади. Когда же начали появляться первые признаки вероотступничества, пророк назначил туда наместником Мухаджира ибн Абу Умаййу, но смерть Мухаммада помешала отъезду наместника. Пришедший к власти Абу Бакр подтвердил полномочия Мухаджира, и тот выехал в Сану; одновременно туда же выступил отряд Ик- римы. Они встретились у Марибы, вместе вошли в Хадрамаут и установили контроль над областью. Пятая часть добытых трофеев была отправлена Абу Бакру.