Убедившись в том, что никакие уговоры и угрозы не могут заставить Мухаммада и первых мусульман отказаться от своих убеждений, они начали подвергать их оскорблениям и насмешкам. Враги пророка распространяли в его адрес клевету, намеренно искажали содержание ниспосланных ему от
Аллаха откровений (См. Наджм). Затем, в четвертом году после начала пророческой миссии Мухаммада, начались преследования, пытки и даже убийства мусульман (например, см. Аммар ибн Йасир, Билал аль-Хабаши, Хаббаб ибн Арат). Благодаря непоколебимой вере в Аллаха, Мухаммад и его последователи стойко переносили все эти жизненные испытания. В условиях непрекращающихся гонений и репрессий мусульмане часто бывали вынуждены скрывать свою веру, избегать собраний. В этих условиях единственным местом, где они могли тайно встречаться с пророком и совершать коллективные молитвы был дом Аркама (См. Аркам ибн Абу аль-Аркам), куда переехал пророк Мухаммад. В этот период, дом Аркама играл функции своеобразного штаба и координационного центра для мусульман.
Преследования мусульман со стороны курайшитов приняли такой ожесточенный характер, что в пятом году после начала пророческой миссии, Мухаммад принял решение переселись в Эфиопию небольшую часть мусульман, чтобы спасти их от репрессий. Годом позже туда отправилась более многочисленная группа людей. Большинство из них вернулись обратно (в Медину) только после хиджры [Подробнее о переселении мусульман в Эфиопию см. Хиджра (I)].
Несмотря на гонения, к шестому году после начала пророческой миссии Мухаммада количество мусульман в Мекке значительно возросло, и идеи Ислама становились все более популярными. Мусульманами стали такие известные и авторитетные люди, как Хамза ибн Абд аль-Муталлиб и Омар ибн Хаттаб. Благодаря этому мусульманская община так окрепла, что впервые после долгих лет гонений, пророк, в сопровождении Омара, Хамзы и группы других мусульман, вошел в Каабу и они совершили там коллективную молитву. После этого стало ясно, что мусульмане, несмотря на свою малочисленность, уже заявили о себе как о серьезной общественно-политической группе, влияние которой стремительно возрастало, несмотря на преследования со стороны курайшитов. По этой причине над пророком Мухаммадом нависла угроза физического устранения. Опасаясь этого, его дядя Абу Талиб и другие представители клана Хашим в соответствии с арабскими обычаями объявили о том, они будут защищать Мухаммада. Это означало, что любые действия представителей других кланов против него вызовет ответную реакцию и месть хашимитов. На их стороне были также все мусульмане, независимо от родовой принадлежности. Только Абу Лахаб покинул хашимитов и примкнул к врагам пророка.