В битве при Хандаке (5 г.х.) мусульманам пришлось противостоять почти 10 тыс. армии язычников. Было решено не давать генерального сражения, а занять оборонительную позицию в Медине. Однако город не был обнесен крепостными стенами, что осложняло его оборону. В этот сложный момент мусульманской истории, выход из создавшегося положения нашел Салман. Он сообщил пророку и другим своим товарищам, что в Иране, в оборонительных целях, иногда рыли рвы, которые задерживали наступление противника и облегчали оборону городов их защитникам. Эта идея понравилась пророку, и он приказал в срочном порядке приступить к рытью рва вокруг Медины. Благодаря этому рву, мусульманам удалось отразить натиск превосходящих сил противника. Эта битва так и вошла в историю под названием битвы "у рва" (Хандак).
После этого Салман аль-Фариси всегда был вместе с пророком Мухаммадом, а после его смерти, в период правления халифа Абу Бакра, поселился в Медине. В период правления халифа Омара, Салман принял участие в войнах мусульман против Ирана. Он находился в составе войск под командованием Саада ибн Абу Ваккаса, и содействовал победам мусульманской армии. Салман делал все от него зависящее, чтобы его родной народ - персы приняли Ислам и прекратили сопротивляться мусульманам. Он объяснял своим соотечественникам, что мусульмане призваны осуществить великую Божественную миссию и не собираются порабощать их. При взятии мусульманами столицы Ирана Мадаина (Ктесифона), он уговорил гарнизон шахской охраны дворца к сдаче. Всем персам он показывал себя в качестве примера того, как воины-арабы подчиняются ему - персу.
Покорив Мадаин, командующий мусульманской армией Саад ибн Абу Ваккас основал там свой штаб. Но, затем, халиф Омар приказал найти в Ираке более подходящее место для дислокации мусульманской армии. Новое место должно было быть стратегически более подходящим. Исполняя приказ халифа, Салман и Хузайфа основали южнее Мадаина, на побережье Ефрата, город Куфу (17/638) и превратили его в оплот армии. Затем халиф Омар назначил Салмана наместником Мадаина, где он и умер в 36 году в возрасте приблизительно 80 лет. Однако имеются и другие даты его смерти.