После того, как халиф Омар отозвал своего наместника в Куфе Аммара, он назначил туда Абу Мусу аль-Ашари. Однако, через некоторое время, снова вернул его на должность наместника Басры. В 23 году хиджры он сыграл важную роль в захвате иранского города Исфахан мусульманскими войсками. После гибели халифа Омара, Абу Муса, на протяжении 6 лет, оставался наместником Басры. Однако затем, в 29 году, халиф Осман отозвал его и назначил туда Абдуллу ибн Амира.
В 34 году, Абу Муса аль-Ашари снова был назначен наместником Куфы. После убийства халифа Османа он признал власть нового халифа Али, но активного участия в гражданской войне в Халифате не принимал. После битвы при Сиффине, во время третейского суда, был представителем халифа Али. Правда, сам халиф Али не хотел отправлять его на третейский суд, но на этом настояло его окружение. На этом суде Абу Муса объявил о том, что обе противоборствующие стороны неправы и должны подать в отставку, а мусульмане обязаны избрать нового халифа. Дело в том, что, до этого, обе стороны договорились сделать именно это. Однако представитель Муавии Амр ибн аль-Ас отказался признавать неправым Муавию и объявлять о его низложении с поста наместника Сирии. Этим самым он нарушил достигнутую ранее договоренность. После этого шага Амра, шанс на мирное решение проблемы был упущен и гражданская война между мусульманами вспыхнула с новой силой.
После провала на третейском суде, Абу Муса аль-Ашари полностью отошел от политики, уехал в Мекку и до конца своей жизни жил здесь в затворничестве и уединении.
Абу Муса аль-Ашари был прогрессивным и ученым человеком. Будучи наместником Басры и Куфы, он сделал много полезных дел: способствовал развитию наук и образования, построил объекты общественного значения, коммуникации. Сам он был очень набожным и порядочным человеком. Он также был передатчиком хадисов. В его передаче известно около 360 хадисов.