Завоевав огромные территории и установив халифат, арабам пришлось решать проблемы во взаимоотношениях с местным населением, проживавшим на завоеванных территориях и исповедовавшим христианство, иудаизм и зороастризм (Иран). Иудеи и христиане получили статус «зимми» (ахль аз-зимма — «люди договора»), их называли также «людьми Писания». В отличие от язычников-идолопоклонников, которых надлежало убивать, если только они не переходили в ислам, «люди Писания» могли жить в мусульманской стране, не принимая ислам, и их нельзя было к этому принуждать.
Однако взамен они должны были выполнять ряд требований, указанных в заключенных с мусульманами договорах. Эти договоры известны чаще всего как «законы Омара» — по имени халифа, при котором они были написаны. Согласно им, иудеи и христиане должны были выплачивать специальный налог — «джизью», должны были носить отличные от мусульманских прически и одежду (к примеру, евреи — желтую, а христиане — синюю); не должны были ездить на лошадях, либо пользоваться другими седлами, не строить дома выше, чем дома мусульман, не строить новых синагог и церквей, не занимать административных постов и т. д. Все эти ограничения снимались при переходе в ислам. Если кто-либо из зимми хотел перейти в ислам, ему запрещено было препятствовать, дети, оставшиеся сиротами, забирались властями и воспитывались также в исламе. Все эти меры имели своей целью стимулировать «людей Писания» к переходу в ислам, поскольку их, в отличие от язычников, нельзя было к этому принуждать, угрожая смертью. Мусульмане действовали здесь вполне в традициях ислама, согласно которому все люди изначально рождаются мусульманами, а родители и окружение делают их потом иудеями, христианами и т. д.
Видимо, для ослабления других религий и поощрения перехода в ислам халиф ал-Мамун издал в Х в. закон о том, что любая группа немусульман в количестве 10 человек и больше может отделиться от своей религии и создать свою.
В реальности этим правилам не всегда следовали, многое зависело от взглядов и отношения того или иного правителя. Вдобавок мусульманские власти нуждались во всякого рода чиновниках на местах, врачах, переводчиках. Эту роль, особенно на первых порах, исполняли выходцы из еврейской и христианской общин, будучи более образованными и опытными в управлении. Благодаря развитию торговли возникали новые города, и появлявшиеся в них еврейские и христианские общины не могли существовать без новых церквей, синагог и. т.д. Сохранилось также множество свидетельств того, что зимми далеко не всегда носили полагающиеся знаки отличия в одежде. В целом положение зимми зависело от взглядов и мнения того или иного правителя.
Статус евреев и христиан в арабском халифате