Apja, Abdul-Azíz, Egyiptom kormányzója volt, anyai ágon pedig Omar ibn al-Khattáb kalifától származott. Fiatalkorában luxuskörülmények között élt Medinában, elhalmozták szebbnél szebb ruhákkal és jobbnál jobb illatszerekkel. Hagyományos vallási oktatásban részesült Medinában, amelynek hatására vallásos emberré vált, sőt mély hitének és tudásának hamar híre ment. Még harmincéves sem volt, amikor Hidzsáz kormányzójává nevezték ki. Az emberek kedvelték és köztiszteletben álló kormányzó volt, mert mélyen vallásos és istenfélő embernek ismerték. Hűen követte Mohamed próféta (Allah dicsérje és üdvözítse) hagyományát, és sokat tett a szegényekért. Szerette meghallgatni az emberek véleményeit, és kikérte tanácsukat.

Szulejmán ibn Abdul-Malik kalifa halálakor Omar végig ott a kalifa halálos ágyánál és láthatta, ahogyan Allah magához veszi a hatalmas iszlám birodalom uralkodóját. Megértette, hogy egyetlen uralkodó uralma sem tart örökké:

„És bizony egyenként jöttök el Hozzánk, úgy ahogyan az első alkalommal megteremtettünk benneteket, és magatok mögött hagyjátok azt, amit reátok ruháztunk. És mi nem látjuk veletek a közbenjáróitokat, akikről azt állítottátok, hogy társak (Allah mellett) tifölöttetek. Elszakadtak tőletek, s eltűntek mellőletek azok, akikről ezt állítottátok” (Korán 6: 94)

Miután a kalifa meghalt, kiderült, hogy titokban úgy rendelkezett, hogy ne gyermekei közül kövessék őt a trónon, hanem unokaöccse, Omar ibn Abdul-Azíz legyen a kalifa. Ez a hír sokkolta Omart. Nem akarta elvállalni a tisztséget, az emberek azonban követelték, hogy fogadja el a kinevezést. Végül Omar elfogadta kalifának való kinevezését. Szónoklatot tartott, amelyben a halálra és túlvilági életre emlékeztette az embereket, és elmondta nekik, hogy ő semmiben sem különbözik tőlük, egyedül abban hogy nagyobb a felelőssége Allah előtt.

Uralkodóként aszketikusnak mondható életet élt. Elődeivel és utódaival ellentétben megvetette a gazdagságot, rossz ruhában járt, magánvagyonát az államkincstárba helyeztette át. Istenfélelméből még felesége ékszereit is beszolgáltatta a birodalmi kincstárnak. Szerényen és alázattal uralkodott, nem foglalta el a kalifának járó rezidenciát, hanem egy egyszerű, szűk házban szállt meg Damaszkusz belvárosában, azért hogy közel legyen a szegény, a nincstelen emberekhez és az özvegyekhez.

Első intézkedései közé tartozott, hogy leváltotta a népszerűtlen, zsarnokoskodó kormányzókat. Vallástudósokat és jámbor személyiségeket nevezett ki kormányzókká, és tanácsadókká, hogy segítsék őt az uralkodásban. Kikötötte, hogy bizalmas társaságába csak olyan embereket fogad be, akik nem beszélnek ki más muszlimokat a hátuk mögött, akik nem viccelődnek nála, és nem panaszkodnak másokra.

Egy mekkai muszlimot csak azért alkalmazott, hogy erőteljesen emlékeztesse őt az istenfélelemre, ha igazságtalanul bánna egy muszlimmal, vagy megsértené a becsületét. Éjszakánként szegény és nincstelen embereket keresett fel. Sosem vett magához egyetlen garast sem az államkincstárból. Egy alkalommal amikor gyümölcsöt osztogatott a szegényeknek, a kisfiának nem adott abból, nehogy jogtalanul jusson hozzá családja a szegényeknek járó adományokhoz. Amikor Omar halálán volt, gyermekeire mindössze pár ezüstpénzt hagyott örökségül, és azt mondta nekik: Ha jóravalók vagytok, nos Allah gondoskodni fog rólatok, ha pedig erkölcstelenek vagytok, akkor nem foglak titeket vagyonommal segíteni az erkölcstelenségben.