Berawal dari sebuat wasiat dan keinginan dari KH. Thaha Ma’ruf sebelum ajal menjemputnya bahwasannya ia sangat ingin mendirikan sebuah musholla di bilangan kota Jakarta ini, maka berdirilah Yayasan Al-Ma’ruf.
KH. Thaha Ma’ruf adalah salah seorang tokoh NU (Nahdlatul Ulama) di era 50-an. Kiprahnya sebagai kiyai NU yang pertama kali mendirikan NU di Sumatera Barat membawa karirnya sampai ke Ibu kota. Selain dalam ilmunya di bidang agama, beliau juga aktif duduk di parlemen sebagai anggota DPR. Beberapa kerabat beliau diantaranya Prof. Idham Kholid, Adam Malik, dan beberapa pejabat lain yang ketika itu sama-sama memperjuangkan kemajuan bangsa Indonesia.
Sebelum beliau wafat, beliau berpesan kepada istrinya – Hj. Sariani Thaha Ma’ruf – dan anak-anaknya tentang keinginannya mendirikan sebuah Musholla. Akhirnya setelah kepergian beliau, istrinya yang ketika itu bersama delapan orang anaknya masih bertempat tinggal di Kebon Nanas Jakarta Timur, sibuk mencari tempat strategis untuk mendirikan sebuah Musholla hingga akhirnya sampai di Dusun Cibubur, Dusun kecil di pinggiran Jakarta.
Sesampainya di Cibubur, tepatnya di daerah Lapangan Tembak, beliau mencoba bertukar pikiran dengan tokoh masyarakat sekitar tentang keinginannya membeli tanah untuk membangun sebuah Musholla. Cibubur pada waktu itu masih berupa rawa yang banya ditumbuhi pohon karet, dan di bagian yang lainnya masih terdapat hamparan sawah yang cukup luas.
Lalu hasil dari tukar pikiran tersebut, ditemukanlah sebidang tanah yang cukup luas untuk ia mendirikan Musholla. Namun keinginannya mendirikan Musholla di Cibubur kurang didukung oleh tokoh masyarakat sekitar, pasalnya yang terjadi ketika itu, Musholla sering digunakan untuk orang mabuk-mabukan dan berjudi. Maka dari itu mereka menyarankan agar Ibu Hj. Sariani Thaha Ma’ruf mendirikan sebuah Madrasah saja, agar orang-orang punya wadah untuk menimba ilmu agama. Atas saran tersebut, didirikanlah sebuah madrasah yang hanya memiliki 2 lokal kelas.
Seiring berjalannya waktu, peminat akan ilmu agama semakin banyak. Karena beliau juga seorang penceramah yang cukup terkenal ketika itu, selain madrasah, beliau juga mendirikan kursus dakwah. Beliau juga tidak hanya berdakwah di Indonesia saja, bahkan Malaysia dan Brunei Darussalam adalah tempat beliau menyebarkan ajaran-ajaran Islam.
Dari sebuah madrasah kecil dan Kurusus Dakwah inilah cikal bakal Yayasan Al-Ma’ruf yang bergerak di bidang Pendidikan Islam tumbuh dan berkembang pesat. Al-Ma’ruf menjadi inspirasi sekolah-sekolah islam lainnya yang berkembang di Jakarta.
Seiring berjalan dengan perkembagannya, Hj. Sariani telah mewakafkan Al-Ma’ruf secara keseluruhan kepada umat Islam dengan Yayasan Al-Ma’ruf sebagai nadzirnya. Dengan demikian Al-Ma’ruf bukan lembaga yang diwariskan fisiknya kepada keturunan, melainkan lembaga yang perjuangan dan pengorbanannya harus diteruskan.
Selain keaktifannya di bidang pendidikan Islam, Al-Ma’ruf juga menjadi wadah berkumpulnya ulama-ulama NU mengingat KH. Thaha Ma’ruf salah seorang pelopor berdirinya NU di Sumatera Barat dan juga Ibu Hj. Sariani Thaha Ma’ruf merupakan anggota Dewan Syuro di Pengurus Besar Nahdlatul Ulama (PBNU) Jakarta. Bahkan KH. Abdurrahman Wahid sempat beberapa kali berkunjung ke Al-Ma’ruf untuk mengisi ceramah. Baik dalam kapasitasnya sebagai Ketua PBNU maupun ketika sudah menjabat sebagai Presiden RI.