Berangkat dari kepedulian terhadap nasib bangsa, tiga tokoh K.H. Abdul Halim, K.H. Ahmad Sanusi, dan Mr. R. Syamsuddin berjuang melepaskan bangsa Indonesia dari belenggu penjajahan, ketertindasan, kebodohan, kemiskinan, dan politik belah bambu (devide et empire) yang dilakukan kaum penjajah. Maka dari itu mereka membentuk perhimpunan yang diberi nama Persatuan Ummat Islam (PUI) dan tanggal 21 Desember 1917 diperingati sebagai Hari Lahir PUI.
PUI dalam bentuknya kini adalah organisasi keagamaan kemasyarakatan yang bermula, berasal, dan berkembang dari dua perhimpunan.
Pertama, Jam’iyyah Hajatoel Qoeloeb yang berdiri di Majalengka pada Senin, tanggal 17 Juli 1911 M/ 20 Rajab 1329 H sebagai perkumpulan. Tujuannya, mewadahi kegiatan taklim agama Islam yang sudah berlangsung sebelumnya dengan nama Madjlisoel ‘Ilmi, serta program pendidikan melalui madrasah I’anat al-Muta’allimin dan kegiatan sosial ekonomi melalui koperasi dan usaha pertanian.
Jam’iyah Hajatoel Qoeloeb melalui rapat pengurus pada Selasa 16 Mei 1916 M/13 Rajab 1334 H, diubah menjadi Jam’iyah I’anat al-Muta’allimin. Namun, ketika diurus izinnya ke pemerintah Hindia Belanda, atas saran Haji Oemar Said Tjokroaminoto, namanya diubah menjadi Persjarikatan Oelama (PO) yang ditetapkan melalui besluit pemerintah pada Jum’at 21 Desember 1917 M/ 06 Rabbi’ul Awwal 1336 H (Gouvernements Besluit No. 43 (ANRI) – besluit ini diperbarui pada Sabtu, 19 Januari 1924 M/ 12 Jumadil Akhir 1342 H dan pada Rabu 18 Agustus 1937 M/11 Jumadil Akhir 1356 H. Tanggal pengesahan PO dari pemerintah yaitu 21 Desember 1917 M/ 06 Rabbi’ul Awwal 1336 H kemudian ditetapkan sebagai HARI LAHIR PUI oleh Sidang Majelis Syura PUI. Kegiatan utama PO saat itu adalah pendidikan, berupa Madrasah Mu’allimin yang didirikannya pada 1923 M/1342 H, kegiatan dakwah, sosial ekonomi, serta dilengkapi sejumlah organisasi otonom.
Kemudian organisasi ini berubah nama menjadi Perikatan Oemmat Islam (POI) pada Senin, 15 Februari 1943 M/ 10 Safar 1362 H, dengan tujuan mengajak masyarakat kembali pada tuntunan Ilahi dan mengurangi pertentangan di antara umat Islam sebagai akibat politik devide et empira pemerintah Hindia Belanda.