Sebelum Kyai Haji Ahmad Dahlan wafat, ia berpesan kepada para sahabatnya agar tongkat kepemimpinan Muhammadiyah sepeninggalnya diserahkan kepada Kiai Haji Ibrahim, adik ipar KHA. Dahlan. Mula-mula K.H. Ibrahim yang terkenal sebagai ulama besar menyatakan tidak sanggup memikul beban yang demikian berat itu. Namun, atas desakan sahabat-sahabatnya agar amanat pendiri Muhammadiyah bisa dipenuhi, akhirnya dia bisa menerimanya.
Kepemimpinannya dalam Muhammadiyah dikukuhkan pada bulan Maret 1923 dalam Rapat Tahunan Anggota Muhammadiyah sebagai Voorzitter Hoofdbestuur Moehammadijah Hindia Timur (Soedja‘, 1933: 232). K.H. Ibrahim lahir di Kauman Yogyakarta pada tanggal 7 Mei 1874. Ia adalah putra K.H. Fadlil Rachmaningrat, seorang Penghulu Hakim Kesultanan Yogyakarta pada zaman Sultan Hamengkubuwono ke VII OGRE (Soedja‘. 1933: 227), dan ia merupakan adik kandung Nyai Ahmad Dahlan.
Ibrahim menikah dengan Siti Moechidah binti Abdulrahman alias Djojotaruno (Soeja‘, 1933:228) pada tahun 1904. Pernikahannya dengan Siti Moechidah ini tidak berlangsung lama, karena istrinya segera dipanggil menghadap Allah. Selang beberapa waktu kemudian Ibrahim menikah dengan ibu Moesinah, putri ragil dari K.H. Abdulrahman (adik kandung dari ibu Moechidah).
Ibu Moesinah (Nyai Ibrahim yang ke-2) dikaruniai usia yang cukup panjang yaitu sampai 108 tahun, dan baru meninggal pada 9 September 1998. Menurut penilaian para sahabat dan saudaranya, Ibu Moesinah Ibrahim merupakan potret wanita zuhud, penyabar, gemar shalat malam dan gemar silaturahmi. Karena kepribadiannya itulah maka Hj. Moesinah sering dikatakan sebagai ibu teladan (Suara ‘Aisyiyah. No.1/1999: 20).
Masa kecil Ibrahim dilalui dalam asuhan orang tuanya dengan diajarkan mengkaji Al-Qur’an sejak usia 5 tahun. Ia juga dibimbing memperdalam ilmu agama oleh saudaranya sendiri (kakak tertua), yaitu KH. M. Nur. Ia menunaikan ibadah haji pada usia 17 tahun, dan dilanjutkan pula menuntut ilmu di Mekkah selama lebih kurang 7-8 tahun. Pada tahun 1902 ia pulang ke tanah air karena ayahnya sudah lanjut usia.
K.H. Ibrahim yang selalu mengenakan jubah panjang dan sorban dikenal sebagai ulama besar dan berilmu tinggi. Setibanya di tanah air, K.H. Ibrahim mendapat sambutan yang luar biasa dari masyarakat. Banyak orang berduyun-duyun untuk mengaji ke hadapan K.H. Ibrahim. Beliau termasuk seorang ulama besar yang cerdas, luas wawasannya, sangat dalam ilmunya dan disegani.
Ia hafal (hafidh) Al-Quran dan ahli qira’ah (seni baca Al-Quran), serta mahir berbahasa Arab. Sebagai seorang Jawa, ia sangat dikagumi oleh banyak orang karena keahlian dan kefasihannya dalam penghafalan Al-Qur’an dan bahasa Arab. Pernah orang begitu kagum dan takjub, ketika dalam pidato pembukaan (khutbah al-’arsy atau sekarang disebut khutbah iftitah) Kongres Muhammadiyah ke-19 di Bukittinggi Sumatera Barat pada tahun 1939, ia menyampaikan dalam bahasa Arab yang fasih.
Pada periode ini Muhammadiyah mulai berkembang meluas sampai kedaerah-daerah luar Jawa. Perangkat yang dibentuk antara lain : Majelis Tarjih, Nasyi’atul’Aisyiyah dan kemudian Pemuda Muhammadiyah.
Adapun Aktivitas yang menonjol antara lain :
Pada tahun 1924 mengadakan ”Fonds Dachlan”, untuk membeayai sekolah anak-anak miskin. Mengadakan khitanan massal pertama kali (1925). Pada konggres di Surabaya tahun 1926 diputuskan Pemakaian Tahun Islam dalam catat-mencatat termasuk surat menyurat dan Sholat Hari Raya di tanah lapang.
Pada tahun 927 pada konggres di Pekalongan muncul persoalan politik dengan keputusan pokok, yakni Muhammadiyah tidak bergerak dalam bidang politik, namun memperbaiki budi pekerti yang luhur (Akhlaqul Karimah) bagi orang yang akan berpolitik (tidak melarang anggotanya berpolitik).
Pada tahun 1928 mulai mengirim putera dan puteri lulusan sekolah Muhammadiyah (dari Mu’allimien, Muallimat, Tabligschool, Normalschool) di utus ke pelosok tanah air, sebagai ”anak panah” Muhammadiyah. Pada Konggres di Solo tahun 1929, Muhammadiyah mendirikan Uitgeefster My (badan usaha penerbitan buku-buku sekolah Muhammadiyah yang dikelola oleh Majelis Taman Pustaka). Di kongres ini pula terjadi ”Penurunan Gambar KHA Dahlan” (dan dilarang untuk sementara waktu dipasang, karena ada gejala kultus).
Pada Konggres di Minangkabau tahun 1930 muncul eselon CONSUL HOFD BESTUUR MUHAMMADIJAH (sekarang PWM). Pada konggres di Makasar 1932 antara lain diputuskan penerbitan Koran Muhammadiyah (Dagblad Adil) dilaksanakan oleh cabang Solo.
