Sempat kembali ke tanah air, Hasyim Asy'ari kembali ke Mekah. Pada periode kedua kembali ke Mekah, Kiai Hasyim rajin menemui ulama-ulama besar untuk belajar dan mengambil berkah dari mereka.
Karena keilmuannya yang dinilai sudah mumpuni, KH Hasyim Asy'ari dipercaya untuk mengajar di Masjidil Haram bersama tujuh ulama Indonesia lainnya, antara lain Syekh Nawawi al-Bantani dan Syekh Anmad Khatib al-Minakabawi.
Di Mekah, KH Hasyim Asy'ari memiliki banyak murid dari berbagai negara.
Beberapa muridnya, antara lain Syekh Sa'dullah al-Maimani (mufti di Bombay, India), Syekh Umar Hamdan (ahli hadis di Mekkah), serta Al-Syihab Ahmad ibn Abdullah (Syiria).
Kemudian murid dari tanah air, antara lain KH Abdul Wahab Chasbullah (Tambakberas, Jombang), K.H.R. Asnawi (Kudus), KH Dahlan (Kudus), serta KH Bisri Syansuri (Denanyar, Jombang), dan KH Shaleh (Tayu).
Pada tahun ketujuh di Mekah, tepatnya tahun 1899 (1315 H), KH Hasyim Asy'ari menikah dengan Khadijah, putri Kiai Romli dari desa Karangkates, Kediri.
Setelah pernikahan itu, Kiai Hasyim bersama istrinya kembali ke Indonesia.
Mendirikan pesantren
Pada 1899, KH Hasyim Asy'ari mendirikan Pesantren Tebuireng. Awalnya, santri berjumlah delapan, lalu tiga bulan kemudian meningkat menjadi 28 orang.
Dua tahun setelah mendirikan pesantren, Khadijah, istri KH Hasyim Asy'ari meninggal dunia, tanpa meninggalkan putra.
KH Hasyim kemudian menikah dengan Nafiqoh, putri Kiai Ilyas, pengasuh Pesantren Sewulan, Madiun, yang dikaruniai 10 anak.
Pada akhir 1920-an, Nyai Nafiqoh wafat. Kiai Hasyim kemudian menikah dengan Nyai Masyruroh, dan dikaruniai empat anak.
Mendirikan Nahdlatul Ulama
Setelah mendapatkan masukan dari beberapa kiai pengasuh pesantren, serta petunjuk gurunya, KH Kholil bin Abdul Latif Bangkalan, KH Hasyim Asy'ari mendirikan organisasi Nahdlatul Ulama.
Organisasi kebangkitan ulama itu secara resmi didirikan pada 16 Rajab 1344 hijriyah atau bertepatan dengan 31 Januari 1926 Masehi, dengan KH Hasyim Asy'ari dipercaya sebagai Rois Akbar.
Menurut KH Abdul Hakim Mahfudz, pengasuh Pesantren Tebuireng, berdirinya NU bukan sekedar keinginan untuk membangun barisan.
NU berdiri untuk merespons situasi dunia Islam kala itu, yang sedang dilanda pertentangan paham, antara paham pembaharuan dengan paham bermadzhab.
Dalam situasi pertentangan paham yang kian meruncing, kata Hakim Mahfudz, NU hadir dengan pemikiran yang lebih moderat.
Cicit KH Hasyim Asy'ari itu menjelaskan, pandangan NU yang lebih moderat, pada akhirnya membuat interaksi dan komunikasi dunia Islam menjadi lebih mudah.
"Sehingga orang muslim di Indonesia, terutama orang NU itu kalau bertemu dan berinteraksi dengan orang muslim di dunia bisa nyambung. Dibanding dengan sebelum ada NU," kata Hakim Mahfudz, saat ditemui Kompas.com di Pesantren Tebuireng, Rabu.