Secara semantic, madrasah merupakan ism makan dari kata darasa-yadrusu-darsan wa dirasatan yang berarti terhapus, menjadikan usang, melatih, dan mempelajari. Sehingga madrasah diartikan tempat untuk mencerdaskan para peserta didik, menghilangkan ketidaktahuan atau memberantas kebodohan, serta melatih keterampilan dan mengembangkan bakat dan minatnya. Madrasah sendiri muncul di Indonesia sekitar akhir abad 19 atau awal abad 20.
Menurut Prof Dr. H. Muhaimin, M.A setidaknya ada dua factor yang melatarbelakangi kemunculan madrasah, pertama, adanya anggapan bahwa system pendidikan tradisional kurang bisa memenuhi kebutuhan pragmatis masyarakat. Kedua, adanya kekhawatiran atas pesatnya sekolahan Belanda yang akan berdampak pada menyebarnya pemikiran secular di masyarakat.
Dengan latar belakang inilah kemudian madrasah bisa diartikan lembaga pendidikan dengan system pendidikan yang menggabungkan antara sistem pendidikan tradisional dan sistem pendidikan Modern (barat). Dengan visi ini madrasah mempunyai nilai lebih, yakni dapat menghilangkan kelemahan-kelemahan sistem tradisional dan mengambil yang baik dari sistem modern.
Madrasah, utamanya dipedesaan memiliki ciri kerakyatan. Artinya madrasah merupakan berdiri dan dikembangkan oleh masyarakat, sehingga tak salah jika madrasah disebut dengan pendidikan berbasis masyarakat (community based education). Kemunculan madrasah sebagai community based education tak lepas dari gairah keagamaan dan dakwah yang tinggi dimasyarakat.
Jika meninjau kembali pada prinsip lembaga pendidikan Islam dan identitas madrasah itu sendiri, maka madrasah setidaknya harus bisa memenuhi minimal tiga tuntutan: pertama, menjadikan Madrasah sebagai tempat membina ruh dan akhlak atau praktik kehidupan islami (menginternalisasikan nilai ajaran Agama pada anak didik). Kedua, memperkokoh keberadaan madrasah sehingga bisa sederajat dengan sekolah umum. Ketiga, mampu merespon tuntutan masa depan guna mengantisipasi perkembangan iptek dan globalisasi.
Dengan latar belakang ingin menciptakan lembaga pendidikan yang mampu merespon zaman, tetapi kenyataannya tidak sedikit madrasah yang masih jauh dari harapan. Hal ini bisa disebabakan karena kurangnya profesionalitas dalam manajemen madrasah, disamping tidak didukung dengan sumber daya internal seperti pengembangan kurikulum, kualitas pendidik, dan fasilitas yang tidak memadai.
Kecendrungan madrasah pada upaya penyetaraan madrasah dengan sekolah umum, dalam hal ini Nilai/ ijazah yang dikeluarkan diharapkan setara dengan sekolah umum, menjadikan madrasah terjebak pada formalitas dan hal-hal simbolik semata. Munculnya Ijazah minded adalah salah satu akibat dari keterjebakan tersebut.