Hakikat dari “pendidikan Islam”, penting kita ketahui terlebih dahulu tentang apa arti “pendidikan” itu sendiri. Beberapa pakar pendidikan telah menjelaskan tentang arti pendidikan, di antaranya seperti dijelaskan Mansur Isna mengutip pernyataannya Ahmad D. Marimba, pendidikan adalah bimbingan atau pimpinan secara sadar oleh si pendidik terhadap perkembangan jasmani dan rohani si terdidik menuju terbentuknya kepribadian yang utama.
Sahal Mahfudz seperti dikutip oleh Bashori Muchsin, Moh. Sulthon, dan Abdul Wahid menjelaskan, pendidikan pada dasarnya merupakan usaha sadar yang bertujuan untuk membentuk watak dan perilaku secara sistematis, terencana, dan terarah. 
Menurut Ahmad Tafsir definisi pendidikan seperti yang dijelaskan Ahmad D. Marimba ini  memang baik, mudah dipahami, secara relatif mudah dijabarkan menjadi tujuan-tujuan khusus pendidikan. Namun, definisi seperti ini masih sangat sempit, belum mencakup seluruh kegiatan yang disebut pendidikan. Pendidikan seakan hanya terbatas pada pengembangan pribadi anak didik oleh pendidik berupa orang; jadi, ada orang yang mendidik. Terus bagaimana jika pendidikan itu oleh alam sekitar, atau yang membimbing itu berupa yang ghaib. 
Dari beberapa pengertian pendidikan yang diungkapkan oleh para ahli di atas, secara umum arti dari pendidikan dapat diklasifikasikan menjadi dua, yaitu (1) pengertian secara sempit yang menspesifikasikan pendidikan hanya untuk anak dan hanya dilakukan oleh lembaga atau institusi khusus dalam kerangka mengantarkan kepada kedewasaan; dan (2) pengertian secara luas, yakni pendidikan berlaku untuk semua orang dan dapat dilakukan semua orang bahkan lingkungan.
Di antara dua pengertian (sempit dan luas), nampaknya para ahli cenderung menggunakan pengertian pendidikan secara sempit, karena pendidikan sebagai bimbingan dari pendidik kepada anak didik untuk mengembangkan seluruh potensi anak didik dapat dilakukan rekayasa. Sedangkan pendidikan dalam pengertian luas, yakni pendidikan yang juga bisa dilakukan oleh alam sekitar atau lingkungan dengan tanpa adanya guru memang dapat memberikan pengaruh, akan tetapi sangat sulit untuk dilakukan rekayasa atau perencanaan dalam proses pendidikannya.
Kemudian jika kata “pendidikan” dihubungkan dengan term “Islam” dalam rangkaian kata “pendidikan Islam”, banyak pendapat yang mengemuka dari para ahli mengenai definisinya. Di antaranya seperti yang diungkapkan oleh Abdullah Idi dan Toto Suharto, bahwa pendidikan Islam adalah sebuah proses bimbingan dan pembinaan semaksimal mungkin yang diberikan kepada seseorang melalui ajaran Islam agar orang tersebut tumbuh dan berkembang sesuai tujuan  yang diharapkan.
Menurut Yusuf al-Qardawi sebagaimana dikutip Bashori Muchsin, Moh. Sulthon, dan Abdul Wahid mengemukakan, pendidikan Islam merupakan pendidikan manusia seutuhnya, akal dan hatinya, rohani dan jasmaninya, akhlak dan ketrampilannya.  Karena itu, pendidikan Islam memiliki peran atau fungsi menyiapkan manusia untuk hidup secara baik dalam keadaan damai serta menyiapkan agar bisa menghadapi masyarakat dengan segala sifat dinamis yang melekat padanya. Karena dalam masyarakat akan banyak terjadi fenomena-fenomena yang terkadang sangat berbeda dengan pengalaman yang diperoleh ketika masih belajar.
Keragaman dalam memberikan definisi terhadap pendidikan Islam di atas erat kaitannya dengan perbedaan istilah yang dipakai para ahli untuk menggambarkan konsep pendidikan Islam yang tepat. Sebut saja seperti istilah tarbiyah, ta’lim, dan ta’dib yang menjadi perbincangan hangat di kalangan para ahli.
Ahmad Tafsir mengemukakan, rumusan yang jelas mengenai definisi pendidikan menurut Islam belum mencapai finalnya. Hal ini merujuk pada hasil Konferensi Internasional Pendidikan Islami Pertama yang diselenggarakan oleh Universitas King Abdul Aziz, Jeddah, pada tahun 1977 dan pada tahun 1980 di Islamabad yang belum berhasil membuat rumusan yang jelas tentang definisi pendidikan Islam.  Konferensi tersebut hanya membuat kesimpulan, bahwa pengertian pendidikan Islam adalah keseluruhan pengertian yang terkandung di dalam istilah ta’lim, tarbiyah, dan ta’dib. Untuk lebih jelasnya berikut ini penulis akan uraikan perbincangan para ahli terkait istilah ta’lim, tarbiyah, dan ta’dib dalam merumuskan konsep pendidikan Islam yang ideal