Dibina atas konsep integrasi yang terdiri daripada pelajar normal dan pelajar kurang pendengaran. Pada tahun 1980, pihak sekolah telah menyewa beberapa buah rumah di Taman Rakyat untuk dijadikan asrama. Dengan kerjasama mantan pengetua, Allahyarham Encik Amar bin Abdul Latiff dan para pelajar cacat pendengaran, satu blok asrama telah berjaya disiapkan bersebelahan Dewan Iltizam, SMK Syed Mohamed Al-Bukhary. Para pelajar dapat menggunakan asrama tersebut dengan sepenuhnya pada tahun 1990. Pada tahun 1993, pelajar normal dan pelajar cacat pendengaran telah berjaya ditempatkan di asrama.