Hilmi kemudian lengser dari jabatannya sebagai Ketua Majelis Syuro PKS setelah tiga kali menjabat, yakni pada tahun 2015.
Pada Musyawarah MS PKS yang digelar di Bandung itu, Hilmi mengaku senang karena akhirnya PKS melahirkan ketua majelis dari kader muda.
Setelah mepelas jabatannya, Hilmi memutuskan untuk kembali mengurus pondok pesantren miliknya di kawasan Lembang, Bandung Barat, Jawa Barat.
Pada tanggal 20 Juni 2020, Hilmi menghembuskan nafas terakhirnya di usia 72 tahun di Rumah Sakit Santosa Bandung, Jawa Barat.
Hilmi dikabarkan terpapar virus corona covid-19. Kabar tersebut dibenarkan oleh anggota Fraksi PKS DPRD Jabar, Abdul Hadi Wijaya.
"Dapat beritanya, (meninggal) karena terpapar covid-19," kata Abdul, saat di konfirmasi pada Selasa (30/6/2020).
Jasad Hilmi dan urusan pemakaman, kata Abdul, akan dilakukan sesuai protokol penanganan covid-19.