Ditunjuk jadi Menteri
Sebelumnya, Gus Ipul juga pernah merasakan posisi menteri dari Kabinet Indonesia Bersatu sejak Oktober 2004 hingga Mei 2007. Ia dilantik menjadi Menteri Negara Percepatan Pembangunan Daerah Tertinggal. Jika era saat ini dikenal kata 'blusukan', Gus Ipul adalah Menteri yang doyan blusukan ke rumah warga saat itu.
Namun menjadi Menteri tak bertahan lama menyusul konflik di PKB yang akhirnya membuat Gus Dur dan Muhaimin Iskandar bersitegang. Memang awalnya dia dicopot dari Sekjen PKB, pencopotan itu pula berimbas terhadap jabatannya sebagai Menteri.
Selepas menjadi menteri, Gus Ipul bermanuver untuk terjun di Pilkada Jawa Timur. Saat itu Gus Ipul disandingkan dengan Soekarwo sebagai Wakil Gubernur Jawa Timur pada 2008. Pasangan tersebut menang setelah melalui dua putaran dan resmi menjadi Gubernur-Wakil Gubernur Jawa Timur pada 12 Februari 2009.
Kariernya sebagai Wakil Gubernur Jawa Timur, tampaknya memberikan kesan mendalam ke masyarakat. Ia kembali maju dan menang di Pilgub Jawa Timur 2014 bersama Soekarwo.