Kehidupannya sebagai mantan santri pun memotivasinya untuk membangun Ponpes Al Zaytun. Sejak tahun 1996, Panji pun berusaha membangun Al Zaytun hingga kini mejadi pesantren modern.
Panji Gumilang juga dianggap menganut pluralisme. Hal ini pun terkuak usai dirinya mengungkap bahwa banyak paham toleransi yang diajarkan kepada santri Al Zaytun.
Beberapa paham pluralisme yang terungkap di Al Zaytun adalah adanya nyanyian bangsa Yahudi yang sering dinyanyikan oleh santri, lalu adanya perayaan Natal di Al Zaytun sebagai bentuk toleransi terhadap kaum Nasrani.
Meski demikian, hal-hal di atas itu telah memicu kontroversi karena dinilai sebagai ajaran sesat dan tidak sesuai dengan ajaran Islam.
Kontributor : Dea Nabila