Namun akhirnya SBY mundur dari kabinet Megawati dan memunculkan isu dirinya merasa tak dihargai sang presiden.
Persaingan pun semakin nyata ketika keduanya memperebutkan suara rakyat di Pemilu 2004 yang berujung pada kemenangan SBY. Tongkat estafet pemerintahan pun diberikan dari Megawati dan PDIP kepada SBY dan Partai Demokrat.