中央特别委员会的成立及国民政府的改组，表面上结束了宁、汉、沪三足鼎立的局面，暂时整合了自“西山会议”以来分崩离析的国民党中央。但中央特别委员会本身存在着无法克服的矛盾：一是该会在国民党党章中没有法理依据，二是宁方实力委员和元老委员不予支持，三是汉方汪精卫等极力反对。在这种情形下，特别委员会不仅未能发挥其领导职能，反而使党内纠纷和冲突更趋复杂化。
组织中央特别委员会，不仅意味着否定了汪精卫召开二届四中全会的主张，也意味着否定了汉方的正统地位。汪精卫最初未以为意，故未执意反对，后经陈公博提醒，才恍然大悟。9月13日，汪精卫召集汉方委员谭延闿、孙科、朱培德、顾孟余、陈公博等秘密协商，讨论对特别委员会的态度。谭延闿、孙科力陈舍此别无他途，陈公博、顾孟余则坚决反对。汪精卫感到事已无法挽回，决定消极抵制，于当夜潜赴九江，行前发表通电，表示因对共产党防制过迟，应先补过，故而宣布“引退”。随后，顾孟余、陈公博、徐谦等亦相继发表“引退”文电，抵制特别委员会。