本题考查的是《行政处罚法》。
第七十一条 执法人员当场收缴的罚款，应当自收缴罚款之日起二日内，交至行政机关；在水上当场收缴的罚款，应当自抵岸之日起二日内交至行政机关；行政机关应当在二日内将罚款缴付指定的银行。选项A正确
第七十三条 当事人对行政处罚决定不服，申请行政复议或者提起行政诉讼的，行政处罚不停止执行，法律另有规定的除外。选项B正确。
第七十四条 罚款、没收的违法所得或者没收非法财物拍卖的款项，必须全部上缴国库，任何行政机关或者个人不得以任何形式截留、私分或者变相私分。选项C正确。
第六十七条 当事人应当自收到行政处罚决定书之日起十五日内，到指定的银行或者通过电子支付系统缴纳罚款。银行应当收受罚款，并将罚款直接上缴国库。选项D错误。
第七十条 行政机关及其执法人员当场收缴罚款的，必须向当事人出具国务院财政部门或者省、自治区、直辖市人民政府财政部门统一制发的专用票据；不出具财政部门统一制发的专用票据的，当事人有权拒绝缴纳罚款。选项E错误。
注意题干是选择不相符的。