本题考查的是《行政处罚法》。
选项A错误，第七十三条 当事人对行政处罚决定不服，申请行政复议或者提起行政诉讼的，行政处罚不停止执行，法律另有规定的除外。
选项B错误，第六十八条 依照本法第五十一条的规定当场作出行政处罚决定，有下列情形之一，执法人员可以当场收缴罚款：
（一）依法给予一百元以下罚款的；
（二）不当场收缴事后难以执行的。
第六十九条 在边远、水上、交通不便地区，行政机关及其执法人员依照本法第五十一条、第五十七条的规定作出罚款决定后，当事人到指定的银行或者通过电子支付系统缴纳罚款确有困难，经当事人提出，行政机关及其执法人员可以当场收缴罚款。
选项C正确，当事人应当自收到行政处罚决定书之日起十五日内，到指定的银行或者通过电子支付系统缴纳罚款。银行应当收受罚款，并将罚款直接上缴国库。
选项D错误，到期不缴纳罚款的，每日按罚款数额的百分之三加处罚款，加处罚款的数额不得超出罚款的数额。