一般不需要退还彩礼给男方，但是如果有以下两种特殊情况，男方可以请求返还彩礼。
1、双方虽然办理了结婚登记，但是没有实际共同生活过，离婚时男方可以请求返还彩礼。
2、男方婚前给付彩礼导致自己生活困难，离婚时可以请求返还彩礼。
相关法律规定当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
1、双方未办理结婚登记手续的;
2、双方办理结婚登记手续但确未共同生活的;
3、婚前给付并导致给付人生活困难的。
法律依据:
《最高人民法院关于适用婚姻家庭编的解释(一)》
第五条 当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
(一)双方未办理结婚登记手续;
(二)双方办理结婚登记手续但确未共同生活;
(三)婚前给付并导致给付人生活困难。