男女离婚时候是否要退回彩礼，还需要看实际的情况是否构成了彩礼返还的条件，如果构成了彩礼返还的条件，可以依法要求退回。可以要求返还彩礼的情形包括3种：
1.给付彩礼后悔婚，双方未办理结婚登记的；
2.双方即使已经办理结婚登记手续，但确未共同生活过就离婚的；
3.婚前给付彩礼导致给付人生活困难，离婚时也可以此为由要求返还彩礼。
一、结婚时男方给女方的彩礼钱算不算是赠与
支付彩礼的行为视为对一方附解除条件的赠与行为，如果出现以下情况，可以解除赠与合同，要求返还彩礼：
(1)男女双方未办理结婚登记手续；
(2)男女双方办理结婚登记手续但确未共同生活，可以在离婚诉讼中要求返还彩礼；
(3)婚前给付并导致给付人生活困难的，也可以在离婚诉讼中要求返还彩礼。
二、一方退婚彩礼应当怎么处理
有以下情况的，男方可以主张退还彩礼：(1)男女双方未办理结婚登记手续;(2)男女双方办理结婚登记手续但确未共同生活，可以在离婚诉讼中要求返还彩礼;(3)婚前给付并导致给付人生活困难的，也可以在离婚诉讼中要求返还彩礼。
【本文关联的相关法律依据】
《中华人民共和国民法典》
第一千零八十七条离婚时，夫妻的共同财产由双方协议处理；协议不成的，由人民法院根据财产的具体情况，按照照顾子女、女方和无过错方权益的原则判决。
对夫或者妻在家庭土地承包经营中享有的权益等，应当依法予以保护。
第一千零八十七条离婚时，夫妻的共同财产由双方协议处理；协议不成的，由人民法院根据财产的具体情况，按照照顾子女、女方和无过错方权益的原则判决。
对夫或者妻在家庭土地承包经营中享有的权益等，应当依法予以保护。
因篇幅问题不能全部显示，请点此查看更多更全内容