离婚时，女方不一定要退还彩礼钱。只有以下情况的，女方才需要退还彩礼钱：双方未办理结婚登记手续的；双方办理结婚登记手续但确未共同生活的；婚前给付并导致给付人生活困难的。
法律依据:
《最高人民法院关于适用中华人民共和国民法典婚姻家庭编的解释（一）》 第五条
当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
（一）双方未办理结婚登记手续；
（二）双方办理结婚登记手续但确未共同生活；
（三）婚前给付并导致给付人生活困难。
适用前款第二项、第三项的规定，应当以双方离婚为条件。
