离婚时彩礼是否退回需要根据具体情况判断。一般情况下,已办理结婚登记并共同生活的,彩礼不用退回,但存在特殊法定情形时,给付彩礼的一方可以要求返还。
根据《最高人民法院关于适用《中华人民共和国民法典》婚姻家庭编的解释(一)》第五条规定,当事人请求返还按照习俗给付的彩礼的,如果查明属于以下情形,人民法院应当予以支持:(一)双方未办理结婚登记手续;(二)双方办理结婚登记手续但确未共同生活;(三)婚前给付并导致给付人生活困难。适用前款第二项、第三项的规定,应当以双方离婚为条件。
对于第一种情形,双方未办理结婚登记手续,意味着婚姻关系并未正式建立,这种情况下,给付彩礼的目的未能实现,所以给付方要求返还彩礼通常会得到法院支持。比如,男女双方举办了订婚仪式并给付了彩礼,但之后因各种原因未能办理结婚登记,此时给付彩礼的一方有权要求返还。
第二种情形,双方虽然办理了结婚登记手续,但确未共同生活。结婚的本质是男女双方共同生活,如果只是形式上登记结婚,而没有实际共同生活,那么给付彩礼的目的没有真正达成,离婚时给付方可以要求返还彩礼。不过在实践中,对于“确未共同生活”的认定需要结合具体证据和实际情况来判断。
第三种情形,婚前给付彩礼导致给付人生活困难。这里的“生活困难”是指依靠个人财产和离婚时分得的财产无法维持当地基本生活水平。例如,给付彩礼后导致给付方家庭背负巨额债务,生活陷入困境,在离婚时可以要求返还彩礼。
此外,如果不符合上述法定情形,在离婚时一般不支持返还彩礼。比如双方办理结婚登记后共同生活多年,感情破裂离婚,此时彩礼通常视为对女方的赠与,无需返还。总之,离婚时彩礼是否退回要依据具体事实和法律规定来确定。

法律依据:
《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释(一)》 第五条
当事人请求返还按照习俗给付的彩礼的,如果查明属于以下情形,人民法院应当予以支持:
(一)双方未办理结婚登记手续;
(二)双方办理结婚登记手续但确未共同生活;
(三)婚前给付并导致给付人生活困难。
适用前款第二项、第三项的规定,应当以双方离婚为条件。