离婚时，抚养权给了男方现在想要回来的，首先可以与男方协商变更抚养权。协商不成的，可以向法院另行提起变更抚养权之诉。若能向法院举证证明对方不适合继续抚养孩子，如对方有赌博、吸毒等恶习的，对方的经济条件不足以抚养孩子的，法院在审查后，一般会支持变更抚养权。
父母与子女间的关系，不因父母离婚而消除。离婚后，无论由谁直接抚养，仍是父母双方的子女。
【法律依据】
《最高人民法院关于适用中华人民共和国民法典婚姻家庭编的解释（一）》第五十六条 具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：
