抚养权归男方但是男方不抚养的，女方可以请求变更抚养权，可以向人民法院提起变更抚养权之诉。父母对未成年子女负有抚养、教育和保护的义务，子女由一方直接抚养的，另一方应当负担部分或者全部抚养费。如有抚养权的一方不尽抚养义务的，则产生了变更子女抚养权的法定理由。
此外，拒绝履行抚养义务，属于违法行为，要受到相应处罚，严重的还会构成犯罪。
【法律依据】
《最高人民法院关于适用中华人民共和国民法典婚姻家庭编的解释（一）》第四十九条 抚养费的数额，可以根据子女的实际需要、父母双方的负担能力和当地的实际生活水平确定。
