离婚时抚养权归男方，男方再婚时女方可以通过变更抚养权的形式要回抚养权。首先，可以双方协商由女方抚养；其次，可以通过诉讼证明女方抚养更有利于孩子的成长或者男方抚养明显不利于孩子的成长，通过法院变更孩子的抚养权。

可以，但抚养权的变更与是否再婚没有关系，再婚不是变更抚养权的决定要素，只要符合变更抚养权的条件，一方就可以向法院追回抚养权，例如拥有抚养权的一方因严重疾病，或者出现残疾而没有能力继续抚养子女，或者是与子女共同生活却没有履行抚养的义务或虐待子女的，都是可以变更抚养权的。