你老公有抚养孩子的义务，如果你不能接受，你可选择离婚并要求赔偿。建议你提前收集好证据，就算要离婚也要把利益最大化。一来保全自己，二来拿回主动权。所以你现在要解决的主要问题是调整好自己的心态。

你可以向法院提出起诉并提出离婚，让其净身出户，有证据证明对方在婚姻关系续存期间存在过错，法院会在财产分割方面倾向你，惯例你可以分割到夫妻共同财产的七成左右，还可以根据离婚损害赔偿标准要求赔偿。