律师您好,我与前夫在2013年4月8日协议离婚,婚生子由男方抚养女方不付抚养费。离婚时我是被迫离婚,男方在2012年12月抛妻弃子,不回家不抚养孩子,孩子因事住院两次,他不曾行使其父的责任义务,没离婚时我是一名家庭主妇,没有能力去抚养孩子,只能被迫于其离婚。离婚后我看孩子,他从中多次阻挠不让看孩子,给孩子心理造成严重伤害,就在4月12日星期三孩子下午不上课,我去学校看望孩子发现孩子书包破旧,就给孩子买了新的学包,并看着孩子写完作业,了解孩子学习情况,并送回学校的托管班,其奶来接孩子,孩子哭闹不愿意离开我,其奶与其父联系能不能让孩子和我住一个晚上第二天将孩子送上学,其父不同意,孩子哭闹不上并哭求其奶奶要和妈妈生活一天,其奶不准,其父开车过来,下车恶语大骂我,并扬言孩子他不要了并动手打了我,旁边巡警将其拉开,他开车逃之夭夭,我己报案,孩子受到惊吓不能正常上学,不敢回到其父家中,我只能照顾并抚养孩子,其父己扬言孩子不要了,我想咨询您我现在应该怎样处理这件事?