我结婚两年，先后生了一儿一女，大儿子目前两周岁，小女儿才四个半月，男方母亲是残疾人，天生性小儿麻痹，每天靠两只拐杖走路，继父每天都喝酒，喝到说胡话的地步，而他自己结婚前经常地打架斗殴，他自己经常说他以前打人放火之类的，还因此腿部受伤做了手术，结婚后他的工作不稳定，所以基本上两三个月才给一千多两千的生活费，两个孩子他都没有照顾超过一整天，而且孩子哭闹时，会吓孩子。有一次因为大儿子不睡觉，他就把儿子举的比他高说要摔下来，那个晚上我跟我亲生母亲轮流抱着孩子在客厅直到凌晨六点，他却睡的跟死猪一样。还有就是他多次提到他根本就不想要大儿子，这都是生完大宝后说的，而后因为意外有了小的，莫名的找我吵架，我跟儿子在客厅，他直接把玻璃弄碎，满屋子都是碎玻璃，还好当时我抱着孩子跑的快点！除此之外，他心情好找我吵架时，总会用恶俗的语言攻击我，请问下，现在想离婚，两个孩子的扶养权我有没有办法都得到呢！