我的婚姻被小三插足而離婚，家裡有個先天殘疾的妹妹，我該帶著兩個孩子改嫁嗎？

我的婚姻被小三插足而離婚，家裡有個先天殘疾的妹妹，我不知道別人能不能接受這一點，剛開始他對我挺好，也挺在乎我，都接送我上下班，我是抱著跟他過一輩子的想法，才大老遠嫁給他，不知道從什麼時候他變了，從孩子生下來他就沒有在管過，甚至連家都不回，也不看望孩子，有一次小寶發燒，我一個人大晚上抱著她去醫院，孩子哭鬧不止，那時候我很絕望也恨不得殺了他，真的好累！

想把兩個孩子的撫養權都放在我的名下，可是我爸媽說帶著兩個孩子不好嫁人，堅決不給我帶孩子，總覺得他們自私，就這樣離婚了還在這個家裡生活了半年，前段時間孩子出水痘我們大吵了一架他才回來看兩個孩子，然後叫我離開他們家，還說我跟我公公婆婆沒出息，婚都離了幹嘛還不搬走，見不得他們家人對我好，各種辱罵，最後我拉著行李箱，哭著走出了那個家門，兒子還跑出來問媽媽你要去哪。

跟家人吵了一架，他扔下兩個孩子也走了，過了幾天因為想念孩子，回去住了兩天，兩個寶貝我走到哪，他們就跟到哪，女兒（兩歲半）跟我說只要媽媽和哥哥，不要爸爸，兒子說再也不要爸爸回家，心都碎了！

現在公公婆婆都讓我回家，我該怎麼辦……