双方协商解决，未办理结婚登记手续，婚姻关系不受法律保护，想离婚直接接触同居关系即可，但是不影响孩子的权利，离婚后，一方抚养子女，另一方应负担必要的生活费和教育费的一部分或全部，负担费用的多少和期限的长短由双方协定，协议不成时由人民法院判决。

从法律上讲，你们是同居关系，不存在离婚不离婚问题。
主要是要妥善地把同居关系处理好。对孩子的抚养义务，是一样的。