可以起诉要回抚养权的情况：司法解释规定了如下几种变更抚养权的法定情形。
1、与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的。
2、与子女一同生活的一方不尽抚养义务或有虐待行为的或其与子女共同生活对子女身心健康有不利影响的。
3、十周岁以上未成年子女，愿随另一方生活的。十周岁以上的未成年人属于限制行为能力人，可以从事与其年龄相关的民事活动。
4、有其它正当理由需要变更的。这是个兜底条款，赋予了法官一定的自由裁量权，在法院审理中法官可以根据自己对客观情况的主观认识来判断是否应该变离婚孩子抚养权。司法实践中对抚养权的处理：
1、父母双方达成协议的处理在离婚案件中，如果父母双方就子女的抚养问题达成协议的，一般会尊重当事人意思表示，按其协议处理，但协议由父方或母方抚养子女对子女的正常生活有严重不利的除外。如果双方协议轮流抚养子女的，也会尊重双方协议的。
2、子女不满两周岁的处理。两周岁以下的子女，一般随母方生活，但母方有下列情形之一的，可随父方生活：患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的；有抚养条件不尽抚养义务，而父方要求子女随其生活的；因其他原因，子女确无法随母方生活的。
3、子女在两周岁以上不满十周岁的处理。对两周岁以上未满十周岁的未成年的女，父方和母方均要求随其生活，一方有下列情形之一的，可予优先考虑：已做绝育手术或因其他原因丧失生育能力的；子女随其生活时间较长，改变生活环境对子女健康成长明显不利的；无其他子女，而另一方有其他子女的；子女随其生活，对子女成长有利，而另一方患有久治不愈的传染性疾病或其他严重疾病，或者有其他不利于子女身心健康的情形，不宜与子女共同生活的。
4、子女在十周岁以上的处理。对未成年子女满十周岁的，父母双方对抚养权发生争执时，一般考虑该子女的意见。满十周岁的未成年子女，属于限制民事行为能力人，具有一定的辨别是非的能力，所以在离婚案件中，处理子女随谁生活的问题上，应考虑到子女的个人的意愿。但这并不是说十周岁以上未成年子女可以随意选择随谁生活，法院一般在父方母方同争抚养权，且双方都具有抚养子女的条件时，才考虑子女个人的意见。对于成年的子女随哪方生活的问题，则会更多的考虑子女的意见。
5、子女单独随祖父母或外祖父母共同生活多年的处理。父方与母方抚养子女的条件基本相同，双方均要求子女与其共同生活，但子女单独随祖父母或外祖父母共同生活多年，且祖父母或外祖父母要求并且有能力帮助子女照顾孙子女或外孙子女的，可作为子女随父或母生活的优先条件予以考虑。