この判断は、調停機関がなします。実際には審判官の判断です。
実務では５回を超えてまとまらないなら不成立ということが多いでしょう。

調停が不調となった場合申立ての時に遺産分割の審判の申立てがあったものと扱われます。そうして、遺産分割事件について審判手続がはじまります。新たに申立ては不要です。
調停事件を取り扱った同じ裁判所が審判事件を行います。