請負契約書を確認しないと正確な回答は困難ですが、請負人側の理由で工事が遅延して遅延損害金の規定に該当する場合、発注者は遅延損害金を請求できますし、遅延損害金を請求されたから契約を解除するなどという主張は通りません。

ただ、実際問題として請負業者が工事をストップすれば、発注者としては、請負業者の契約違反を理由に発注者側から請負契約を解除して、出来高を精算し、他の業者に続きをやってもらうしかないでしょう。

そうなると、当初請負業者との間で裁判をやる覚悟が必要ですし、請負業者の支払能力によっては、裁判で勝っても既払の工事代金が回収できないといった事態もあり得るので、そうするのが得策かどうかは一概に言えないところです。

「確認なのですが、今の状況で、解除に私たちが納得したら、
出来高の精算に加えて
遅延金➕損害金（家賃など）は請求できるという認識でよろしいでしょうか？」

→請負業者からの「遅延損害金を請求されたことによる解除」という理屈は立たないので、あり得るとすれば合意解除ですね。その場合には、遅延損害金＋工事期間が延びた分の家賃などの損害金については、「請求できる」というより、それを条件として交渉するということになるでしょう。

ただ、遅延損害金も支払わないといっている請負業者が、工事期間が延びた分の家賃などの損害金も支払う条件に応じるとは考えにくいところです。

「しかし工事がストップされても、私たちが合意しなければ、解除はできず、仕上げるまでの遅延日数が膨らんでいくのではないのでしょうか？」

→請負業者からの「遅延損害金を請求されたことによる解除」という理屈は立たないので、工事がストップされても、仕上げるまでの遅延日数が膨らんでいきます。

ただ、発注者としても、いつまでも完成しないのでは困り増すし、遅延損害金を回収できる保証もないので、請負業者が工事をストップすれば、通常は、発注者の側から、請負業者の契約違反を理由に請負契約を解除するでしょう。

「建設会社が廃業にならない限り、（他の現場が続く限り）この遅延金請求による解除という主張は通らないものなのではないのでしょうか？」

→請負業者からの「遅延損害金を請求されたことによる解除」という理屈は通らないでしょう。ただ、遅延損害金を請求できることと、実際に回収できることとは別です。

これで今回の回答を終了させていただきます。

これ以上は、一度面談の上で正式に弁護士にご相談されることをお勧めいたします。