対応が悪かった場合に解約・キャンセルは可能でしょうか？

見積り当初は担当者の対応も良く、納得して解体工事の契約を交わしましたが、担当者の対応がだんだんと悪くなり、契約を解除したいと考えています。契約書にサインをしてしまったあとでも契約解除は可能でしょうか？違約金のようなものを支払わないといけないのでしょうか？

契約解除は可能です。契約書の内容にもよりますが、着工前であれば違約金を払う必要はないでしょう。

契約解除は可能

どのようなタイミングであっても契約の解除は可能です。質問者様が業者に対して契約の解除を申し出た場合、業者はそれに応じて話し合いの機会を設け、最終的には契約解除の手続きを進めなければなりません。

まずは約款を確認すること

質問者様の契約解除の意志が堅いのであれば、契約解除の準備を進めます。まずは契約書の約款を確認することです。細かく記載された約款であれば、契約解除に関する記述もされているはずです。何か記載があれば、それに従って手続きを進めていくことになります。もし、約款がないようであれば、民法や過去の判例を元に業者との交渉を進めていくことになります。

契約解除理由の妥当性

契約解除理由が妥当かどうかを判断する際に、今回の契約解除の原因が業者にあるか施主にあるかがひとつのポイントになります。民法には下記のような記載があります。

（定期行為の履行遅滞による解除権）

第五百四十二条 　契約の性質又は当事者の意思表示により、特定の日時又は一定の期間内に履行をしなければ契約をした目的を達することができない場合において、当事者の一方が履行をしないでその時期を経過したときは、相手方は、前条の催告をすることなく、直ちにその契約の解除をすることができる。

（履行不能による解除権）

第五百四十三条 　履行の全部又は一部が不能となったときは、債権者は、契約の解除をすることができる。ただし、その債務の不履行が債務者の責めに帰することができない事由によるものであるときは、この限りでない。

質問者様の話では業者の対応が悪化したとのお話しですが、対応の悪化が第542条における「定期行為の履行遅滞」か、第543条における「履行不能」と見なすことができるかが、契約解除理由が妥当かどうかの判断基準になります。それに至らないのであれば、まずは業者の対応改善を求めるのがよいと思います

違約金について

民法では下記のような条文があります。

（解除の効果）

第五百四十五条 　当事者の一方がその解除権を行使したときは、各当事者は、その相手方を原状に復させる義務を負う。ただし、第三者の権利を害することはできない。

２ 　前項本文の場合において、金銭を返還するときは、その受領の時から利息を付さなければならない。

３ 　解除権の行使は、損害賠償の請求を妨げない。

着工前であれば、業者側には特に損出もないといえますので、施主側がなんらかの原状回復を行うような必要性はないと思われますが、着工後であった場合は業者側は経費を投じているため、費用を負担する必要が出る可能性もあります。また、それとは別に業者側には損害賠償を請求する権利は存在していますので、損害賠償請求をされる可能性もゼロではありません。解除原因が業者の怠慢によるものであれば、裁判を行っても負ける可能性は低いといえますが、いずれにせよ慎重に話し合いを進めることが大切です。