我弟弟与中介公司签订了房屋买卖合同,就通知中介公司取消合同,请问我方需要承担违约责任吗。