房屋租赁合同违约，是否需要退中介费，由出租人与中介或者承租人与中介的约定而定，如果合同明确表明违约需要退中介费的，应该退。根据相关法律规定，租赁合同是出租人将租赁物交付承租人使用、收益，承租人支付租金的合同。