拆除违章建筑的部门主要依据《城市规划法》和《土地管理法》等相关法律法规进行划分，具体负责部门如下：
城市规划部门
城市规划局：负责城市规划区内违反规划建设行为和非法临时建设的查处。根据《城市规划法》第四十条，对于未取得建设工程规划许可证件或违反许可证规定进行建设的行为，城市规划部门有权责令停止建设、限期拆除或没收违法建筑物、构筑物或其他设施。
土地行政主管部门
国土资源管理局：负责违法占地建设行为的查处。根据《土地管理法》第七十四条、第七十六条和第七十七条，国土局可依法作出处罚决定，责令限期改正、治理、停止施工或责令限期拆除在非法占用的土地上新建的建筑物和其他设施。但国土局没有强拆权，需申请人民法院强制执行。
建设行政主管部门
住房和城乡建设局（委）：对未依法办理施工许可手续进行建设的违法行为，有权责令改正、停止施工及罚款等处罚决定。
乡、镇人民政府
乡、村庄规划区内：违反规划建设的行为查处主体为乡、镇人民政府。
城市综合执法局
城市综合执法局：负责违章建筑的拆除工作。根据《中华人民共和国土地管理法》第八十三条，城市综合执法局有权采取查封施工现场、强制拆除等措施。
区（县）人民政府
区（县）人民政府：对于妨碍公共安全和交通的违章建筑，组织规划管理部门、公安部门等按程序予以拆除。包括调查取证、发出自行拆除决定书、组织强制拆除等步骤。
建议
城市建成区：建议向城市管理部门或规划部门投诉，要求强制拆除。
农村地区：建议向国土资源部门投诉并要求强制拆除。
部门不作为：可以向当地人民政府举报，或向上一级部门投诉，要求强制拆除。
根据具体情况和违建性质，可以选择相应的部门进行投诉或举报，以确保违建得到及时有效的处理。