荔枝角医院由上、下两区建筑物组成。其中「下区」的建筑物约于1921-1924年间落成，历史比「上区」的建筑为长。这里原为一座监狱，于1938年改建为传染病医院及疗养院。玛嘉烈医院启用后，荔枝角医院便逐渐淡出其传染病医院的角色。其后，医院开始为需要长期护理的精神病及痲疯病康复者提供住宿服务。荔枝角医院于关闭前曾易名为「荔康居」。
医院「下区」的建筑群属于简单长方型、尖型屋顶的「实用主义」风格。屋顶大部分为中式双层瓦顶，表现出本地中式建筑工艺技巧的影响。建筑物本身并非特别罕有，但拥有一定历史价值。某些「下区」的红砖建筑应该仍保留着其原本的外观及真确性，但其余建筑则显然经历过不同时期的改动。