荔枝角醫院由上、下兩區建築物組成。其中「下區」的建築物約於1921-1924年間落成，歷史比「上區」的建築為長。這裡原為一座監獄，於1938年改建為傳染病醫院及療養院。瑪嘉烈醫院啟用後，荔枝角醫院便逐漸淡出其傳染病醫院的角色。其後，醫院開始為需要長期護理的精神病及痲瘋病康復者提供住宿服務。荔枝角醫院於關閉前曾易名為「荔康居」。
醫院「下區」的建築群屬於簡單長方型、尖型屋頂的「實用主義」風格。屋頂大部分為中式雙層瓦頂，表現出本地中式建築工藝技巧的影響。建築物本身並非特別罕有，但擁有一定歷史價值。某些「下區」的紅磚建築應該仍保留著其原本的外觀及真確性，但其餘建築則顯然經歷過不同時期的改動。