旧域多利军营是英国建于香港最早期的军事设施之一，军营原有三十多幢建筑物，但大部份已被拆除。现存的建筑物包括罗拔时楼、卡素楼、蒙哥玛利楼、罗连信楼、华福楼、与及已被列为法定古迹的旧三军司令官邸，均曾用作住宅及宿舍。在日本侵华期间（1941至1945年），这些建筑物曾被日本人占用。1979年，英军将域多利军营移交香港政府，军营的部份地方现已改建为香港公园。
罗拔时楼建于20世纪初年，建筑物位于坚尼地道之上，最初被称为已婚军人宿舍“E”座，于二次世界大战后以准将（之后少将）G.P. Roberts命名。罗拔时楼于1986年至2013年期间，被新生精神康复会用作精神病康复者宿舍。现时物业空置，并由政府产业署管理。罗拔时楼在2009年被古物谘询委员会评定为一级历史建筑。
罗拔时楼是一幢三层高的建筑物，其向北的立面属爱德华时代古典复兴风格。由红砖砌成方形立柱支撑每楼层的古典柱顶和模制飞簷，并设开放式长廊于各层，立柱之间的护栏下放置古典的瓮状栏杆柱，而栏杆柱涂上白色可与红砖形成对比。建筑物仍保留原装钢楼梯、半玻璃木门和楣窗。