总督府位于青岛市南区中部的观海山南坡，面对小青岛和青岛湾，正处于当时青岛市中心处，是当时德国总督办公的地方，又称“总督府”。
这座由花岗岩砌成的“总督府”，始建于1903年，1906年竣工，历时4年。由德国建筑师拉查鲁维茨设计，是一座砖石和钢木混合结构的建筑，建筑面积7500平方米。共耗资85万德国马克。

　　这座建筑采用19世纪欧洲公共建筑的对称平面，主面为三纵五段的对称处理，中轴线非常突出，建筑平面呈“凹”字型。配以折线型屋顶，覆以简式红瓦，开启有弧状屋面窗，顶侧装有铁栏杆，即用于装饰，又做避雷针，十分精巧。总督府为五层楼房，主体高20米，一、四、五层楼均为窗户较小的辅助性房间，主要办公室都在二、三层朝阳的一面，走廊均放在背阴的一面。办公室宽敞明亮，门窗很大，办公室外还有长廊式阳台，室内除装有柚木护墙板和地板外，别无其它装饰，使人感到庄重朴实。整个建筑外形非常庄重，处理手法也非常严谨。大楼外为一拱圈形大门，进门则是二层了。二层的门厅和三层的会议厅主要大厅都很高大。又由于它背山面海，楼前广场空间开阔，更显得甚为壮观，在青岛建筑方位多不规则的市区内，它是少见的一座近似正南正北的建筑物。1914年第一次世界大战爆发，日本取代德国侵占青岛，总督府成为日军驻青岛守备司令部，1922年，我国政府从日本人手中收回青岛，此楼成为胶奥商埠督办公署，1929年4月，总督府又为青岛接收专员公署，同年7月成为青岛特别市政府的所在地。

　　1938年，日本第二次侵占青岛，总督府又为日伪最高统治机关，先后称为“青岛特别市公署”，“青岛特别市政府”。1945年日本投降后，国民党政府接收青岛，总督府再次作为青岛市政府所在地。

　　1949年6月2日，青岛解放。这座办公大楼获得了新生，先后为青岛市人民政府，青岛市人民委员会所在地。现为市人大常委会和市政协的办公场所。1996年年国务院公布为第四批全国重点文物保护单位。