原系私人宅院。1589年西班牙殖民统治时期委内瑞拉总督迭戈·德奥索里奥下令改建成皇家监狱,用于关押政治犯。后数次毁于地震。1840年改建成总统府,成为总统和内阁部长办公所在地。
1873年,古斯曼·布兰科总统领导的黄色自由党(PARTIDO LIBERAL AMARILLO)上台后,将总统府改成总统官邸并漆成黄色,自此被称为黄楼。1877年,国会宣布将黄楼收归国有。
1912年10月28日成为外交部所在地。自1968年起,每年10月28日,外交部都要举行纪念活动并向杰出工作人员颁奖。 整座建筑分两层,中央是宽敞的露天天井。
下层系礼宾总司、档案馆和图书馆所在地。上层主要有委内瑞拉宣布独立的“独立厅”、漆成黄、蓝、红国旗三色的“旗厅”、“会议厅”、“宴会厅”等。
“独立厅”为外长办公室。“旗厅”中间摆放有西蒙·玻利瓦尔雕像,是接待外宾的场所,有时也在此为外国元首举行国宴。黄楼现珍藏有许多珍贵的本国和外国艺术品。