네덜란드 동인도 회사(Dutch East India Company)의 식민지 개척자 얀 반 리베크(Jan van Riebeeck)에 의해 1654년 최초의 부두가 건설 건설되며 인도양과 대서양을 오가는 무역선들의 필수 기착지로 발전했다. 영국의 해양권력을 장악후 1860년 왕실 일원중 최초로 빅토리아 여왕의 둘째 아들인 알프레드 왕자(Prince Alfred)가 해군 생도로 방문한 것을 기념하며 항구 이름을 어머니의 이름을 따서 '빅토리아 & 알프레드(Victoria & Alfred)'로 명명했다.

1869년 11월 17일 수에즈 운하가 생기며 쇠퇴기를 거치다 1980년대와 1990년대 대규모 도시 재생 사업을 통해 현재의 복합 문화 단지로 탈바꿈했다. 쇼핑몰, 호텔, 레스토랑, 주거 단지, 박물관, , 아쿠아리움 등 다양한 관광 시설과 넬슨 만델라 전 대통령이 수감되었던 유네스코 세계문화유산인 로벤섬(Robben Island)으로 가는 페리가 이곳 항구에서 출발한다.