Pumphuset började byggas 1874. Då byggdes den nordvästra och mellersta delen av byggnaden, som stod färdigt i november 1875 och sattes i bruk 1876. Maskinhallen innehöll en kolvpump som drevs av en vattenturbin. Den turbinen utvecklade 30 hästkrafter. En ångmaskin om 24 hästkrafter installerades som komplement till kolvpumpen vid lågvatten samt en kålkammare. På övervåningen vid Pumphusets norra gavel fanns en bostad om ett rum och kök.

År 1876 var medeltalet av den totala vattenförbrukningen 365 kubikmeter per dygn. År 1890 vad den uppe i 2 520 kubikmeter, hela sju gånger så mycket sedan starten. Förbrukningen var 1999 uppe i 45 000 kubikmeter.

I början togs grundvattnet till ledningsnätet från S:t Eriks källa vid S:t Eriks Torg, där gjutjärnspumpen till S:t Eriks källa står kvar vid Upplandsmuséet. Dessutom togs grundvatten från Sandkällan vid Fyrisån väster om Fyrishov. Omkring sekelskiftet stängdes S:t Eriks källa.

Åren 1900 och 1901 kompletterades Pumphuset med en tillbyggnad södrut. Där installerades en ångmaskin om 64 hästkrafter samt en cirka åtta meter djup samlingsbrunn i byggnadens sydvästra del. Samlingsbrunnen var ämnad för inkommande grundvatten från Sandkällan och nya vattentäkter i Stadsträdgården och Slottskällan. Det byggdes även en till bostad om ett rum och kök i södra gavelns övervåning.

En högreservoar om 608 kubikmeter byggdes under kupolen i Slottets södra torn 1904. Anledningen var att stabilisera ledningstrycket till de högre belägna husen i Fjärdingen.
Den första vattenturbinen byttes ut 1909 mot två nya som drev varsin kolvpump. En för lågtrycksnätet och en för högtrycksnätet. Dessa kolvpumpar hade vid full kapacitet en effekt på 2 400 liter per minut. Detta gjordes för att bättre kunna nyttja vattenkraften i Islandsfallet.
År 1915 bytes ångmaskinerna mot elmotordrivna centrifugalpumpar. De elmotordrivna pumparna ersatte kolvpumparna helt 1965.

Vid Galgbacken i Svartbäcken uppfördes en ny pumpstation i slutet av 1930-talet, som senare byggdes ut vartefter behoven ökade. Denna pumpstation tog över mer och mer från mitten av 1960-talet. Pumphuset avställdes därmed helt 1968 och blev därefter mer och mer förfallet.

Idag är Pumphuset ett museum som invigdes i semptember 1992 efter renoveringen som påbörjades 1991.