De Venlose bibliotheek werd in 1963-1964 gebouwd op een plek waar voor de Tweede Wereldoorlog het Sint-Jozefgasthuis en later een tehuis voor ‘ouden van dagen’ had gestaan. Het gebied was in de oorlog zwaar gebombardeerd. De architecten Ben Hendrix en Jules Kayser ontwierpen een langgerekt, doosvormig gebouw in een modernistische stijl, kenmerkend voor de wederopbouwperiode. Het bood niet alleen onderdak aan de bibliotheek, maar tot 1983 ook aan een cultureel centrum. Dat laatste verliet het pand met de komst van museum Van Bommel Van Dam.
Vanaf 1928 stond de openbare leeszaal op de hoek van de Keulerstraat en de Nassaustraat. Op 13 oktober 1944 werd deze leeszaal verwoest door een mislukte luchtaanval op de Maasbruggen. De leeszaal kreeg tijdelijk onderdak in de Grote Kerkstraat, tot de nieuwbouw aan de Begijnengang gereed was. De nieuwe bibliotheek verrees op de plek waar vroeger het Sint-Jozefgasthuis stond (van 1863 tot 1933) en later een tehuis voor “Ouden van dagen”. Het gasthuis was de voorloper van het ziekenhuis aan de Hogeweg. In november 1944 werden het tehuis en de omliggende huizen verwoest door bombardementen.
Pas jaren later kon er nieuwbouw komen aan de westkant van de Begijnengang. Tot die tijd bleef de plek leeg, zoals veel plekken in de binnenstad na de oorlog. Toch kreeg de locatie al snel een bestemming. In 1945 stelde burgemeester Bernard Berger voor om hier een gebouw te realiseren voor de leeszaal en de openbare bibliotheek. Ook moest er een grote zaal komen voor representatieve bijeenkomsten en kunsttentoonstellingen. Het duurde vervolgens nog twintig jaar voordat de wens van de burgemeester in vervulling zou gaan.
Begin jaren zestig kregen de Venlose architecten Ben Hendrix en Jules Kayser de opdracht om het gebouw te ontwerpen. Het was een eervolle opdracht. Kayser kreeg deze opdracht ondanks zijn hoge leeftijd, omdat hij al tientallen jaren de bekendste architect van Venlo en omstreken was. Het is ook begrijpelijk dat Hendrix, destijds zeer actief in en rondom de binnenstad, hem kwam versterken.
Zij tekenden in opdracht van de gemeente een langgerekt, doosvormig gebouw in een modernistische stijl. Het gebouw kreeg drie verdiepingen en een grote kelder. Die kelder deed in eerste instantie dienst als archief en fietsenstalling. Daarboven kwamen een ruime hal, een lees- en studiezaal, een foyer en diverse andere zalen. Het moderne karakter van het gebouw is waarschijnlijk vooral te danken aan Hendrix.
De voorzijde van het gebouw aan de Begijnengang werd transparant gehouden met veel glas in stalen puien tussen betonnen kolommen. De kopse kanten (zijkanten) zijn juist gesloten en gemaakt van licht verglaasde bakstenen. De voorzijde heeft verticale lijnen en lijkt – met wat fantasie – op een rijtje boeken tussen ‘boekensteunen’ gevormd door de kopgevels. Aan de zuidkant van het gebouw bevindt zich een beeld van Jack Schrage: 'Het cultureel streven naar hogere waarden'.
Tot 1983 was ook het Cultureel Centrum in het gebouw gevestigd. Lei Alberigs en na hem Thei Voragen organiseerden daar, in hun functie van directeur van de gemeentelijke culturele dienst, een groot aantal tentoonstellingen. In totaal waren dat er zo’n tweehonderd, die meer dan eens zelfs landelijk bekend werden. Het Cultureel Centrum bezorgde Venlo een culturele lente. Zo vond er de eerste solo-expositie van Karel Appel plaats en werd hier voor het eerst werk uit de collectie Van Bommel Van Dam getoond. Vanaf 1969 was er een jaarlijkse grafiekverkoop, die eraan bijdroeg dat kunst op een laagdrempelige manier beschikbaar kwam voor een breed publiek. De kelders van het Cultureel Centrum werden van november 1965 tot 1975 gebruikt voor cursussen, verzorgd door de Venlose Vrije Academie.
Met de komst van museum Van Bommel Van Dam in 1971 hield het Cultureel Centrum op termijn op te bestaan. Op 31 december 1983 vertrok het centrum uit de Begijnengang. Vanaf dat moment kwam het hele gebouw beschikbaar voor de bibliotheek.
