Das Gebäude der Venloer Bibliothek wurde 1963-1964 an einem Ort errichtet, wo vor dem Zweiten Weltkrieg das Sint-Jozefgasthuis und später ein Altersheim standen. Dieses Viertel war während des Krieges schwer bombardiert worden. Die Architekten Ben Hendrix und Jules Kayser entwarfen ein langgestrecktes, kastenartiges Gebäude im modernistischen Stil, der typisch für die Nachkriegszeit ist. Es beherbergte nicht nur die Bibliothek, sondern bis 1983 auch ein Kulturzentrum, das später mit der Eröffnung des Museums Van Bommel Van Dam auszog.
Die öffentliche Lesehalle befand sich ab 1928 an der Ecke Keullerstraat und Nassaustraat. Am 13. Oktober 1944 wurde diese Lesehalle durch einen misslungenen Luftangriff auf die Maasbrücken zerstört. Die Lesehalle fand vorübergehend in der Grote Kerkstraat Unterschlupf, bis der Neubau an der Begijnengang fertiggestellt war. Die neue Bibliothek entstand an der Stelle, wo früher das Sint-Jozefgasthuis (von 1863 bis 1933) und später ein Altersheim stand. Das Gasthuis war der Vorläufer des Krankenhauses an der Hogeweg. Im November 1944 wurden das Altersheim und die umliegenden Häuser durch Bombenangriffe zerstört.
Erst Jahre später konnte an der Westseite der Begijnengang ein Neubau entstehen. Bis dahin blieb der Ort leer, wie viele andere Orte in der Innenstadt nach dem Krieg. Doch der Standort erhielt schnell eine neue Bestimmung. Bereits 1945 schlug Bürgermeister Bernard Berger vor, hier ein Gebäude für die Lesehalle und die öffentliche Bibliothek zu errichten. Auch ein großer Saal für repräsentative Versammlungen und Kunstausstellungen sollte entstehen. Es dauerte jedoch noch zwanzig Jahre, bis der Wunsch des Bürgermeisters in Erfüllung ging.
Anfang der 1960er-Jahre erhielten die Venloer Architekten Ben Hendrix und Jules Kayser den Auftrag, das Gebäude zu entwerfen. Es war eine ehrenvolle Aufgabe. Kayser erhielt diesen Auftrag trotz seines hohen Alters, weil er jahrzehntelang der bekannteste Architekt von Venlo und Umgebung war. Es ist auch verständlich, dass Hendrix, damals sehr aktiv in und um die Innenstadt, ihn unterstützte.
Im Auftrag der Gemeinde entwarfen sie ein langgestrecktes, kastenartiges Gebäude im modernistischen Stil. Das Gebäude erhielt drei Stockwerke und einen großen Keller. Dieser Keller diente zunächst als Archiv und Fahrradabstellraum. Darüber befanden sich eine geräumige Halle, ein Lese- und Studiersaal, ein Foyer und diverse weitere Säle. Der moderne Charakter des Gebäudes ist wahrscheinlich hauptsächlich Hendrix zu verdanken.
Die Vorderseite des Gebäudes an der Begijnengang wurde transparent gehalten, mit viel Glas in Stahlfassaden zwischen Betonstützen. Die Stirnseiten (Seiten) sind hingegen geschlossen und aus hell glasierten Backsteinen gefertigt. Die Vorderseite weist vertikale Linien auf und ähnelt – mit etwas Fantasie – einer Reihe von Büchern zwischen „Buchstützen“, die von den Giebeln gebildet werden. An der Südseite des Gebäudes befindet sich eine Skulptur von Jack Schrage: „Das kulturelle Streben nach höheren Werten“.
Bis 1983 war auch das Kulturelle Zentrum in dem Gebäude untergebracht. Lei Alberigs und nach ihm Thei Voragen organisierten dort in ihrer Funktion als Direktor des städtischen Kulturamtes eine Vielzahl von Ausstellungen. Insgesamt waren es etwa zweihundert, die mehr als einmal sogar landesweit bekannt wurden. Das Kulturelle Zentrum bescherte Venlo einen kulturellen Frühling. So fand dort die erste Einzelausstellung von Karel Appel statt und hier wurden zum ersten Mal Werke aus der Sammlung Van Bommel Van Dam gezeigt. Ab 1969 gab es einen jährlichen Grafikverkauf, der dazu beitrug, Kunst auf zugängliche Weise einem breiten Publikum zugänglich zu machen. Die Keller des Kulturzentrums wurden von November 1965 bis 1975 für Kurse genutzt, die von der Venloer Freien Akademie angeboten wurden.
Mit der Gründung des Museums Van Bommel Van Dam im Jahr 1971 stellte das Kulturzentrum langfristig seinen Betrieb ein. Am 31. Dezember 1983 zog das Zentrum aus dem Begijnengang aus. Von diesem Zeitpunkt an stand das gesamte Gebäude der Bibliothek zur Verfügung.
