1664
Al vóór het jaar 1300 was er in Arcen al sprake van een kasteel. Verval en verwoesting leidden ertoe dat de hertog van Gelder, Reinier I tussen 1511 en 1522 een nieuw kasteel bouwde: het Nije Huys. Tijdens de 80-Jarige Oorlog werd in 1646 ook dat onderkomen verwoest. De kasteelheer Marcelius van Gelre I gaf in dat jaar opdracht voor de bouw van het huidige kasteel. Het poortgebouw was in 1653 gereed. Deze voorburcht verrees op de fundamenten van het oude kasteel. Met de bouw van het hoofdgebouw werd in of kort na 1664 gestart.
In 1763 bouwde een nazaat van Marcelius, Christiaan August ven Gelder, een orangerie welke in 1916 totaal door brand werd verwoest.
Kastelencomplex
Het kasteel bestaat uit een rechthoekig bakstenen gebouw dat uit de gracht oprijst. Aan de rechterzijde steekt een zijvleugel iets naar voren. De tweede vleugel aan de linkerzijde is bij een brand in 1916 verdwenen en niet meer herbouwd. Niet alleen het hoofdgebouw is omgracht, ook het gehele kastelencomplex met de voorgebouwen zijn omgeven door water.
Adelijke families
Bewoners van het kasteel waren onder anderen de families van Buren en Schenk van Neydeggen. Vanaf 1503 woonden er liefst negen generaties van Gelre totdat het bezit in 1779 in handen viel van de familie Van Wijmar. Door huwelijk viel het complex in 1814 in handen van de familie van Dalwigk zu Lichtenfels. Van deze laatstgenoemde kocht in 1876 Levin Wolff Metternich het kasteel met de bijbehorende gebouwen en het grondbezit. In 1917 verkocht Wolff Metternich op zijn beurt het kasteel aan schilder en kunstprofessor Deusser. In dat jaar verliet dus de laatste adellijke bewoner het kasteel.
Tweede wereldoorlog
In 1925 liet Deusser het koetshuis, dat zwaar beschadigd was door de brand in de aanpalende orangerie, opnieuw opbouwen. Op de bovenverdieping richtte hij zijn schildersatelier in met een groot raam op het noorden voor de juiste lichtinval. Hier vervaardigde hij honderden schilderijen. Hij overleed in 1942 maar had kort voor zijn dood zijn collectie in veiligheid laten brengen wat het behoud ervan betekende vanwege de oorlog.
Gedurende de oorlog had het kasteel veel te verduren gehad door het granaatvuur maar ook vanwege de wisselende militaire bezettingen. In het hoofdgebouw en de boerderij vonden enkele gezinnen enige tijd onderdak maar er werd nauwelijks onderhoud gepleegd. Pas eind 1974 gaven de erven van August Deusser te kennen dat ze bereid waren tot verkoop van het kasteel. In 1976 slaagde stichting Het Limburgs Landschap er in het kasteel met 340 hectare grond en bosgebied te verwerven.
In 1988 werd, na een ingrijpende restauratie van de gebouwen en tuinen, het complex opengesteld voor het publiek onder de naam 'Kasteeltuinen Arcen'.
