Aan de basis van het Letterenhuis lag de literaire nalatenschap van Hendrik Conscience, die door de stad Antwerpen in 1899 was aangekocht en voor het eerst werd tentoongesteld in 1912. Het grote succes van deze expositie deed prominenten de hoop uitspreken dat de collectie een permanent onderkomen zou vinden.

Op 5 november 1933 opende het Museum van de Vlaamsche Letterkunde zijn deuren in het Huis De Beukelaer aan de Minderbroedersrui. Tijdens de Tweede Wereldoorlog herschiepen Duitse V1-bommen het gebouw tot een ruïne. Na de oorlog herrees het instituut met een vernieuwd gebouw en een nieuwe naam: Archief en Museum voor het Vlaamse Cultuurleven (AMVC). In het beleid van het instituut schonk men beurtelings aandacht aan de Vlaamse literatuur en aan de bredere geschiedenis van de Vlaamse cultuur. Aan het begin van de 21ste eeuw koos men resoluut voor de oorspronkelijke invalshoek, de Vlaamse literatuur, wat resulteerde in een nieuwe naam: Letterenhuis.