После смерти Максима Горького в 1936 году Центральный исполнительный комитет распорядился выделить несколько помещений особняка для музея и архива документов писателя при Институте мировой литературы. Архив занял комнаты первого этажа, где в особых условиях хранилось более пятидесяти тысяч экземпляров рукописей и писем писателя, отобранных партийной комиссией после его смерти. Кроме того, отдельные комнаты особняка отвели под читальный зал и каталог позиций фонда. Выставочные залы музея разместили в парадной анфиладе, а в остальных помещениях второго этажа — хранилище. Для посетителей выставка была открыта 1 ноября 1937 года и стала первой в стране, полностью посвящённой деятельности Горького. Первым директором организации стал бывший секретарь писателя Пётр Крючков, научным руководителем — директор ИМЛИ Иван Луппол. Писатель Всеволод Иванов в своём сборнике «Встречи с Максимом Горьким» уделил отдельную главу описанию музея:

В первой комнате будут сосредоточены документы, связанные с именем Горького. Во второй комнате, представляющей собой железобетонный сейф, в металлических ящиках будет храниться драгоценнейшее рукописное наследие Алексея Максимовича. Эти комнаты оборудуются специальным отопительным и вентиляционным устройством, чтобы иметь возможность поддерживать здесь постоянную температуру и влажность воздуха, наиболее благоприятные для сохранения рукописей.
Во время Великой Отечественной войны музей Горького эвакуировали из здания, но уже 18 ноября 1946 года экспозиция вновь начала свою работу. Проведение исследований и пополнение материалов позволило подготовить к столетию со дня рождения писателя расширенную выставку. В 1965-м в особняке Рябушинского, где прозаик провёл последние годы жизни, начал действовать филиал организации — музей-квартира Горького. После этого хранилище перевезли в более просторные помещения на Малой Никитской улице. В 1960-х годах на базе ИМЛИ организовали Сектор собрания сочинений Горького, который первым в стране подготовил и издал полную подборку художественных произведений писателя с подробными комментариями. Организация вместе с хранилищем книг заняла помещения мезонина.

После реставрации 1970-х годов обновлённая экспозиция музея имени Горького разместилась в шести залах особняка. Она состояла из редких фотографий, прижизненных публикаций, рукописей, личных вещей и документов писателя, а также воссозданных интерьеров его кабинета и спальни. В этот период хранилища музея насчитывали более 40 тысяч экспонатов, на основе которых в 1981-м была издана книга «Личная библиотека А. М. Горького в Москве. Описание». Часть бывших помещений музейного хранилища занял Архив советских и зарубежных писателей, где содержались уникальные рукописи и издания Сергея Есенина, Алексея Толстого, Демьяна Бедного, Александра Блока и других видных драматургов XX века. По состоянию на 1987 год фонд насчитывал более шестисот наименований, на основе каталога хранилища была издана серия книг «Архив А. М. Горького», а также сборники писем и незаконченных произведений драматурга.