Первоначально здание музея в стиле модерн, построенное российским архитектором Фёдором Шехтелем в 1902 году, принадлежало миллионеру С. П. Рябушинскому. Строительство началось, когда Рябушинскому было 26 лет. В этом доме он с семьей прожил вплоть до революции 1917 года, когда всё семейство подверглось гонениям и спасалось в эмиграции. После 1917 года особняк перешёл во владение города и в нём поочередно располагались Государственное издательство, Всесоюзное общество культурной связи с заграницей, Психоаналитический институт и детский сад. В 1932 году Горький окончательно переехал в СССР, где до этого проводил по несколько недель в год, с тех пор за границу его больше не выпускали. Бывший особняк Рябушинских был предоставлен ему и его семье в качестве резиденции Правительством СССР, наряду с дачами в Горках и Крыму. Именно здесь он провёл остаток своих лет вплоть до смерти в 1936 году. В 1965 году здание официально приобрело статус музея.

После смерти Горького вдова его сына «Тимоша» (Пешкова, Надежда Алексеевна) осталась жить в особняке до 1965 года, последние 20 лет из них посвятила созданию музея Горького, возникшему практически на её энтузиазме.
Музей сохранил уникальную богатую библиотеку Горького. Большинство предметов пользования сохранилось до наших дней в своём первозданном виде. С тех пор как Рябушинские покинули дом, когда зданием владел город, были утрачены некоторые предметы мебели и осветительные приборы того времени, выполненные по эскизам Шехтеля, разрушена вентиляционная система и разобран уникальный камин из каррарского мрамора. Сам Mаксим Горький жил только на первом этаже дома, на втором этаже жила его семья — сын Максим Алексеевич с женой Надеждой Алексеевной и внучками Дарьей и Марфой.
В 1931 году на территории усадьбы были размещены Максим Горький и его семья, вернувшиеся из Италии. Ещё до Революции и отъезда из России Горький с пренебрежением отзывался об особняке и называл его «нелепым». В 1931-м писатель окончательно решил вернуться в Москву и, узнав о предполагаемом месте размещения, просил своего секретаря Петра Крючкова отложить вопрос о поселении до личного приезда:

«Но я совершенно точно знаю, что моё поселение во дворце или храме произведёт справедливо отвратительное впечатление на людей, которые, адски работая, обитают в сараях.»
Своего мнения Горький не изменил и после переезда. В письме французскому писателю Ромену Роллану он использует тот же эпитет — «нелепый дом, но работать можно». Именно в этом особняке в начале 1932 года состоялась встреча Горького и Сталина с писателем Михаилом Шолоховым, на которой решилась судьба третьего тома «Тихого Дона» и романа «Поднятая целина». Оба произведения было разрешено опубликовать. В октябре того же года Сталин и Горький дважды проводили ночные встречи с советскими писателями, на которых помимо известных литераторов: Михаила Шолохова, Корнея Чуковского, Самуила Маршака, Михаила Пришвина, — также присутствовали члены политбюро. Драматург Леонид Леонов вспоминает происходившее следующим образом:

«Встречался я со Сталиным, встречался… не раз… Картина есть у художника Яр-Кравченко, она сохранилась в литературном музее: в Рябушинском особняке, у Горького, Политбюро со Сталиным, и мы, писатели, человек пятнадцать. Там Горький и Сталин за столом, и Маленков, Молотов, Андреев, все сидят, а на первом месте кресло, а в кресле я сижу, молодой, приятный. Было дело… Это были страшные времена. И Ягода тоже был с нами, главный шеф Леопольда Авербаха, председателя РАППа… страшный человек был, такой бледный, маленького роста...»
На этой встрече возник и наполнился конкретным содержанием термин «социалистический реализм», определённый как идеологическая платформа нового советского искусства. Литературовед Корнелий Зелинский, присутствовавший на собрании, приводит комментарий Сталина:

«Художник прежде всего должен правдиво показать жизнь. А если он правдиво будет показывать нашу жизнь, то в ней он не может не заметить, не показать того, что ведет ее к социализму. Это и будет социалистическое искусство. Это и будет социалистический реализм.»
Тогда же нашли поддержку идеи организации первого съезда советских писателей, а также строительства в Москве литературного института, который предложили назвать в честь Горького.