فتحعلی شاه قاجار در سال 1213 ه.ق و در سال دوم سلطنت خود فرمان داد تا بیرون از تهران قصری برایش بسازند. محل قصر در جایی انتخاب شد که امروزه باغ موزه قصر بر جایش قرار دارد و در آن زمان به اراضی خرم آباد معروف بود.
دوره ناصرالدین شاه قاجار با کم توجهی مواجه شد و اردوی سالانه فوج قزاق در محل قصر برپا شد.
در دوره مظفرالدین شاه باغ قصر قجر و باغشاه به دست اداره ژاندارمری افتاد. بخش های زیادی از قصر قاجار در سال ۱۲۸۴ هجری شمسی بر اثر بارش باران و وقوع سیل، تخریب شد.
در پی به قدرت رسیدن رضا شاه ایران عضو کنوانسیون های بین المللی شد. به دنبال این امر یک زندان مدرن مطابق با استانداردهای بین المللی بنا گشت. طراحی زندان توسط افسر قزاق نیکلای مارکوف صورت گرفت. او از معماران مطرح ایران در دو دهه اول قرن چهاردهم بود، از کارهای مهم وی میتوان به دارالمعلمین، دبیرستان البرز، کارخانه قند ورامین، ساختمان پست و … اشاره نمود. این زندان با ۱۹۲ اتاق و گنجایش ۸۰۰ زندانی در محل قصر قاجار ساخته شد.
شگفت آور این که سرتیپ محمد درگاهی رئیس نظمیه که در روز افتتاحیه میزبان شاه و مدعوین بود، خود نخستین زندانی زندان قصر شد. ساختمان زندان سیاسی در دوره پهلوی دوم به بهره برداری رسید و به تدریج میزبان زندانیان سیاسی مشهوری از جمله نواب صفوی، آیت الله طالقانی، علی عمویی، مرتضی مطهری، مرضیه حدیدچی، اکبر رفسنجانی، معصومه جزایری، داوود خامنه، شهرستانکی و … گردید.
زندان قصر نخستین زندانی بود که به دست انقلابیون فتح شد و به عنوان زندان برخی از سران رژیم پهلوی مورد استفاده قرار گرفت. اولین جلسات دادگاه انقلاب در مسجد زندان قصر تشکیل شد. امروزه باغ موزه قصر یکی از دیدنی های تهران است.