عمارت خانه کاظمی در جوار امامزاده یحیی در محله چاله میدان قرار دارد. این عمارت متعلق به میرزا سید کاظم پسر سید میرزا هدایت الله تفرشی بود که در سال 1213 خورشیدی، اوایل پادشاهی محمد شاه قاجار وارد دربار و خدمات دولتی شد. وی در زمان ناصرالدین شاه به عنوان یکی از میرزاهای اصطبل شاهی خدمت میکرد.
در سفر ناصرالدین شاه قاجار به خراسان میرزا سید کاظم همراه شاه بود. در میان مسیر سید کاظم به سِمَت مستوفیگری اصطبل منصوب شد.
طرح اصلی عمارت خانه کاظمی در اواخر دوره قاجار شکل گرفت. این بنا همانند خانههای سنتی ایرانی شامل بیرونی، اندرونی، آب انبار و مطبخ است. از قسمت اصلی عمارت خانه کاظمی بخش شاهنشین آن است که یک طبقه رو و یک طبقه زیر دارد. شیشههایی رنگی پنجرههای ساختمان جلوه خاصی به نمای داخلی بخشیده است. بنای کنونی دو حیاط دارد. یک حیاط در قسمت جنوبی غربی و در بخش بیرونی و حیاط دیگر در قسمت شمالی که در بخش اندرونی قرار دارد.