عین الدوله تا سال ۱۳۰۶ در قید حیات بود. او در سال های پایانی عمر، با ورشکستگی بزرگی مواجه شد. طلبکاران بسیاری اموال او را تصاحب کردند. باغ و عمارت عین الدوله نیز از مالکیت او بیرون آمد و مالک جدیدی با نام بصیرالدوله (هروی) پیدا کرد. بصیرالدوله عمارت را بازسازی کرد و آن را به اسکان خانواده اش اختصاص داد. پس از مرگ مالک جدید، عمارت و باغ به فرزند بصیرالدوله یعنی دکتر نصرت الله هروی رسید و پس از او به دخترش انتقال یافت تا این که سال ۱۳۷۶ با توافق آخرین مالک، باغ و عمارت عین الدوله به شهرداری تهران واگذار شد و این باغ به فضایی عمومی بدل شد که قابلیت موزه و مکان هایی دیگر را با کاربری عمومی پیدا کرد.

از حوادث تاریخی و مهمی که در این باغ اتفاق افتاده، کنفرانس تهران است که روزهای ۶ تا ۹ آذر ۱۳۲۲ برابر با دسامبر ۱۹۴۳ میلادی در تهران برپا شد و چهارمین کنفرانس سران کشورهای انگلیس، آمریکا و شوروی به شمار می رفت که به منظور توافق درباره حواشی جنگ با متحدین و ترسیم جهان پس از پایان جنگ جهانی دوم به صورت سری برگزار شد.

سال ۱۳۷۶ سازمان میراث فرهنگی کشور طی طرحی تمام ابنیه و ساختمان های قدیمی تهران را شناسایی کرد و حدود چهل بنا را جزو میراث فرهنگی کشور به ثبت رساند و به جمع آوری اطلاعات و تاریخچه درباره آنها پرداخت و آن بناها را برحسب نیاز و ضرورت در نوبت بازسازی قرارداد و برای هرکدام، کاربری خاصی در نظر گرفت. در این بین، بنا و باغ عین الدوله چهارم تیر ۱۳۷۷ با شماره ۲۰۴۲ در فهرست آثار ملی ایران به ثبت رسید.تعمیرات این بنا از مهر ۱۳۸۱ توسط شرکت توسعه فضاهای فرهنگی آغاز شد و طی چند مرحله تغییرات به شکل فعلی در آمده تا این که بهار ۱۳۸۶ و به مناسبت صدمین سالگرد بلدیه تهران افتتاح شد و با تجهیز فضاهای داخلی و خارجی عمارت برای تعریف کاربری نگارخانه و فعالیت آن در زمینه حمایت و گسترش هنرهای شهری در نظر گرفته شد. در حال حاضر، نگارخانه برگ با گشایش دوباره خود در مهرماه ۱۳۸۷ در مکان جدید آن (مجموعه عمارت عین الدوله) دور تازه ای از فعالیتش را آغاز کرد.