আঠার শতকের শেষ দিকে এখানে আর্মেনীয়দের বিলিয়ার্ড ক্লাব ছিলো। যার স্থানীয় নাম ছিলো “আন্টাঘর”। বিলিয়ার্ড বলকে আন্টা বলা হয়। সেই থেকেই “আন্টাঘর” নামে পরিচিত। আর্মেনীয়রা ঐ ক্লাবে বিলিয়ার্ড খেলতো। অনেকের ধারনা শব্দটি “আন্ডা” এবং “আন্ডাঘর”।

উনিশ শতকের প্রথম দিকে ইংরেজরা “আন্টাঘর” কিনে নিয়েছিলো,কিন্তু অযত্নে তা খুব তাড়াতাড়ি জীর্ণ হয়ে যায়। এটি ভেঙে ছোট একটা ময়দানের মত করা হয়েছিলো। ১৮৪০ সালে টেলর বর্ননা করেছিলেন- “কয়েকটি রাস্তার মাঝে এক টুকরো খালি জায়গা,যার মাঝে আছে বৃত্তাকার একটু বাগান।”

ইংল্যান্ডের রাণী ভিক্টোরিয়ার নামে এই পার্ক প্রতিষ্ঠিত হয়। উনিশ শতকের প্রথম দিকে নওয়াব স্যার আব্দুল গণি ঢাকার সদরঘাটের কাছে “আন্টাঘর” আর্মেমীয় ক্লাবের ধ্বংসাবশেষের উপর এই পার্কটি তৈরী করার উদ্যোগ নেন।

ডিম্বাকৃতি এই পার্কটি ছিলো লোহার রেলিং ঘেরা। আধমাইল দূরত্বে নদীতীর বরাবর অবস্থিত ছিলো ইংলিশ ফ্যাক্টরি,সেন্ট টমাস চার্চ, সরকারী কলেজিয়েট স্কুল,মিটফোর্ড হাসপাতাল এবং ইউরোপীয়দের বসতবাড়ি৷

১৮৫৭ সালে সিপাহী বিদ্রোহের সময়কার কিছু ঘটনার কারনে এই “আন্টাঘর” বিখ্যাত হয়ে যায়।এখানে সিপাহি বিদ্রোহের কিছু নিরীহ সিপাহীকে ফাঁসি দেওয়া হয়। স্থানীয় পত্র পত্রিকায় তা প্রকাশিত হয়েছিলো।

এক বৃহস্পতিবার সকাল সাতটার সময় চারজন বিদ্রোহীকে নিয়ে আসা হয় তাদের ফাঁসির আদেশ দিয়েছিলেন জজ এবারকোম্বি। তিনজন বিদ্রোহী নিজেরাই গলায় দড়ি দিয়ে মৃত্যুবরন করেন, অপরজন ফাঁসীর মঞ্চে অজ্ঞান হয়ে পরে।

২৭ নভেম্বর ১৮৫৭ সালে শুক্রবার একজন নায়েক এবং একজন সুবেদারকে গীর্জার অপরপাশে ফাঁসীরকাষ্টে ঝোলানো হয়৷ এভাবে একেরপর এক সিপাহী ফাঁসিতে ঝোলানো হয়৷

এক প্রাচীন নাগরিক হৃদয়নাথ মজুমদার লিখেছিলেন এরপর আন্টাঘর ময়দানের পাশ দিয়ে হাঁটতে ভয় পেতো সাধারণ লোকেরা। কারন অনেক ধরনের ভোতিক কাহিনী ছড়িয়ে পরে। তাঁতিবাজার, শাঁখারি বাজার, বাংলাবাজার এলাকার মানুষ সন্ধ্যার পর এই অঞ্চল দিয়ে আসা-যাওয়া বন্ধ করে দিয়েছিলো।

১৮৫৭ সালে রাণী ভিক্টোরিয়া ভারতের শাসনভার গ্রহন করেন আর আন্টাঘর ময়দানেই সেই ঘোষনাপত্র পাঠ করে শোনানো হয়৷ এরপর থেকে এটি ভিক্টোরিয়া পার্ক নামে পরিচিতি লাভ করে।

নওয়াব আব্দুল গণি ব্যক্তিগত ভাবে এই পার্ক মেরামত করেন৷ উনার নাতি খাজা হাফিজুল্লাহর মৃত্যুর পর নওয়াব গণির বন্ধুরা চাঁদা তুলে হাফিজুল্লাহর স্মৃতি রক্ষার জন্য ১৮৮৪ সালে এখানে একটি স্মৃতিফলক স্থাপন করেছিলেন।

১৯৫৭ সালে সিপাহী বিদ্রোহের একশত বছর পূর্তিতে একটি স্মৃতিসৌধ নির্মান করে ভিক্টোরিয়া পার্কের নতুন নামকরন করন করা হয় বাহাদুর শাহ পার্ক।