১৭৯৯ সালে রাজা নৃসিংহদেব হংসেশ্বরী কালীমন্দির প্রতিষ্ঠা করেন এবং তাঁর মৃত্যুর পরেই তার বিধবা পত্নী রাণী এই মন্দির নির্মাণ সম্পন্ন করেন। এই মন্দিরে আছে রত্ন মিনার। প্রতিটি প্রস্ফুটিত পদ্মের নির্মিত মন্দিরের গর্ভগৃহের উচ্চতা প্রায় ৭০ ফুট উপরে। পাথরে নির্মিত শিব মূর্তির নাভি থেকে উদগত প্রস্ফুটিত পদ্মের উপর দেবীর মূর্তি নির্মিত। এখানে দেবী নীল বর্ণ, ত্রিনয়নী, চতুর্ভূজা, খড়্গধারিণী ও নরমুণ্ডধারিণী।
রাজস্থান থেকে নিয়ে আসা হয়েছিল এই মন্দির তৈরীর শিল্পীদের। উত্তরপ্রদেশের চুনার থেকে নিয়ে আসা হয়েছিল সবচেয়ে উৎকৃষ্ট বেলেপাথর। প্রায় তখনকার দিনে প্রায় ৫ লক্ষ টাকা ব্যয় তৈরি করা হয়েছিল এই মন্দির। এই মন্দিরের আট কোণে আটটা, মাঝখানে চারটে এবং কেন্দ্রস্থলে একটি শিখর রয়েছে। প্রতিটি দল থেকে খাড়া সিঁড়ি ওপরে উঠে গেছে গর্ভগৃহ থেকে চুড়ো পর্যন্ত গোটা মন্দিরটাই ভিতরে ভিতরে অসংখ্য গোপন সিঁড়ি রয়েছে।
মন্দিরের ঠিক কেন্দ্রীয় শিখরের নিচে এক গোপন প্রকোষ্ঠে রয়েছেন শ্বেতপাথরের সদাশিব। যদিও এই প্রাচীন মূর্তির তত্ত্বাবধানের দায়িত্ব নিয়েছেন আর্কিওলজিক্যাল সার্ভে অফ ইন্ডিয়া। তবে এই মন্দিরে চারিদিকে ইট বাঁধানো চত্বর সর্বসাধারণের জন্য খোলা থাকে। এই মন্দিরের ভেতরের অধিষ্ঠাত্রী দেবী হলেন হংসেশ্বরী দেবী। ‘হং’ কথাটি মানুষের নিঃশ্বাসের সময় বেরোয়, আর প্রশ্বাসের সময় বেরোয় ‘সঃ’ কথাটি। অর্থাৎ এখানকার মন্দিরের অধিষ্ঠাত্রী দেবী মা হংসেশ্বরী মানুষের হৃদয়ের সর্বদা এমনিতেই অধিষ্ঠান করছেন। তাকে নতুন করে ডাকার প্রয়োজন হয় না।
