明《永乐大典》记载：“天下西湖三十六，许州西湖在其中。”许州西湖即今天许昌小西湖。小西湖占地面积18万平方米，因其面积小于杭州西湖，荷塘岸柳，清幽明丽，风景宜人，宋时苏东坡有诗赞曰“西湖虽小亦西子”，故名小西湖。古时此地满湖荷花，景色秀美，被誉为许州十景之一“西湖莲舫”。
据传，此湖系东汉末年(200)曲环镇守许昌时筑城取土形成洼地，后导水而成，至今已有1800余年历史。有关小西湖的历史记载与传说不胜枚举。据史书记载，东汉时人为了纪念陈寔、荀淑两位贤士及其家人在小西湖旁建造了一座德星亭，也叫聚星亭。汉魏时曹操曾在此处操练水兵，据说汉献帝也曾被曹操圈禁于此。唐代画圣吴道子晚年在小西湖旁筑土为洞居住。他曾在小西湖一桥上画虎，点睛后活灵活现，至今园内尚存卧虎桥遗迹。明末李自成率义军攻许州，令将士抱土于城西北角堆成攻城阶梯，被后人称为闯王梯，至今仍屹立在小西湖东北隅，状似小山，山上松柏葱郁，建有拥翠亭。司马光、范仲淹、朱熹等都在此留下诗篇。欧阳修面对许州西湖春色，在《春日西湖寄谢法曹歌》中写道：“西湖春色归，春水绿与染。”司马光居小西湖13载，写成传世之作《资治通鉴》。范仲淹留下了赞美小西湖美景的诗作《西湖》。欧阳修在湖中修建船形欧阁，苏轼在欧阁之西修建长啸亭，在湖畔建有读书亭，韩愈建有展江亭等。
西湖公园不仅是许昌悠久历史、灿烂文化的见证，市民休闲娱乐的重要场所，还承载了一代又一代许昌人特有的城市记忆，是许昌人的精神家园。2013年，许昌小西湖传说入选市级第三批非物质文化遗产名录。