该烈士陵园是为纪念云台山战斗牺牲的65 名新四军官兵而修建的。1939 年2 月25 日(阴历正月初七),新四军第二支队三团一营(包括营部和两个连)近百名干部战士,由营长邱立生、营教导员王荣春率领,奉命赴江宁镇一带破坏敌人的京芜铁路,途中因情况发生变化折回进驻云台山后石塘村。部队进村后,即布置警戒,封锁消息。但还是走漏了消息,他们遭到6路日伪军包围。新四军为了保护当地群众的生命财产,保存我军有生力量,营长、教导员当机立断,决定突围,由一连掩护,二连突围后迅速抢占云台山制高点,然后,全军翻山入皖。按照战斗部署,全体指战员一边组织还击,一边冒着枪林弹雨,沿曾庄西北一条小路沟边的深坳子分散突围,直冲云台山顶。经过4 小时的反复冲锋、肉搏,战士们终于从敌人的重重包围中打开缺口,一部分干部、战士突围出去,使敌人全歼一营的企图彻底破产。这次战斗,一营损失惨重,牺牲65 人(其中营长、副营长、连长、排长各1 人,班长3 人),伤20 人(其中政治指导员、排长、班长各1 人)。战斗结束后,当地群众将寻找到的烈士遗体掩埋在云台山的山脚下。
1964 年5 月,中共江宁县委、县人民委员会决定在云台山兴建云台山新四军抗日烈士墓,将分散埋葬的65 名烈士骨骸集中安葬于烈士墓穴。同时兴建了纪念亭,并立大理石纪念碑。1979 年8 月,中共江宁县委、县革委会决定重修云台山烈士墓,建立纪念碑。
1995 年,再次进行维修翻新。2006 年,江宁区民政局重修墓园,并将名称更改为云台山抗日烈士陵园。陵园三门牌坊高8 米、宽15.8 米;纪念碑正面上刻“云台山抗日烈士永垂不朽”11 个金光闪闪的大字。纪念碑前有宽敞的平台,周围松青柏翠,庄严肃穆。同时,新建了占地面积300 多平方米的革命史料陈列室,展陈相关实物、照片、图书等史料。云台山抗日烈士陵园于1992 年3 月被南京市人民政府公布为市级文物保护单位,区级青少年爱国主义教育基地;2016 年6 月被中共南京市委党史工作办公室命名为南京党史教育基地。
