蒋介石定都南京后,对外加紧与帝国主义勾结,对内铲除异己,建立特务组织和法西斯统治机构,南京的白色恐怖日益严重。但南京的党组织与革命者没有被反动派的嚣张气焰所吓倒,而是总结经验教训,从血泊中站起来继续战斗。
1927年4月至6月,中共江浙区委先后派刘少猷、黄国材为中共南京地委书记。6月29日,团地委机关遭敌人搜查,从中发现中共地委机关地址。7月5日,地委成员黄国材等被捕,中共南京组织第二次遭破坏。
8月7日,中共中央在汉口举行紧急会议,纠正了右倾机会主义的错误,确立了土地革命和武装反抗国民党反动统治的总方针。八七会议后,邓中夏任中共江苏省委书记。省委派罗世藩、贺瑞麟来南京恢复党团组织,10月又派吴雨铭任市委书记。市委经两个月的组织清理,开始恢复工作,有党员共约200名,共青团员100余名。
12月4日,在浦镇附近的山上,市委召开了中共南京市第一次党代会,出席代表25人。会议讨论了中共中央临时政治局关于《中国现状与共产党任务决议案》,选出孙津川等17名市委委员,吴雨铭任市委书记。
1928年3月,吴雨铭调任省巡视员,孙津川出任南京市委书记。在其领导下,市委根据省委关于“发展工农日常斗争”的策略,积极整顿组织,使多数支部恢复了与上级的联系,少数支部还发展了党员。同时深入工厂、农村、学校,坚持将经济斗争与政治斗争相结合,采取在日常的经济斗争中争取、教育群众的方法,使一度沉寂的群众斗争又活跃起来。浦口九袱洲还建立了南京地区第一个农民党支部。各方面斗争的开展,促进了党组织的壮大,全市党员发展到240人。5月5日,团市委在台城开会筹划红五月行动时被敌人盯梢,导致一批党团员被捕,许多支部活动陷于停顿。在此紧急情况下,市委于5月中旬的一个晚上秘密举行第二次党代会,选举了13人组成的新市委,孙津川为市委书记。7月,孙津川不幸被捕,受尽严刑拷打,坚贞不屈,10月6日在雨花台英勇就义。9、10月间,共37名党员干部牺牲,南京刚刚聚集起来的一点革命力量又遭惨重损失,这是南京党组织遭受的第三次破坏。
1928年9月,省委派黄瑞生来南京恢复组织。市委根据中共六大精神,深入发动群众,恢复和发展党的组织。1929年5月,因叛徒出卖,市委军委系统32人被捕,市委书记黄瑞生等5人被杀害,南京党组织第四次遭到大破坏。
1929年8月市委重建,王培槐、夏采晞先后任市委书记。11月,在中共江苏省委召开的第二次代表大会上,因受李立三“左”倾思想影响,会议确定江苏党的总路线是“准备地方暴动”的“进攻战略”。这种错误的判断给南京人民革命带来了严重损失。
1930年2月,夏采晞调走,王文彬继任南京市委书记。4月27日,共青团南京市委委员梁公弼等在国民大戏院散发传单时被捕。4月底,市委书记王文彬、团市委书记韩均等因受牵连被捕,中共南京市委遭受第五次大破坏。5月上旬,王弼任中共南京市委书记。南京成立了红五月行动委员会(简称行委),根据省委指示,准备在南京暴动。因不恰当的采用飞行集会、散发传单、涂刷具有明确指向性的标语等过于暴露的斗争手段,敌人到处盯梢侦查,兵暴未成,党的地下组织反而暴露。从7月到10月,全市党员由200多名减至47名,近百名党团员牺牲。这是南京共产党组织第六次遭到大破坏。面对惨痛教训,共产国际和中共中央坚决制止了南京暴动。1930年11月,江南省委派恽雨棠出任南京市委书记,恢复组织,纠正“立三路线”的错误。
在白色恐怖最严重的年代,南京曾发生过许多为后世传诵的斗争故事。1931年4月,中央特科负责人顾顺章被捕叛变后,打入国民党中央党部组织调查科的中共党员钱壮飞在第一时间截获情报并向上海的中共中央报警,挽救了中央、江苏省委和共产国际远东局的各机关。