随着马克思主义的传播及其与工人运动的初步结合,1920年秋至1921 年春,上海、北京、武汉、长沙、济南、广州等地相继成立了共产党的地方组织。此外,1921年6月10日,张太雷《在共产国际第三次代表大会上的报告》中,还介绍了“南京组织”的情况:“它虽是最年轻的组织,但已经同周围工人建立了牢固的联系。”尽管因资料所限,该组织情况目前尚未查清,但它也表明了南京是早期共产党人活动的重要地区之一。
1922年,南京地区第一个党小组在浦口成立。浦口(含浦镇)地处长江北岸,聚集大批现代产业工人。工人们深受压迫和剥削,具有强烈的反帝反封建愿望。马克思主义的宣传,使他们在黑暗中看到了希望。1921年,王荷波领导浦镇机厂工人成立了中华工会,并开展了反对英人总监布拉克的斗争,取得一定的胜利。但罢工过后,工人们依旧担负着超负荷的劳动,过着饥寒交迫的生活。1921年12月,中国劳动组合书记部北京分部负责人罗章龙来到浦镇,介绍王荷波和浦镇机厂工会加入中国劳动组合书记部,后又介绍王荷波加入北京大学马克思学说研究会。1922年夏,王荷波在北京加入中国共产党。秋,中国劳动组合书记部派王振翼到浦镇,协助王荷波筹建津浦铁路总工会。他们先后发展浦镇机厂工人张振诚、王恩荣等人入党,随即建立浦口党小组,王荷波为组长,属中共北方区委领导。1923年2月9日,王荷波领导了抗议浦口港务处无理开除工人、声援京汉铁路工人大罢工的斗争。此后,因白色恐怖严重,王荷波、王振翼被迫离宁,张振诚接任浦口党小组长。王荷波常秘密返宁指导工作。1923年7月后,浦口党小组归属中共上海地方兼区执行委员会领导。
南京城内的情况与两浦不同,先建立社会主义青年团组织,后建立共产党组织。1922年4月,早先已加入中国社会主义青年团的南京高师学生吴肃、侯曜等人开始筹建南京地方团组织,草拟组织章程。5月5日,24名团员(至5月初南京共有团员29人)在高师梅庵(今东南大学内)召开大会,正式通过《南京社会主义青年团简章》,成立团地方委员会,为当时全国15个团地方组织之一。此后,在致力于宣传马克思主义、进行反帝反军阀的斗争中,团地委不断吸收优秀青年入团,团的组织逐步壮大,并有几位杰出团员被吸纳加入中国共产党。
1923年10月,中共南京党小组成立,党员5人,组长谢远定,属中共上海地方兼区执行委员会领导。1923年12月,经中共上海地方兼区执行委员会批准,南京党小组和浦口党小组正式合并,成立中共南京地方执行委员会,谢远定为负责人,共有党员20名。1924年,中共中央取消上海区建制,中共南京地方执行委员会直属中共中央领导。1925年1月中共四大修改党章后,南京党组织分为浦口、南京两个支部,仍属中共上海地委领导。