在古代，上海县城有城墙环绕，普通市民一般以城里城外来区别。上海开埠以后，上海县城以北出现租界。由于租界独特的地理位置和政治制度，租界市面迅速繁荣，形成了数条繁华的商业街区。这时，位于上海县县城内的市民就把县城以北形成的商业区称之为“北市”。由于租界的商业以外贸进出口为主，所以这一时期，北市也可以指代上海的外贸市场。然而，上海县城内，原本就有繁荣的市集，并且以江浙一带的国内贸易为主。所以，南市也就被用来指代旧城区和上海内贸市场。
“江海通津”的上海自1843年对外开放后，国内外贸易迅速增长。除租界以外，闸北一带也迅速发展，成为内河贸易的重要地区。由于闸北也位于上海县城的西北方向，所以北市也包括闸北地区。于是，南市和北市在贸易市场上的含义逐渐淡化，并逐渐成为地域的名称。
上海士绅为辟筑沿江马路，组成“南市马路工程局”，次年修筑完成，即今天的外马路。南市作为上海旧城区的正式代称，第一次出现。19，上海光复，沪军都督府设立市政管理机构“上海市政厅”。上海市政厅针对上海租界南北两处华界分别设立“南市市政厅”和“闸北市政厅”。此后，南市仅成为地理名词，泛指租界南部的华界。
自南市马路工程局成立后，致力于修筑道路，填没废弃河道。道路的疏通，最终促使南市街面进一步繁华。南市的地理范围也随着南延的集市，而扩展到高昌庙一带。1937年，淞沪战争爆发，南市因地处华界而沦为战区，商铺民居遭到日军肆意焚烧长达22天。同时，位于南市的沪杭铁路上海站也遭到日军轰炸，并最终废弃。这一时期，毗邻法租界的南市北部地区，在法国神父饶家驹的奔走下，设立了南市难民区，保护了平民的生命安全。1960年，上海市人民政府进行行政区划调整。原邑庙区和蓬莱区合并裁撤，组成南市区。2000年，黄浦区与南市区合并成新黄浦区。现在，南市一词一般仍指合并前的南市区的区域，即今延安东路以南的区境。
