至春秋时代，江西大地经常被称为“吴头楚尾”，是因为江西曾成为吴、楚、越国的争雄之地。
沿革公元前473年越灭吴，公元前306年楚灭越。处于“吴头楚尾”的江西地区江西和各方都有大量关系，而赣语中至今依旧保存著一些很有特色、很常用的古吴语和古楚语词的积淀，西汉扬雄在其著作《輶轩使者绝代语释别国方言》中，提到“南楚”方言达85次，其中单言“南楚”、不并引其他地名有42次，提到“南楚之外”、“南楚之南”10次。而《史记·货殖列传》中则注明道：“衡山、九江、江南豫章、长沙，是南楚也。”同时，《方言》中提及的吴越、吴杨越、吴楚等地亦被认为包括江西地区。
南北朝时的江西地区的原住民被称为“傒人”，如果要区分的话，则两湖人被称为“伧”，江西人被称为“傒”。《余嘉锡论学杂著·释伧楚》说：“永嘉丧乱，幽、冀、青、并、充州及徐州之淮北流民相率过淮，亦有过江者。……其地多中原村鄙之民，与楚人杂处，谓之‘杂楚’。吴人薄之，亦呼‘伧楚’。别目九江、豫章诸楚人谓‘傒’。而于荆州之楚，以其与扬州唇齿，为上游重镇，独不受轻视，无所指目，非复如东渡以前，统骂楚人为伧矣。”
隋唐之后江西地区成为全国十道之一的“江南道”，经济社会得到快速发展，人口剧增，赣民系第一次大规模向外移民也是由此间拉开序幕，南昌、吉安一带的人口不断向湖南东北的湘阴、宝庆、新化等地移民。
五代以后，外省人移入湖南省，多来自东方，主要是江西省。据相关统计，外省人移入湖南者，五代至北宋，江西占十分之九；南宋至元代，江西占六分之五；明代为移民极盛时期，江西籍仍为主体。
语言福建的邵武、光泽、建宁、泰宁、将乐、顺昌等闽北县市在宋朝以前这里曾经通行闽北语，南宋时福建闽北
宋代汉语方言分区
发生过多次的农民起义导致当地人口大量锐减，一些文人描写了当时的惨况：“前村不复炊烟起，长似清明寒食时”，“江闽五十邑，荆棘五千里”。在朝廷的奖垦下，江西抚州、信州一带的人大规模向福建闽北移民，填补当地的人口空间，严灿在《兵火后还乡》中写道：“旧时巷陌今谁住，却问新移后来人”。这“新移后来人”便是翻过武夷山的赣民系。这些定居者大体按路程的近远而递减，邵武军最多，南剑州所属的将乐、顺昌其次，建州所辖的西片崇安、建阳又次之。《福建省志》将这次移民称之为“第二次赣人入闽”。
清同治《醴陵县志》：“洪武初召集流亡，皆来自他省，而豫章人尤多”，据近人统计，醴陵县明代从江西迁入的有296族。《茶陵县志》：元至清代，境内人口迁徙频繁，据66部族谱记载，其间自赣、粤、闽、浙、皖等地入迁，衍为宗族的有30姓。”其中赣也是排在首位的。赣移民也带来了他们的语言赣语。因为赣移民主要集中在湖南东部，当时的湘东本就地广人稀，移民又是批量聚居，他们的母语得以保存下来，湘东由北而南狭长地带的赣语区也就由此形成。毕竟处于湖南境内，随着时间的推移，湘语已经在湘东赣语身上打下了深深的烙印，这又使得今日湘东赣语与江西境内赣语差异不小。
洪武三年，南丰遭战乱天灾，县民始迁徙外流，常山居多。在后续数百年间，南丰县不少农民迭遭战乱和天灾迁徙外流江西玉山、浙江常山、江山等地，最终形成赣闽浙赣语方言岛。
康熙年间，清政府鼓励移民垦荒，并颁布优惠条文，这使得大量皖、鄂、湘、赣的居民迁入陕南地区。《商南县志》记载，全县人口从乾隆十七年（1752年）的5990余猛增至光绪三十年（1904年）的102299人，152年间人口翻了近20倍。部分赣人迁入陕南，郭沈青指出“蛮子话”（江南话）指来自皖西南和鄂东南地区的赣语。
