沅州府地，虽然在西汉高祖五年（前202）置县，但还未有城池，

    北宋熙宁七年（1074），大能臣章惇破懿州，重置沅州，沅州城池才开始修筑土城。先沿  水筑临河之西面，继而修筑东、南、北三面，人们称之为“沅州城”。

    明洪武三年（1370）设沅州卫，置司指挥使。明洪武六年（1373），元帅徐达命将原城墙拓展二里。明弘治九年（1496）副使顾源，整修沅州城墙，建城楼四座，东南名“澄雾”，西南名“筹边”，东北名“秀水”，西北名“威远”，并在北东南城墙外开挖护城河，从北门外引  水环绕城池。

    明正德十六年（1521），沅州兵备道黄天爵在城西  水沿岸用红岩石“砌石垒岸，以固城垣”，后人称沿河大堤为“黄公堤”。同时结合水运在堤上建商贸街，再在内侧垒城墙，集防御、防洪、商贸和水运码头等多项功能于一体。

    明嘉靖三十二年（1553），五省总督府第二任总督冯岳对沅州城垣又加以改筑，“尽拆旧贯，表里垒以磐石”，将余下三面土墙全改成石砌城墙。城墙上建城垛、炮眼，东西南北四门建城楼。在城中十字街心建谯楼（时称钟鼓楼），又称“中古楼”。钟鼓楼四面都有拱门衔接，三层四拱门。第一层供奉点斗魁星，第二层置计时铜壶，第三层为向全城报更铜钟。谯楼（钟鼓楼）题字：声闻四达（东拱门），地灵人杰（南拱门），芷水呈祥（西拱门），明山拱壁（北拱门）。斯文在兹（东匾），谯南有耀（南匾），光涵秋水（西匾）、秀挹青屏（北匾）。建水门，称“水东门”，门上建“奎文阁”。四大石头城门上题字：东来紫气（东门），南天锁钥（南门），西楚咽喉（西门），北斗平临（北门）。另在北门外  河水汇流处，建石礅石驳岸八十三丈，高一丈六尺，厚六尺，以杀水势。

    沅州古城经过不断开拓发展，逐步形成一个八条大街、三十条巷道，二至三层的街巷店铺、民居院落。主城区内，东、西、南、北大街两侧系商肆店铺集中之地。纺织印染等手工作坊及商贸客栈和外省会馆多集于城西。南城门内外，府学县学，官府庙宇教堂多集于此。街巷交错，店铺林立，各种建筑组成了近一百五十公顷的沅州古城，古井古树遍布城内外。

    沅州古城，不仅是楚黔边境上的物资集散地，而且是楚黔边境上的军事重镇。它地势冲要，是通往黔川滇大西南的必由之道，可谓上扼滇黔，下控荆楚，南临交广，北塞溪峒。

    《旧州志》有云：“沅州处楚西偏，为滇黔孔道，旁通川粤，几用兵者所必争。”《沅州府志》则云：“是故，有滇黔而沅重，抑沅重而滇黔俞定。夫至重沅以定滇黔，则近而全楚之赖以捍蔽，远而蜀粤之赖以转毂，亦从可知此岭吭肘腋之说兴，而沅之形势了如矣。”所以，沅州古城就成了历史上兵家的必争之地。

    沅州，自设州开府以来，均有重兵把守。特别是明朝以来，更为重视。明洪武三年（1370）设沅州卫，置司指挥使，配有卫兵四千五百人，下设十三堡一哨。明英宗正统六年（1441），在沅州设湖广（湖南、湖北）、四川、贵州、云南总督府，掌管五省地方军政要务。《旧州志》称：“成化十五年（1479），巡抚吴诚奏请添设宪臣，以严边备。得旨允行，遂择沅州为八卫中分处，置兵备道一员。”明嘉靖二十七年（1600），没有湖南巡抚，而只有湖广巡抚，而治地在武昌，天高路远，又因楚黔边境苗区错杂，经常多事，故为便于管理及用兵川、黔，而设偏沅巡抚。又偏是贵州的施秉县偏桥镇，设有偏桥卫所，沅是湖南沅州府，偏沅是偏桥和沅州两地省称的组合。巡抚驻地先在偏桥，不久后驻沅州，但主要在沅州城，以利调度。初设管辖区域为湖广、贵州、四川总督直辖之地，即湖广常德、辰州、沅州等，西部，四川夔州府东部地区，四川酉阳宣抚司，平茶峒长官司，湖广施州卫，永顺宣慰司，保靖州宣卫司，靖州直隶州，贵州东部地区，思州府、镇远府、黎平府、播州宣慰司。偏沅巡抚是湖南巡抚的前身，因湖广行省南北分治，后偏沅巡抚管地延伸至长沙、衡州、永州、宝庆、辰州、常德、岳州七府，郴、靖、沅三州都归直接管辖。清康熙三年（1664），朝廷命偏沅巡抚移至长沙，康熙六年驻长沙的湖广右布政使改称湖南布政使，设立湖南布政使司衙门。雍正二年（1724），雍正皇帝将“偏沅巡抚”改为“湖南巡抚”，“偏沅”之管制自此废黜。湖南省行政区域作为独立的地方一级政权组织才基本确立下来，这才有了湖南巡抚，这是后话。偏远巡抚在明清两朝延续一百三十年之久，从江铎、杨述中至傅上瑞共八任巡抚。

    沅州古城，军事重镇，军需供亿，举足轻重。《沅州府志》称“雍正十三年（1735）二月，贵州台拱等处，九股生苗作乱，朝廷命部院大臣经略军务，调楚、粵官军团赴征。沅州当台拱孔道，文武大僚往来驻扎者，日更数辈。军需供亿，皆取办于此。”所以各省官兵出征平苗，必经沅州，凡刍粮夫马，舟车轮挽均皆沅州筹办，自监司以下者驻沅州之城，不计其数。清同治十二年续修《沅州府志》序有云：“我皇上命将出师，皆取道于沅，战攻驻守讫于凯旋，皆以沅为重镇。”历史上在沅州域内发生战事数百余次。

    沅州古城，在近现代战事中更是作出了不可磨灭的贡献。例如：大小金川之战，太平天国起事，苗族首领张秀眉反清，护国反袁、红军长征等等，尤其是抗日战争，民国中央很多军事机构和部队迁入芷江古城，世界盟军也分驻芷江城，真是兵马云集，将帅如林，芷江城一下拥有十多万人，时称“小南京”。中日最后决战，以日本帝国彻底失败而告终，芷江古城成了接受日本投降的受降城而名重千秋，青史永垂。可惜的是抗日战争爆发，国民政府以“免资敌用”为由，拆除了部分城墙。如今，只有西面沿  水河岸域城墙基础尚存，清晰可辨。