宁远县图书馆的前身是民国五年(1916年)创立的宁远县通俗图书馆。民国十八年(1929年)十二月十七日，更名为宁远县民众图书馆。

1965年5月，正式名为宁远县图书馆。1968年，县图书馆被撤销。1974年，恢复宁远县图书馆建制。馆址几经变迁，1988年7月，位于县城九嶷南路的新馆舍建成开放。新馆址占地4.1亩，建筑面积1563平方米，设3个藏书库，11间业务用房。1999年临街扩建馆舍273平方米，2000年竣工。现馆舍总面积1836平方米。馆藏总量12万余册，其中纸质图书6万余册、电子图书4万余册、报刊2.7万余册（种）、线装古籍3千余册、地方文献406种，685册，湖湘文库图书一套700册。
   

现有工作人员21人，其中副研究馆员1人，馆员5人，助理馆员7人。2003年3月始购置电脑2台、打印机2台，用于图书分编。2005年12月，获得全国文化信息资源共享工程赠送的电脑及卫星接收设备1套。2008年12月，获赠文化部全国文化信息资源共享工程电脑28台，接入10M光纤专线、5个动态IP地址，机房配备4台服务器，建立全国文化信息资源共享工程县级支中心，其内、外置存储容量共6TB。2009年选用interlib图书馆自动化管理系统。2013年4月，购置触摸屏电子读报刊机一台。至同年底，全馆共有供读者和工作人员使用的电脑50台。1994年至2009年连续四届被评为三级图书馆，2013年被评为二级图书馆。