“文革”的冲击波,造成各级体育组织机构的破坏和瘫痪,1966年下半年开始,在“横扫一切牛鬼蛇神”和“打倒一切走资本主义道路的当权派”的口号下,湖南体育系统各级党政领导机关均遭受冲击,领导干部均靠边站。省体委机关在1966年8月开始处于瘫痪状态,领导干部被批斗,有的被关“牛棚”,挨打受审查。同时,地(州)、市和县级体委均遭受冲击而瘫痪。文化革命中因政治观点的分歧,又引起群众斗群众和群众派别之间的武斗,给人民群众之间的思想感情造成极大伤害。个别同志顶不住政治压力而自杀身亡,如当时湖南省体校校长杨一楠和省女子体操队优秀运动员戴以珍就是其中的受害者。群众组织取代了党政机关团体,“文化大革命”运动取代了体育工作。这种混乱状态一直持续到1968年湖南省军区对湖南省体委实行军事接管。1968年,将一批干部下放到农村和五七干校,接受再教育。解散运动队,将运动员下放到工厂企业参加生产劳动。同时撤销湖南省体校和体育干部训练班,6个集体项目的俱乐部交当地驻军管理。这一切使湖南体育事业元气大伤,几年努力取得的进步和成果付之东流。
受伤害最深的,首先是竞技体育。在那种无政府状态下,训练停止,竞赛中断,运动队解散,人员下放,体育竞技水平急剧下降。其次是学校体育。“文革”开始后停课闹革命,体育课中断,运动中不少体育教师被揪斗,学校体育场地被改作他用,体育器材大量散失,1969年前后虽然复课,但学校的体育课成了军体课和劳动课,使体育课名不符实。再次是群众体育。“文革”迫使湖南职工体育跌入低谷,在工厂企业已处于停产的困境下,各基层职工体育协会也停止了一切活动。农村体育,特别是部分传统体育项目,如龙舟竞渡、舞龙舞狮被作为“四旧”而废止,而武术则备受摧残,部分老拳师因受批判而远离武术,严重影响了农村体育活动的开展。