20世纪60年代初期，美国侵越战争步步升级；中苏关系破裂，霸权权主义的苏联重兵压境；蒋介石又叫嚣“反攻大陆”。我国面临着严峻的形势。1964年5月，毛主席听取“三五”计划汇报时提出，制订计划要考虑打仗，要搞三线基地，一二线也要搞点军事工程。不久，毛主席又提出要准备打仗，要吸取第二次世界大战中苏联的教训，要立足于“大打”、“早打”、“打核战争”。8月，中央讨论三线建设问题。毛主席在会上强调，要准备帝国主义可能发动侵略战争，现在工厂都集中在大城市和沿海地区，不利于备战。工厂可以一分为二，要抢时间迁到三线去。各省都要建立自己的战略后方，沿海不但许多工厂要搬，而且有些学校、科研设计单位也要内迁。成昆、川黔、滇黔这三条铁路要抓紧抓好，钢轨不够，可以拆其他线路的。毛主席下了决心，全党闻风而动。中央和国务院作出了迅速加强三线建设的决策:在人力、物力、财力上首先保证三线建设的需要；新建项目都摆在内地，抓紧勘察设计工作，千方百计抢时间；沿海能搬的项目都搬迁，两年内不能见效的续建项目一律缩小建设规模；对沿海增加建设投资的要求一律“顶住”，等等。
建设大三线这项我国社会主义经济建设中的重大决策，当时是在对战争爆发的可能性、必然性和紧迫性作了严重估计的基础上作出的，因而在具体安排上具有强烈的临战态势。“三五”计划的方针，原来是解决吃、穿、用，加强基础工业，兼顾国防和突破尖端；至此转变为积极备战，国防建设第一，加快三线建设，逐步改变工业布局，在我国纵深地区建立起一个工农结合的、为国防和农业服务的、比较完整的战略后方基地。
从1964年下半年开始，根据党中央、国务院的部署，从国务院到西南局、西北局和大三线各省、自治区建立了强有力的指挥系统。西南大三线建设委员会，由西南局书记李井泉同志亲自担任主任，程子华同志任副主任。各部门的领导亲自带队到三线地区选择新建项目的地址，利用三线地区的原有小厂（如江油钢铁厂）或三年调整时期停缓建工程（如酒泉钢铁公司抓紧组织从沿海到内地的搬迁工作，开始了大规模建设。
毛主席对此事十分关心，抓得很紧。他说过：大三线建设搞不好，我睡不箱觉；没有投资拿我的稿费；成昆铁路修不通，骑毛驴我也要去攀枝花看看。毛主席的这些话，意在强烈表达事在必行、期在必成的决心，用以动员全党同志。毛主席经常亲自召集会议，听取汇报，研究问题。
1965年初，毛主席在中央一次讨论三线建设的会议上，提出三线建设北京要有个总口，要由国家建委抓起来。当听到建委已经撤销多年时，毛主席很不高兴，说这么大的事，怎么没有跟我商量，撤了再成立起来嘛！新中国成立后，国家建委这个机构经过多次变动。第一届建委是1954年11月成立（我1955年1月就在这届建委工作，当时薄一波同志任主任），1958年2月撤销。第二届建委是1958年9月成立的，既是中央一个工作部门，又是国务院的一个综合机构，具有双重性质，由陈云同志任主任，1961年1月开始调整经济时撤销了。上述那次会议后，根据毛主席的指示，筹备成立第三届国家建委。中央在物色主任人选上费了较多功夫，较长时间没定下来，周总理还为此征求过我的意见。哪知过了不久，一天夜里，我忙里偷闲正和几个人在一个地方观赏古字画时，接到总理电话。总理说：“你到哪里去了？到处找不到！”我如实回答了在做什么。总理笑着说：“我还不知道你也有这个爱好。”又说：“我还是同你谈国家建委主任的事，你来当不是很合适嘛！怎么我一时没想到呢!？”我考虑到前两届建委同有关部门的职责划分总是理不很顺，自己又不善于处理复杂的关系，对总理说：“我恐怕力难胜任。”总理说：“要知难而进嘛！不要强调困难，今天我不是征求你意见的，要你担负这个责任也不是我个人的意见，已经定了！”当时，薄一波同志对我去建委工作有不同看法。他说生产和建设应当放到一起抓，你仍留在经委，我们继续合作”，并表示由他向中央提出建议。两天后，我们去毛主席那里开会，一进门，毛主席就说:谷牧！你到建委工作我赞成。这样我就不能推辞，一波同志也不便提他的建议了。我担任第三届建委主任后，中央工交政治部主任和国家经委第一副主任的职务，由中央调山西省委书记陶兽笳同志接替。
这一届建委于1965年4月12日正式办公。开始时的副主任有孙敬文、宋养初、刘裕民、谢北一、吕克白、赵北克和顾明同志。根据中央书记处的决定，它由中央和国务院直接领导，是中央、国务院在基本建设战线的参谋部、指挥部，主要任务是组织国家基本建设计划的实施，特别要切实抓好两南、两北战略基地和一二线后方基地的建设及其他重点建设项目。新的国家建委一成立，我们就全力以赴投入工作。8月下旬到9月初，我主持召开全国搬迁工作会议，按照中央提出的帝国主义可能发动侵华战争，要立足于准备早打、大打的精神，讨论了防止与克服不重视搬迁，“一窝蜂”式盲目搬迁这两种倾向。我强调既要从加强备战出发，坚决地认真地组织搬迁工作，又要不打乱经济建设秩序，做到搬而不乱，迁建和生产两不误。会议确定“三五”期间，从沿海向大三线迁建500个工业生产项目，主要是军工企业和与之配套的金属材料、机电产品、高能燃料、橡胶制品，以及三线地区短缺的民用工业品生产企业，还有一批为国防尖端服务的科研设计单位。我在总结时特别强调，不能忘记支援农业，要少占农田，少让农民搬家，同时建厂中搞的供排水、输变电设施，要切实照顾农业生产和农民生活的需要。
为了做好具体部署，我到西南实地了解情况。先到成都，与李井泉同志一道召开了一系列会议，进行讨论安排。此前不久，彭德怀同志也被毛主席委派为西南建委副主任。彭老总不是挂名，而是到职视事。我在成都开的会议，他也出席了。我在台上讲话时，看到他坐在台下，心里很不安，于是我停止讲话走到他的座位前，恳切地说彭老总，您怎么也来了？请回去休息。今天会上讨论的问题，我另行向您汇报。”他说你是国家建委主任，我是西南建委副主任，你作报告，我当然要来听，你继续开会讲话，不说这些。”彭老总的认真精神，深深感动了我。他虽然屈尊处在这个岗位上，仍然做了许多实际工作，显示了老一辈无产阶级革命家的髙尚风格。
在成都工作告一段落后，我出发到攀枝花基地去。走到乐山，接到总理办公室电话，要我立即回京。到京后，总理要我和余秋里同志随他去杭州向毛主席汇报三线建设工作情况。到杭州向毛主席汇报那天，主席情绪很好，他说，小平同志的报告我看了，谷牧的三线建设报告我也看了，还汇报吗？在场的小平同志说，还有些问题要谈谈。他先汇报了党在国际联络工作中准备采取的对策。我汇报三线建设。在讲到三线建设中突出问题是山高谷深路不通，大型设备运不进去时，毛主席插话说，那我又决定错了！？我解释说，我的意思是必须把交通运输建设放在首位。毛主席赞成这个意见，指示我抓紧落实，并且强调要我每年去大三线检査两次。
根据毛主席的指示，我们在原定部署的基础上进一步作了安排。到1965年第四季度，三线建设的布局相继铺开。
——作为先行的交通建设，成昆、贵昆、川黔、湘黔、襄渝五条重要铁路中，前四条全面施工。
川黔线1965年底就试行通车。铁路建设任务十分艰苦，像穿过崇山深谷的成昆线，桥梁、隧道的长度之和占全线总长的40%。铁道兵、铁道部组成西南铁路建设指挥部，地方组建了支援铁路建设委员会，30万筑路军民，战酷热，斗严寒，艰苦作业，情景十分动人。
——作为建设重点的国防工业，主要在四川、贵州、陕两、豫西、鄂两、湘两地区铺开。重要项目有以重庆为中心的常规兵器工业基地，以成都为中心的航空工业基地，四川、陕西的一批战略武器科研生产企业等。
——作为配套的国民经济有关行业。钢铁工业有新建攀枝花大型钢铁联合企业、三年调整时期下马的酒泉钢铁公司恢复建设，还安排了九个由沿海拆迁建设的有色金属工厂，如四川重庆铝加工厂、甘肃白银铜加工厂等。煤炭工业重点开发贵州六盘水煤矿、宁夏贺兰山煤矿。电力工业重点建设青海黄河上游的几个大水电站和四川、贵州的几个大火电站。机械工业的重要项目有四川德阳第二重机厂、大足汽车制造厂，陕两汉江机床厂、一二一二工具厂等。三线机械工业的建设，主要依靠沿海拆迁。仅1965年就完成第一批拆迁项目49个，用老基地支援新基地、老厂支援新厂、老工人带新工人的办法，过好建筑安装关、设备调试关和生产技术关。根据后来我看到的材料，在建设大三线中，机械工业从沿海搬去工厂、设计、科研单位共241个，内迁职工6万余人，设备1.8万多台，建成了200个生产项目。可以说是我国工业生产力的一次大转移。
——新兴的电子工业，主要安排在四川成都、广元、青川、自贡等地，建设雷达指挥仪、集成电路、半导体光电元件等项目。
在建设大三线同时，1965年党中央、国务院批准“小三线”建设规划，由有关省、区的党政军联合定点、设计、施工，主要建设以轻武器和弹药为主的军工生产系列。
为了组织好建设施工，国家建委于10月下旬召开全国基本建设会议，动员和安排广大建筑职工以临战姿态，按期保质保量完成大三线建设任务。会议提出，要切实抓好设计革命、施工管理革命、建筑技术革命和建筑材料革命。我在讲话中说，“肥梁、胖柱、深基、重盖”这种沿袭已久的不合理的建筑规范必须加以改变，推广轻型结构，降低建筑物自重。要革“秦砖”、“汉瓦”的命，提髙建筑物装配化水平。一年烧制40亿块土砖，毁掉1.5万亩农田的情况，再也不能继续下去，要积极使用炉渣、炉灰、煤矸石、页岩生产新型建筑材料。这些意见，我还在当时召开的中央工作会议上作了汇报，得到少奇、恩来等同志的赞同和支持。
随着三线建设的展开，国营施工队伍实行战略大转移，有近100万人从沿海调到内地，从城市调到山区。当时仅四川省就集中了60多万人的国营建筑施工队伍。广大建筑职工，对响应毛主席建大三线的号召，表现了很高的积极性和很强的组织性，行动迅速，很快达到指定区位，在生活条件艰苦、施工环境很差的情况下，展开了艰辛的作业，情景十分感人。
工人开上去了，后方家属的生活安排、子女的学习教育，却产生了一系列新的问题。这些情况反过来引起第一线职工思想的波动。解决这些问题，很费工夫，仅是每年安排职工探亲，就是不小的问题。我从这里想到，三线建设是长期任务，在这种特定情况下，是否可以参照铁道兵、工程兵的办法，实行工役制，搞一支新型的施工队伍。我将这个意见报告了邓小平同志，他很赞同这一主张，并进一步提出实行兵役制，决定组建中国人民解放军基建工程兵，实行“劳武结合，能工能战，以工为主”。基建工程兵的组建工作在1965年下半年就着手进行，1966年8月正式成立，由李人林同志任指挥部主任，我兼政委。第一批先整编成5个支队(师）另4个大队（团）。基建工程兵人数最多时有32个支队、156个大队，共49万人，在冶金、煤炭、水电、交通、石化等行业中，承担了繁重艰巨的施工任务。像四川江油长城特殊钢厂、川藏公路、鄂西的化工厂，都是他们建设或扩建的。
