我写了揭发陈伯达的材料。转眼进入1971年，形势逐渐发生了变化。
从批判所谓“二月逆流”开始，林彪、江青一伙步步篡权得势，到1969年“九大”召开及此后一年多的时间里达到了顶峰。1970年9月庐山会议揭批陈伯达，打击了林彪抢班夺权的野心，他们就走入下坡路。特别是1971年“九一三事件”，林彪一伙武装政变阴谋败露，仓惶出逃，自蹈覆灭。这在客观上宣告了“文革”理论和实践的破产，使许多对之深怀腹非的同志看得更清楚了，也使许多人从盲目的狂热中渐渐觉醒。周总理主持中央日常工作，抓住“批林整风”这个题目，排除干扰，批判极“左"，解放干部，推进经济建设，开展外交活动，正常的工作秩序开始恢复，整个形势出现了转机。就是在这样的背景下，总理在经济工作方面提出了一个卓有远见的课题——加强港口建设。
同许多老干部一样，我的处境也逐渐改变。从江汉油田回京后，我被列入“待分配工作”的名单，没有再去当兵或做工；接着作为顾问参加了城市工作、设计工作和基建计划等业务会议，帮助研究些问题，起草些文件。后来有了“在建委协助工作”的名义，得了间办公室。这个期间曾有分配我去天津工作的提议，我也做了去的准备。事情报到周总理那里，总理说：“谷牧的建委主任职务并没撤嘛！”
是恢复工作的问题。此事由此作罢。接着，总理委派我抓港口建设。那是粉碎林彪反革命集团后不久，在国务院业务组一次会议上，总理宣布：“谷牧同志在正式分配工作之前，我们让他抓一抓港口建设。”
总理专门找我谈了一次话，布置港口建设任务，提出要求。他从当时国际形势的变化讲起，说：“工业发达国家无不重视建设港口，发展海上运输。我国重视了发展铁路，但由于帝国主义封锁，特别是台湾海峡的紧张局势，对建设港口和发展海运在“一五”、“二五”期间都很难摆得很突出。现在国际环境有些变化，要抓紧赶上。我国有18000公里的海岸线，万吨级以上的泊位只有42个，太少了。交通要先行，港口这样落后，显然很不适应，现在沿海港口压船压货情况严重，足以说明这个问题。加强港口建设，经济发展需要，外贸需要，打仗也需要，不搞上去怎么行？！我们已经抓晚了。今后三年内要改变港口面貌，没有大型装卸设备，可以进口一些。这桩事委托给你们了。”
总理的指示对我震动很大。总理自责对港口建设抓晚了，其实大家都知道台湾海峡一直处于战争状态，美国不但帮助台湾而且利用一些国际条约在整个从日本到东南亚诸国的岛链形成了对中国的海上包围和封锁，这影响了我们发展海运。而在“文化大革命”如此混乱、艰难的状态下，周总理利用尼克松访华后中美关系缓和的时机，立刻布置进行港口建设，这充分反映了在他的头脑中早就有了长远的部署。在实行对外开放的今天，我重温总理的这些指示备感亲切。如果没有在20世纪70年代，总理在外交取得突破的同时，就立刻把港口建设摆上了他的工作日程，我国后来的改革开放事业将受到严重影响。而在这次跟我谈话之前，港口建设实际已经委派粟裕同志在抓。总理对我说你熟悉地方工作和基本建设，要同粟裕同志一道把这桩事办好。”我俩共同抓了一段时间后，粟裕同志因病休养了。
当时除了劳动锻炼，我已经长期没有工作，感到浑身有劲没处使，接受了总理的重托，决心拼老命办好这桩大事，决不能错过国际形势变化带来的机会。做好这件事情不但是贯彻国家的发展战略，也是对在苦海中全力为人民操劳的总理的一点儿支持，也算是对他给了我深切关怀和爱护的些许报答。
考虑到港口建设牵涉到许多方面，大量的具体事务需要综合部门和专业主管部门共同研究、协调办理。经报请国务院批准，成立了有国家计委、建委、交通部、铁道部等部门和海军的负责同志参加的国务院港口建设领导小组，成员有彭敏、郭洪涛、谢北一等同志。还在领导小组下设立办公室负责日常工作。沿海一些建港重点省、市、自治区，也成立相应机构，从上到下形成一个工作体系。这项组织措施也提供了机会安排了不少刚解放出来的老干部。参加施工的队伍，最多时达20万人。
为了把总理提出的“三年改变港口面貌”这一奋斗目标具体化，我们分南北两路，对沿海港口进行了调查研究。在此基础上召开了全国港口建设会议，制订出规划方案：一是万吨级以上泊位新建44个；二是机械化作业线新增150条；三是建成9个大船坞。我还提出，为达到这个具体目标所需的投资、材料，要在计划上单列一块，切实给予保证。由于加强港口建设这件車是总理亲自决定的，又有各部门参加共同研究，大家都很支持，有关条件的保证和有关问题的解决比较顺利。
为了摸清情况，督促工作，我先后两次把当时的主要港口逐个看了一遍，秦皇岛、天津、烟台、青岛、威海、连云港、南通、上海、宁波、福州马尾、厦门、广州、湛江都去了，还去过广西的北海、防城，到过海南岛。在调查研究中，我对建港选址有了进一步的认识:。除了港口本身所需条件，包括水深、岸线等之外，很重要的一条是要尽可能靠近物资的产地或消化地。除了考虑近期需要外，还得考虑到长远的需要。我看了广西防城后，觉得把这个港口搞上去，不但广西，而且云、贵、川整个大西南的物资就多了一个出海口，不必都走广东湛江，于是定下了这个点，并且建议修建从南宁到防城这段并不太长的铁路。后来这样办了，到20世纪80年代促进了广西沿海的对外开放。还考虑到搞活为闽南、赣南服务的海运，确定在廈门东渡港建两个万吨级泊位，80年代对举办厦门特区发挥了重要作用。
过去搞港口，只注意泊位、码头本身的建设，而忽略货场、市政公用设施等相应条件的配套，因而往往形不成综合能力。这个问题当时在秦皇岛显得尤为突出。怎么解决这个问题呢？靠国家投资，靠计划中安排，很难平衡；靠地方投资，也很困难。我与建港领导小组同志们研究后，提出从港口吞吐的每一吨货物中收取一元，作为港口建设的配套费。这个办法，商得国家计委、财政部同意，先在秦皇岛实行。这样算下来，秦皇岛每年可由此筹资几百万元，很能办一些亊情。从那时到现在十几年过去了，由于港口的扩大和货运量的增加，这笔钱一年已达数千万元，秦皇岛市的市政建设得以大大改善。
而且那时我们已考虑到中国出口煤炭、进口铁矿的发展前景，认为有必要在沿海选点建10万吨级以上的泊位。这桩事在改革开放时期提上了日程。80年代初选了两个点进行可行性研究，一是山东的石臼所，一是江苏连云港。这两个省都争着上这个项目。后来专门组织专家在这两个地方考察，然后到北京开论证会，经多方评估，认为石臼所深水岸线长，没有回淤，岸上作业场地宽阔，靠近煤炭资源地（山西），条件优于连云港。差的是没有铁路。连云港虽然有铁路，但陇海线有关路段的运量已近饱和，而修建从泰安到石臼所的铁路并不困难，建成后还可以分流陇海线东段的运量。因此，后来敲定建在石臼所，并且列为使用日本海外协力基金贷款的建设项目之一。在选址的争议中，有人说我是山东人，偏向家乡，那是误解了。
在抓港口建设中，还考虑过一个问题，就是我国最大的海港上海港实际是沿黄浦江摆开的，已经饱和，虽然进行改造后能挖些潜力出来，但从长远考虑，必须在其附近建设一个新港，为之分流货物，以适应华东地区和长江沿岸经济发展的需要。为此选了两个点进行研究，一是浙江宁波；二是上海金山卫南边的乍浦，这里是孙中山先生在《建国方略》中设想的东方大港所在地。后来因为建设宝钢，需要把宁波北仑港建为分装矿石的码头，同时也因为乍浦有回淤，工程建设上不好处理，就先上了宁波港。其实在北仑卸下的货物，很多还要再转运到上海。在港口运输布局上，运距固然要考虑，但装卸次数更要考虑。因此，我认为上海仍然应当考虑加建新港。此事在中央和国务院决定开发和开放浦东新区后，得到安排。
周总理一直关注着港口建设，他的重要批示使许多重要问题及时得到解决。1975年2月1日，他扶病从医院出来主持四届人大产生的国务院第一次全体会议，这也是总理生前最后一次主持国务院会议。他看到我时，仍然殷切地询问了港口建设情况。我告诉他:原定目标可以实现，请总理放心。总理又想到下一步了，他问：“到1980年怎样？”指示我抓紧研究具体规划，同时还要我注意研究发展航空港的问题。
在总理的领导和支持下，港口建设进展顺利，很见成效。到1975年底，新增万吨级以上深水泊位48个（超过1949—1972年23年的总和），增加港口作业线143条，港口的供油、供水设施有了明显改善，还对长江口和珠江航道进行了初步整治，新建大船坞7个，新增年坞修能力110艘次，港口综合吞吐能力新增5500万吨，比1972年增长50%，实现了原定的“三年改变港口面貌”的目标。这三年是新中国成立后第一次集中建港并取得显著成绩的三年。这发生在被称为“十年动乱”的文化革命期间，我们战胜了江青、张春桥一伙的干扰，不但改善了当时的海运状况，而且为20世纪80年代更大规模的港口建设积累了经验，为对外开放准备了条件。
在这个期间，我还办了一桩有意义的事。那是从江汉油田回北京后等待分配工作时，事情不多，常到和平门外琉璃厂旧书店、古玩店走走。这是“文革”以前我常去的地方，同那些经营管理人员很熟悉。他们向我讲了许多“文革”期间遭受干扰破坏的事情。以我当时的处境，听了以后徒唤奈何。不过心想，一朝有可能，我一定要把这个地方切实保护起来。一次在书店翻阅旧书时，发现了一本有周总理签名的抗战时重庆出版的书。我把它买了回来。后来在面见总理时，告诉了他这件事，并且把书拿给他看。总理很髙兴，说：“谢谢你了。”还向我要那本书。我说：“留给我作纪念吧！”总理答应了。我借机汇报了琉璃厂的情况。总理说：“这样怎么可以，要加以干预，你过问一下，现在要设法加以保护，以后有条件时一定要加以整修。”这时我已经有了在建委帮助工作的名义，按照总理的指示，找有关部门布置了保护琉璃厂的问题。粉碎“四人帮”后，我专门筹集了一笔经费，80年代前期花了几年时间对琉璃厂中部街道和古书文物商店的铺面进行了整修，现在成了北京古文化的一个象征和旅游参观购物点。
