日中の国交を正常化させた木村武雄は、昭和五十八（一九八三）年四月頃から持病となっていた糖尿病が悪化し、自宅で伏せることが多くなった。十月二十七日に様態が悪化し、米沢市立病院に入院した。その後、十一月四日に退院し、自宅療養を続けていたが、二十六日風邪による急性肺炎を併発して危篤状態に陥り、午後零時四十分、歳子夫人ら親族に見守られながら、八十一年の生涯を閉じた。
胡耀邦総書記が日本を訪問し、中曽根康弘首相と「平和友好、平等互恵、長期安定、相互信頼」の日中関係四原則を確認の上、「日中友好二十一世紀委員会」の設立を決定したのは、その三日前のことである。木村の最後の願いが叶ったように見える。
木村の死去を受けて、自民党山形県連会長（当時）の近藤鉄雄は、「木村先生は自民党の主流にありながらも、常に野党的な反骨、批判精神を持ち続け、時流の中に決して埋没することのない政治家だった」と語った。
十二月十一日に米沢市の市立体育館で行われた告別式では、天皇、皇后両陛下、中曽根総理、インドネシアのスハルト大統領から贈られた生花などが飾られ、故人ゆかりの約三千五百人が出席した。中曽根総理から寄せられた「国家のためかけがえのない偉大な政治家を失い、哀悼にたえない」との弔辞が代読された。
昭和五十九（一九八四）年二月九日の衆議院本会議で追悼演説に立ったのは、木村の同郷で社会党衆議院議員の渡辺三郎だった。以下、全文を掲げる。
「今ここに政界の大先達である木村武雄先生の政治活動を顧みますると、先生は、戦前、戦中、戦後の帝国主義から民主主義へと大きく変貌した政治状況の中にあって、外に対しては終始一貫民族協和を主張されました。日中友好に果たされた役割も大きく、また、インドネシア政府から贈られた最高功績章などはその端的な一例と言えましょう。
また、先生は、生まれ故郷米沢の風土と伝統によってはぐくまれた反骨精神、いわゆる米沢かたぎの人でもありました。
先生は、権力に迎合することなく、名利を捨てて、大胆かつ独特の悲憤慷慨口調で俗説に対する鋭い批判を行われたのでありますが、特に、官僚機構に頼り切った政治では、真に国家百年の大計を樹立することは不可能であるとの信念を強く持っておられました。そのため、政党政治研究会を設立して行政に先駆けする政治を唱えられ、政党政治の確立に並み並みならぬ情熱を傾注されたのであります。
先生は、その政治活動を通じて鋭い感覚と闘志あふれる行動で一貫されましたが、その反面、情に厚く、先生が小学生のとき、同じその小学校の教師をしておりました私の母が年老いてからは、健康を気遣われてしばしば激励のため我が家をお訪ねくださいました。私が社会党から県会議員になり、また、先生と同じ選挙区から本院の末席を汚すことになって、時に先生との間に激しく論戦する立場になってからも、その先生の御厚情はいささかも変わることがありませんでした。
歯にきぬ着せぬ言動と政界の指南番を自認し、進んで政界の影武者となり、保守政界の舞台回しに砕身された先生を、同僚、後輩諸君は元帥と愛称し、そのお人柄に親しく接してまいりましたが、国家、国民の繁栄、郷土の振興のためその一身を燃やし尽くして、先生はついに生涯の幕を閉じて逝かれました。
亡くなられた十一月二十六日は、折から、解散を直後に控えて政局は緊張し、また、地元米沢では保革一騎打ちとなった激烈な市長選挙の投票前日でもありました。昭和政治史の一断面をみずからの歩みをもって体現し、半世紀に及ぶ激動の時期をただ政治一筋に生き抜かれた先生をお送りするにあるいはふさわしい日であったのかもしれません。この日、豪雪の地米沢はこの冬初めての大雪となり、ちまたは白一色に包まれていきました。
先生の御令息莞爾君は、先生を追悼して次のように歌われております。
いつも、勇気と茫然とした姿勢をもてといった。
いつも、民衆のはかり知れない力を信じるといった。
いつも、この土地と日本民族のことを考えろといった。
いつも、あいまいな妥協は決してするなといった。
いつかお前は俺とけんかをしながら俺を越えてゆけといった。
と。この言葉の中に私は先生の真骨頂を見るのであります。（拍手）まことに感無量なるものがございます。
長年にわたって残された先生の御偉業は、憲政史上不減の光芒を放ち続けることを信じて疑いません。その御逝去は、本院にとっても国家にとっても多大の不幸と申さなければなりません。
ここに謹んで木村先生の御功績をたたえ、その人となりをしのび、心から安らかな御冥福をお祈りして、追悼の言葉といたします」