為了盡快將這部分日本僑俘送回國(guó),，1945年10月25日，中美雙方在上海召開(kāi)專(zhuān)門(mén)會(huì)議,，并制定了《中國(guó)戰(zhàn)區(qū)日本官兵與僑民遣送歸國(guó)計(jì)劃》,。1946年1月7日，在由中國(guó)國(guó)民黨代表張群,、共產(chǎn)黨代表周恩來(lái),，美國(guó)代表馬歇爾組成的三人小組會(huì)議上，三方?jīng)Q定從1946年4月起,，開(kāi)始全面遣返滯留在中國(guó)東北的日本僑俘,。1946年1月15日，中美雙方在東京舉行會(huì)談,，明確了在遣送東北日本僑俘問(wèn)題上,，中國(guó)政府和美國(guó)政府應(yīng)該分擔(dān)的責(zé)任。中國(guó)政府負(fù)責(zé)將日本僑俘集中到港灣地區(qū),，直到登上在遼寧省葫蘆島?？康幕貒?guó)船只為止。美國(guó)政府負(fù)責(zé)調(diào)集日本船舶和美國(guó)海軍部分船舶,，以及具體航行路線(xiàn),。

國(guó)共雙方以及美、蘇兩國(guó)代表就遣返日本僑俘達(dá)成相關(guān)協(xié)議后,，國(guó)民政府東北行轅成立了“東北行轅日僑俘管理處”，后又更名為“東北保安司令長(zhǎng)官部日僑俘管理處”,，委任國(guó)民黨207師少將師長(zhǎng)李修業(yè)為處長(zhǎng),；在解放區(qū)，中共成立了以軍調(diào)部東北三人小組成員李敏然(李立三)為處長(zhǎng)的“東北民主聯(lián)軍遣送日人管理處”,，分別領(lǐng)導(dǎo)遣返日僑工作,。

1946年4月23日，所有滯留中國(guó)東北的日本僑俘,，陸續(xù)接到中國(guó)國(guó)民政府及“東北保安司令長(zhǎng)官部日僑俘管理處”發(fā)出的“向葫蘆島港集中,，統(tǒng)一遣返回國(guó)”的命令。1946年5月7日上午,，兩艘裝載著2489名日本僑俘的美國(guó)輪船駛離葫蘆島港,，拉開(kāi)了大遣返的序幕,。

盡管戰(zhàn)后經(jīng)濟(jì)困難，中國(guó)人民還是調(diào)集極大的人力,、物力和財(cái)力,，完成日僑俘遣返工作。據(jù)統(tǒng)計(jì),，1946年5月至8月的遣僑經(jīng)費(fèi)開(kāi)支約1.47億元,，其中，僅日僑俘伙食費(fèi)開(kāi)支一項(xiàng)就達(dá)1.25億余元,；為解決日僑俘集中待遣期間的吃飯問(wèn)題,，東北人民不顧自己饑荒，籌集糧食上億斤,；為供遣返運(yùn)輸之需,，政府調(diào)配火車(chē)車(chē)皮1.3萬(wàn)余輛，飛機(jī)70余架次,，以及大量汽車(chē),、馬車(chē)及江河渡船；沿途各火車(chē)站由地方政府提供生活用品,，確保日本僑俘不受饑餓之苦,。為了保證日本僑俘身體健康，在錦西設(shè)有臨時(shí)醫(yī)院,，并且專(zhuān)設(shè)婦產(chǎn)科,，以便發(fā)現(xiàn)病人和臨產(chǎn)孕婦能夠及時(shí)予以救護(hù)。為減少日本僑俘行程中的困難,，中方規(guī)定以保持全家人同行為準(zhǔn)則,，單身日本僑俘自行結(jié)隊(duì)；由幾家人組成一個(gè)小隊(duì),，幾個(gè)小隊(duì)組成中隊(duì),，2500人編成一個(gè)大隊(duì)，每個(gè)大隊(duì)設(shè)置指揮班,、通訊班,，還配備醫(yī)生、護(hù)士等協(xié)勤人員,。遣返者除必備的身份證和離境證明外,，還要佩戴臂章和胸章，標(biāo)明遣返者的姓名,，所在的遣返單位,，以及原來(lái)居留中國(guó)時(shí)的住址、職業(yè)等等,，而且還要接受霍亂和傷寒等傳染性疾病的預(yù)防注射,。

1946年8月20日,，解放區(qū)的日僑俘也正式開(kāi)始遣返。到9月下旬,，解放區(qū)日本僑俘全部遣返工作結(jié)束,，共遣返日本僑俘182222人。

葫蘆島大遣返歷時(shí)半年,，遣返日本僑俘計(jì)達(dá)1051047人（包括16607名日軍戰(zhàn)俘）,。1946年11月27日，最后一艘載運(yùn)日本僑俘的輪船“第一大海丸”即將離開(kāi)葫蘆島港,。日僑俘管理處處長(zhǎng)李修業(yè)來(lái)到船上進(jìn)行禮節(jié)性的送行,。李修業(yè)告訴日僑：“我們中國(guó)人胸懷大度以德報(bào)怨，把你們妥善地遣返回國(guó),，這是我們中華民族的崇高美德和人道主義,。日本軍閥發(fā)動(dòng)侵華戰(zhàn)爭(zhēng)，不僅使中國(guó)人民深受其害,，希望你們以后只帶友誼來(lái),，不要再帶刺刀來(lái)，再見(jiàn)吧,！”李修業(yè)演講結(jié)束后,，日本僑俘們彎腰低頭表示認(rèn)罪，很多人痛哭失聲表示懺悔,，并向中方贈(zèng)送“感謝中國(guó)”的錦旗,。