后因在实力上与日军相距甚远,含恨退入中苏边境地区。苏联对日宣战后,他们又乘势而起,一部分人帮助苏军侦察敌情、担当向导,另一部分人则进入牡丹江、佳木斯、黑河等地协同苏军参战。
还有一支则来自山东军区。8月26日,山东军区胶东区党委派出陈云涛等人先赴大连侦察形势,随后又派出吕其中、邹大鹏率一个营的兵力,从烟台渡海进入辽东半岛,并于30日攻占了庄河县城。
在东北活动的中共小分队经实地侦察,及时向中央报告了东北的形势:苏军只占领了大中城市和交通干线,我军完全可以进入东北农村立足和发展。苏军对中共部队在乡村开展的活动并不干涉。
中共中央此时也在谨慎地考虑进入东北的部队如何行动的问题。几经研讨,中央决定不为苏联红军增加负担,尽量不去破坏苏联与蒋介石政府签署的《中苏友好同盟条约》中的各项条款。8月29日,中央向各地下发了一份急电:“由于苏联受中苏条约之限制,必须将东北交给国民党政府,国民党军队亦将进入东北。我军进入东北后,苏军必不肯和我们正式接洽,给我们以帮助。”所以,各个进入东北的分队应采用东北地方军或义勇军的名义,不要对外声张,要少说话多做工作,放手去控制广大农村和苏军未曾驻扎的中小城市,尽量走小路,不要坐火车,也不要勉强与苏军正式接洽或请求帮助。只要苏军不作声,不坚决反对我们的行动就好。
但由于当时的通讯设备落后,曾克林却没有接到这份电报。他带着队伍光明正大地坐在火车上,打着红旗,敲着锣鼓,车厢上还贴满了花花绿绿的标语。
9月5日,这列火车载着第一支进入东北的中国军队抵达沈阳。
车刚停稳,驻在沈阳的苏军守卫部队一阵慌乱,马上进入戒备状态,随后他们带着紧张的表情将这列火车四周包围起来。苏联人不知道这一火车的中国军人是从哪来的,是来干什么的。所以,他们把住站台,死活不许曾克林的部队下车。
曾克林只好带着几名随从人员前往会见苏军驻沈阳卫戍司令卡夫通少将,耐着性子解释说自己是中国共产党的部队,前来接收东北。但卡夫通一脸冷漠,断然拒绝了曾克林,因为苏军已接到命令,必须把东北交给国民党政府。
带着一路风尘赶到这里的曾克林,心中顿生凄凉之感,继而又愤怒起来:苏联的共产党为什么不帮助中国的共产党,却要帮?