渡之初的时候，因为高宗赵构身边的军队有限，又面临金军南下的侵袭，因此不得不注意安抚和招徕这些归正人作为基层军队的补充。而北人多属武人，沙场宿将，志在恢复自己的家园，自然是主战；而出身自经济发达、社会繁荣背景的南方人，经由科举入仕，多着眼于稳定江南政局，对战争并无胜算，赞成偏安、坚持一力主和。
在赵昺看来，正是南北人自身考量的不同，便有了有不同的立场与观点，由此而衍生出对生存与发展、现实与理想、偏安与恢复等不同的看法。而认知差异和南北地域问题及文武问题纠结在一起，又对政治环境产生了影响。而南北人对政治环境、宋金、宋蒙关系既种使得问题更为复杂。
宋廷迁都临安也是更有利于老家是福建路、浙西路、浙东路的士大夫，于是南人主政北人主军的局面逐步固定下来。尤其在重文轻武的国策下，由科举入仕的南方文人占优势之政治环境中，对从北方來的人而言，自然筑起一道智力防波堤，用人取舍之间，南北便有亲疏内外的不同，就容易产生政治生态失衡的现象，形成政争，为他们日后的混战埋下了隐患。
为了小朝廷的生存和发展，也为了争夺政治利益，和战问题就不单单是政见之争，更上升为人事恩怨和所谓的南北人问题，而经济上南强北弱，政治上南方人掌握了南宋政坛，北方人大多流离失所且多为武将。所以你看在北宋时的北人和南人在军事与政治所居的地位差异明显，因此南宋时代形成北人主军、南人主政的政治形态。
从南宋开国以來，几次重大的事件，岳飞之死、苗傅、刘正彦、郦琼之叛及曲端的被杀，孟珙的抑郁而终，固然各有不同的原因，然而南北地域情结似乎也有相当的关联性。赵昺只看岳飞的出身和经历，便知对北人的招抚正是触动了南人大臣和皇帝的心结，招降纳叛往往是地方图谋不轨的先兆，都毫无例外地涉及到南人主将、文官和北人武将的错综复杂的矛盾。
南渡之初，宋廷随时面临着灭亡，可以说正是用人之际。对归正人，南宋除发放赈济钱粮，分配土地、耕牛、种子进行安置外，将男丁收入军中更是安置归正人的常规做法。赵昺最为崇拜的岳家军，他们之所以能让金军闻风丧胆，很大程度上是离不开北方归正人的不断加入和后方策应的，其队伍中的猛将牛皋、董先都是归正人，甚至在宋金开始和议时，岳飞仍派人持蜡丸、赏金到北方招诱中原好汉。
然而正是基于对岳飞等武将的猜忌，朝臣和赵构对北人来归的也逐步加强了警惕。特别是在‘绍兴和议’签订之后，为了防止授金朝南侵的借口，高宗在遣返新归正人的同时，严禁边将收纳渡淮而来的北方人。甚至是直接发布文书，告诫岳飞等将领，不得招纳北方来归的人民。可每当宋金出现军事对峙的紧张形势时，