江南百景图当中居民离开分为跨城滞留、被驱逐无居所、普通居民流失三种情况，对应不同的召回操作，跨城的特殊居民需要依靠码头船只运回本城，被赶走的人物分配空置民宅即可回归，普通流民则要补齐住房、繁荣度与环境条件完成人口恢复。很多玩家会遇到人物在别的城市滞留，本城居民列表看不到该角色，生产建筑缺少对应人物加成，不清楚该如何把人调回，优先需要区分是特殊人物还是普通平民，两种对象处理流程完全不一样，混淆操作会导致反复出现居民不在城内的提示。
针对被派遣到其他城市的特殊居民，首先确认出发城市的码头已经修复完毕，点击左下角府印打开大地图，挑选处于空闲状态的运输船只，选择迁移居民选项，勾选需要调回的人物，选定目标城市后确认启航。运输完成之后切换回接收城市，点击河道的船只图标完成收取，此时人物处于尚未定居的状态，不会自动入住房屋，需要打开居民详情界面，点击分配居所，挑选本城空置的民宅完成安置，安置完毕之后人物天赋效果才可以正常生效。运人时尽量做到人货分开运输，混装物资会拉长航行耗时，单船搭载居民数量存在上限，大批量调回人物可以分多趟船只分批操作，同时确认目标城市仓库没有爆仓，防止船只抵达之后人物无法正常下船。
如果是手动赶走之后不见踪影的特殊居民，人物本身不会消失，只是变成未定居状态，只需要本城存在空余主位的民宅，进入居民列表找到对应人物，点击分配居所直接入住即可恢复工作状态。出现无法分配的情况，大多是民宅主位已经被其他特殊人物占用，这时可以升级老旧民宅，或者新建更多住宅，城市繁荣度提升之后可以解锁更多民宅建筑，以此扩充居住名额。若是地图出现四处游荡的流民，代表城市居住条件不足，需要补充民宅数量，摆放娱乐装饰建筑拉高繁荣度，同时清理降低环境的建筑，保证城市环境值达标，条件满足之后流民就会转化为本城普通居民，补充城市劳动力。
还有一类容易被忽略的情况，城内出现游魂会占用人口名额，阻碍新居民生成，居民离世之后民宅会出现白布标记，及时建造墓地完成安葬，空置的房屋才会接纳新普通居民入住，长期不安置游魂会持续卡人口上限，就算建造再多民宅也不会新增平民劳动力。日常布局规划时，不要随意拆除还有居民居住的民宅，拆除建筑前务必先把人物迁移出来，不然居民直接变为无家可归状态，生产作坊容易出现劳动力缺失，影响铜钱、食材、各类材料的产出效率。客栈建筑可以获取临时工人，适合短期应急缓解用工缺口，但临时工人无法替代正式居民，想要稳定让居民回来定居，还是要落实住宅、繁荣、环境三项基础条件。
