王渊提议去杭州。
杭州有“重江之险”，沟壑水道纵横，是阻挡女真铁骑的天然障碍，在它和长江之间有众多的城市充当战争堡垒。杭州的富饶远在扬州之上，宋朝以一国供一城才造化出东京汴梁的空前盛景，其中杭州的供养是重中之重，现在直接进驻杭州的话，稍加整顿就能重现故都风采。更妙的是杭州临海，危险时刻能随时扬帆出海避祸，这是整个北方所有城市都没有的优势。除去这些还有更加分的一项。
杭州山水之美冠绝天下，早就让身在帝都的赵氏子弟魂牵梦萦，能终日优游其间，何必建什么艮岳。
建炎集团迅速南下，经常州、平江府奔向杭州府。一路上狼狈不堪，“仪仗皆阙，惟一兵执黄扇而已”，挨到了杭州城，这伙人发现没有行宫，直接把州府衙门征用了，赵构当晚只能睡在一张未经雕饰、未刷漆料的白皮木床上，将每日“百品”的御膳减为“日一羊，煎肉炊饼而已”。
这让赵构非常痛苦，可是还必须忍受。
他的理智在回归，想起了几年前其父赵佶的花石纲等恶政把江南逼反，兵火蔓延了六州五十二县，如此酷毒，这时国破家亡来逃难，带来的还是些惊破了胆的残兵败将，他有什么资格、脸面、胆量当江南的皇帝？