家门贫贱无人问，家财万贯有人问，他们千辛万苦经历漫长的岁月赶到长安，更没得到亲戚的照顾，可已经赶到临安了，再没其他亲戚可以投靠了。
张邑的母亲是个没有读过多少书，却是在小时候，跟过做先生的父亲识过为人的基本原则的，贫寒之下，自有已经给生活压迫的不敢有丝毫善心的兄长所不同的傲骨。
凭着仅有的双手以及做工的经验，生生在人生地不熟的临安带着此时已经六七岁的张邑做工洗碗，在城外很少人住的西郊找了间房子，这才勉强安顿下来，一旦有空，便教自己的儿子学那自己为数不多识得的一些字和文章，就这样贫苦的在临安落了下来。
可这样只有母亲维持的日子过的也不久，在张邑十一岁的那一年，在张邑勉强可以给人做童工养活自己的时候，张邑的母亲因为多年的操劳生活压迫，在受尽人间冷暖后，还是重病不治身亡，张邑再次从安稳的小家，流落街头。
小小年纪的他因为长期营养不良长的个子也小，总有那些持强凌弱的，那个时候他被欺负的连给自己母亲买张席子的钱也没有，还差点给那个所谓的舅舅卖给人贩子还钱，可谓什么罪都受过的人，而这个将他从苦海里救出的人，便是当时比他年纪还好，但力气比他还大，一手鞭子玩的顺溜的长公主殿下。