遐所阻，一怒之下，便遣人诬告游遐与盗贼相勾结，将其下于狱中。其后不久，刘曜率大军来攻，北部各县逐一陷落，梁肃慌了，胡军游骑才刚出现在大荔近郊，他就主动弃守而逃。于是趁着大荔城内官吏尽散，而胡汉大军还没有抵达的机会，游氏族人劫了大牢，把已经被拷打得只剩半条命的游遐救了出来，暂时安置在城外某坞堡中静养。

然而游遐的伤才刚养好，裴该又率大军北上，一路神挡杀神，那家坞堡主因为不甘心彻底交出权柄，略略抵抗了一番，就被徐州军半日间攻破壁垒，屠其全家丁男。坞堡中的兵卒、仆佣、农夫，老弱妇孺，以及游遐这种寄居者，全都被一绳所系，押送到了渭北来。

游遐先是瞧着徐州军没有屠堡的意思，自己性命得全，不禁大舒了一口气；继而瞧他们的举动，貌似是想在渭北屯田……完蛋了，我根本就不会种地啊，而且别看身量高，其实力气小，也扛不动什么锄头、耒耜。对于有用之人，不肯不分良莠，一概杀却，裴侍中这就算很仁慈了吧，那么对于无用之人，还怎么可能客气？行见自己的未来将是一片灰暗哪！

再者说了，就算裴侍中是仁人，自己又见不着他，管理自己的那些徐州兵、吏，可是个个目露凶光，可怕得很哪！

游遐筹谋对策，连续几天都没能睡好觉，天幸今天有位从事过来，安抚人心，并且要募兵、召工，于是游遐便即凑近前去——他力气虽小，胆子却是大的，否则当日也不敢硬顶一郡之守的梁肃了——开口自荐，说我是读书人，你把我放在军中，或者屯营中都无用，但我能够写写算算，希望能尽此所长，勉强养活自己。

殷峤本人出身不高，也就比郭默强点儿有限，但他饱读诗书，所以对读书人也天然抱有好感——都是同类嘛——再加上听说这位还举过孝廉，自然不敢怠慢，当即就说了：“既是儒生，如何没在蓬蒿之中？汝可随我来，若果有所长，并非虚语，自当将汝荐于裴公。”他知道裴该幕中正缺人呢，普通吏员一个都得当俩使，对于他这种有点儿能力的，肩上的胆子比寻常州郡重了三倍还