五帝时期，泗水为穷桑地，隶属于曲阜，为古都之近畿。自颛顼称帝，历尧、舜、禹，至汤伐卞，泗水之域先后为幕国（蔑国）、崇国、卞明国之地。

　　夏朝，泗水仍为卞明国，隶属徐州。

　　商朝前期，泗境仍为卞明国地，后期并入奄国。

　　西周，泗水之域隶属鲁国，为卞邑、郚邑、蔑邑（姑蔑）、桃邑。东周前期，泗境仍属鲁国。至战国末期，泗地归属不定。鲁顷公二十四年（公元前248年）楚灭鲁，泗地归楚国。楚王负刍五年（前223年）秦灭楚，泗地属秦国。

　　秦代，泗水地域属薛郡鲁县。

　　西汉时期，在泗境卞邑置卞县，隶属鲁国；在郚邑置郚乡县，隶属东海郡。

　　东汉时期，郚乡县废，入卞县，隶属豫州鲁国。

　　三国魏，泗境仍为卞县，隶属豫州鲁郡。

　　西晋前期，卞县仍隶属鲁郡；惠帝末年，晋乱，卞县废。

　　东晋，泗境先隶属鲁郡鲁县。咸和二年（327年）起，泗地先后归前赵、后赵、冉魏、前燕、前秦、后秦。太和元年（366年），陷于燕。宁康元年（373年），陷于秦。

　　南朝宋初，卞县废。泰始二年（466年）复置卞县，属兖州（后改属徐州）鲁郡。因兖州刺史毕敬众降魏，其后，所属忽宋忽魏。至宋末梁初常属北魏。

　　北魏，县境西部为汶阳县（治所在今中册镇故县村），东部为弁县（“弁”通“卞”），均属兖州鲁郡。北齐、北周，鲁郡改为任城郡，弁、汶阳属之。

　　隋开皇四年（584年），汶阳县并入鲁县，鲁县改称汶阳县，属兖州。开皇十六年（596年），析汶阳县东部区域置泗水县（因泗水发源于境内而得名），属兖州；汶阳县更名曲阜县。【一说，开皇十一年（591年）卞县更名为泗水县，县治卞城；十六年（596年）汶阳县东部划归泗水县，县治迁至虚朾（今泗水县城）】大业二年（606年），兖州改为鲁州；次年，废鲁州，设鲁郡，泗水县属之。

　　唐代，泗水县属河南道兖州鲁郡。

　　北宋至道三年（997年），泗水县属京东路兖州；熙宁七年（1074年），京东路分为东西两路，泗水县属京东西路兖州；政和八年（1118年），兖州升为袭庆府，复置鲁郡，泗水县属京东西路袭庆府鲁郡。

　　金代，为山东西路兖州所辖。

　　元代，属济宁路兖州，至元二年（1265年）泗水县并入曲阜。至元三年（1266年）春，因治理不便，置锦川县，县治音义（位于泗城以西八里）；同年冬，废锦川县，复置泗水县，县治位于原县城，仍隶属兖州。

　　明代洪武初年，泗水县隶属山东布政使司济宁府兖州。洪武十八年（1385年），济宁府降为济宁州，兖州升为府，泗水县属兖州府。清代仍属兖州府。

　　民国元年（1912年），民国建立，泗水县衙改称泗水县公署，知县改称县知事。

　　民国二年（1913年），裁撤州、府，改省、道、县三级制，泗水县属山东省岱南道。

　　民国三年（1914年），为济宁道所辖。

　　民国十六年（1927年），废除道制，泗水县直属山东省。

　　民国十九年（1930年）1月，县公署改为县政府，县知事改称县长。

　　民国二十五年（1936年），泗水县属第一行政督察区。