歴史マニア（日本史）へ質問！

年貢米はどこへ行ったのでしょう？
江戸時代、幕府も各藩も収穫の半分を年貢米として召し上げ、残り半分は領民の取り分とする（主に）五公五民であったと教科書で習いませんでしたか？

また、 身分別の人口の割合 で一番多いのが 百姓 （農民）で、人口の8割以上を占めていたとも習いました。

召し上げた収穫の半分の年貢米は米問屋などで売られたとも習いました。

そこで疑問、

農民以外のたった10数％しかい