[解答]
$$1円,5円,10円硬貨をそれぞれ、x,y,z枚とする。$$
題意より
$$x+5y+10z=a\cdots(1) , x+y+z=b\cdots(2)$$
$$(1)-(2)\ \ 4y+9z=a-b$$
$$\ \ \ \ \ 4y=a-b-9z$$
$$a-b-9z\equiv 0\pmod 4$$
$$a-b\equiv 9z\pmod 4$$
$$9z \equiv 1 \times z\equiv z\pmod 4$$
だから
$$9z\equiv z\pmod 4$$
ゆえに
$$a-b\equiv z\pmod 4$$
$$1\leqq x,1\leqq y,1\leqq zと(1)から、z\leqq \frac{a}{10}-2$$
としてよい。
要するにこの場合、
合計金額と
硬貨枚数の差を4で割った余りと、
10円硬貨の枚数を4で割った余りが一致するものをさがせ
という話になる。
$$実際には、a-b\pmod 4 の値をあらかじめ求めておき$$
$$z\leqq \frac{a}{10}-2$$
$$だから、$$
$$z=\left(\frac{a}{10}-3\right),\left(\frac{a}{10}-4\right),\cdots
,2,1$$
$$のうち$$
$$ z\pmod 4 が上で求めたもの(a-b\pmod 4)$$
$$と一致するものについて、次のように計算すればよい。$$
$$x=\frac{ \left | \begin{array}{cc}
a-10z & 5 \\ b-z & 1 \end{array} \right | }
{ \left | \begin{array}{cc} 1 & 5 \\ 1 & 1
\end{array} \right | } ,
z=\frac{ \left | \begin{array}{cc} 1
& a-10z \\ 1 & b-z \end{array} \right | } {
\left | \begin{array}{cc} 1 & 5 \\ 1 & 1
\end{array} \right | }$$
$$となるので、$$
$$x=-\frac{a-5z-5b}{4} \cdots(3) ,
y=-\frac{9z+b-a}{4} \cdots(4)$$