Пусть \(x\) — количество пятирублёвых монет, а \(y\) — количество десятикопеечных монет.
Составим математическую модель:
\[\begin{cases}x+y=26,\\5x+0.1y=170.\end{cases}\]
Из первого уравнения \(y=26-x\). Подставим во второе:
\[5x+0.1(26-x)=170;\]
\[5x+2.6-0.1x=170;\]
\[4.9x=167.4;\]
\[x=34.16.\]
Получилось нецелое количество монет, поэтому при данных условия задача не имеет решения. Действительно, 26 монет, каждая стоимостью не более 5 рублей, не могут иметь общую сумму 170 рублей, так как максимальная сумма составила бы \(26\cdot5=130\) рублей.
Ответ: задача противоречива, решения нет.