Ответ:

Пусть основание системы счисления равно \(b\). Представим числа в виде выражений:

\(780_b=7b^2+8b\), \(188_b=b^2+8b+8\), \(581_b=5b^2+8b+1\).

Из равенства получаем \((7b^2+8b)-(b^2+8b+8)=5b^2+8b+1\), то есть \(b^2-8b-9=0\).

Корни: \(b=9\) и \(b=-1\). Основание системы должно быть положительным и больше наибольшей цифры 8, поэтому подходит только \(b=9\).

Ответ: в девятеричной системе счисления.