Ответ:

Пусть основание системы равно \(b\). Тогда \(100_b=b^2\), а \(77_b=7b+7\). Из равенства следует:

\(b^2-(7b+7)=1\), то есть \(b^2-7b-8=0\).

Разложим: \((b-8)(b+1)=0\). Подходит положительное основание \(b=8\); цифра 7 в такой системе допустима.

Ответ: в восьмеричной системе счисления.