Ответ:

Делим число на 16 и записываем остатки в обратном порядке:

868 = 54 · 16 + 4;
54 = 3 · 16 + 6;
3 = 0 · 16 + 3.

Читаем остатки снизу вверх: 868₁₀ = 364₁₆.