Вовсе является усилительным словом, которое указывает на отрицание признака. В данном случае, "вовсе" усиливает отрицание "не".
При наличии усилительных слов (вовсе, отнюдь, далеко, ничуть, нисколько) частица "не" с прилагательным пишется раздельно.
Следовательно, пишем раздельно: вовсе не умный.
Ответ: не умный