Правильный вариант: b) Он старался быть вежливым.
Фраза He tried to be polite означает, что он прилагал усилия, чтобы быть вежливым. Вариант b) точно передает этот смысл.
Вариант a) Он пробовал быть вежливым - подразумевает, что он экспериментировал с вежливостью, что не совсем соответствует контексту.
Ответ: b) Он старался быть вежливым.