В предложении сравниваются два человека (я и мой брат), поэтому используется сравнительная степень прилагательного.
My brother is taller than me.