В косвенной речи "We" меняется на "They", "invited" на "had invited", а "you" на "us" (если обращаются к ним), так как говорящие - "They".
They say they had invited us to the party.