Как восстановить его реальное состояние? Только руками в базе?

если вас интересует технология, то уже спрашивали: либо вручную в БД, либо через плагин admin users, либо через плагин неограниченного голосования админами.

если вы хотите узнать изначальный точный рейтинг пользователя, то нужно прослеживать как голосовали боты: приплюсовали ли они только пользователя или себя сначала (для наращивания силы), а потом дали голос за пользователя.