Que tu prennes part au dépouillement en tant que scrutateur ou pas, y assister est un droit. Si tu crains des magouilles, je te conseille fortement de le faire lors de la prochaine élection. L’article L65 du code électoral donne les règles à suivre, tu peux vérifier si elles sont respectées, notamment celle-ci :

A chaque table, l'un des scrutateurs extrait le bulletin de chaque enveloppe et le passe déplié à un autre scrutateur ; celui-ci le lit à haute voix ; les noms portés sur les bulletins sont relevés par deux scrutateurs au moins sur des listes préparées à cet effet.

Est-ce que les élus scrutateurs dont tu parles sont bien des électeurs inscrit au bureau où ils dépouillent ? De ce que je comprends, rien n’empêche les candidats et assesseurs d’être scrutateurs, mais si c’est régulier et qu’aucun électeur « normal » ne dépouille jamais, on est en droit d’être méfiant et de se poser des questions sur la manière dont le dépouillement se déroule.

Est-ce que les scrutateurs sont tous plus ou moins du même bord politique, ou y a-t-il une certaine diversité ? Que se passe-t-il si, le jour de l’élection, tu te proposes comme scrutateur, est-ce qu’ils refusent en prétextant avoir assez de monde ? Ou est-ce que d’habitude aucun électeur « lambda » ne se propose de lui-même, et que les membres du bureau ne prennent jamais l’initiative de leur proposer de venir dépouiller ?

Demande à ton député de saisir le juge électoral
https://www.vie-publique.fr/fiches/23955-que-se-passe-t-il-en-cas-de-fraude-electorale