Les Déserteurs temporels n'est pas à proprement dit un récit sur le voyage temporel. À première vue fondé sur une thématique classique, le roman de Silverberg emploie le voyage temporel non pas comme le nœud thématique, mais plutôt comme un embrayeur narratif. Le roman s'articule autour de cette composante en créant une société future qui prend forme au travers de la focalisation de trois personnages. Dans un cadre urbain surpeuplé et socialement très hiérarchisé, Joe Quellen, fonctionnaire de police, est chargé de découvrir l'homme qui envoie dans le passé certains prolétaires. Il apprend par sa sœur que son propre beau-frère, lassé de sa situation sociale dégradante, va lui-même tenter le saut. Chacun des trois personnages décrit son époque d'une manière nuancée suivant sa situation sociale et familiale. Tous ont en commun, malgré leurs différences, la paranoïa, le mécontentement et la désillusion. La succession des focalisations au fil des chapitres construit polyphoniquement ce futur qui favorise une minorité pour le bien de tous. Ainsi, les différents cadrages montrent que les personnages les plus haut placés ne sont pas pour autant plus heureux, même le « despote bénévole » Kloofman. Seul Lanoy, personnage excentrique et inventeur de la machine à sauter dans le temps, semble en accord avec ce monde en voie de déliquescence. Sa présence est une figure de l'ironie, puisqu'il envoie dans des époques reculées les inadaptés du temps présent.
Le classicisme apparent de ce récit est un faux-semblant développé par un auteur qui, malgré le nombre déjà important de textes produits, est à la recherche d'une écriture. Plusieurs œuvres à venir s'y révèlent en filigrane. La thématique sera reprise et développée plus avant dans Les Déportés du Cambrien, d'une manière certainement plus soutenue. De plus, l'architecture de la ville avec ses tours, le problème de surpopulation et le système social hiérarchisé tracent les grands traits des Monades urbaines. Enfin, certains détails révèlent L'Oreille interne, notamment lorsque Kloofman se branche directement aux données des ordinateurs par voies nerveuses, « il était chacun de ceux qui existait ». Le despote s'insinue en quelque sorte dans la tête des gens, certes très schématiquement, puisqu'il s'agit des fiches signalétiques de ceux-ci. Par conséquent, le citoyen n'a pas d'âme ni de psyché, c'est une simple fiche avec un numéro, une pièce agencée dans le grand tout. Ce roman de Silverberg met déjà en évidence les problèmes sociaux qui seront approchés plus en profondeur par les suivants : l'absorption de l'individu dans la masse, le désenchantement de l'homme moderne, voire les différentes tyrannies des extrêmes — secte — drogue — sexe. Les Déserteurs temporels est peut-être un texte mineur à sa seule lecture ; mais dans l'unité de l'œuvre de Silverberg, il se révèle important en annonçant un style personnel qui prend forme dans un cadre pourtant très codifié.