Je veux télécharger le code source HTML complet d'un X page Web, mais en recourbant le lien X renverra une partie du code source HTML car cette page Web nécessite un défilement pour voir plus de contenu. Il semble que curl ne dépasse pas "défilement vers le bas".
Jusqu'à présent, je ne peux le faire que manuellement :
1) Allez sur le site Web souhaité
2) Exécutez la commande suivante dans la console du navigateur pour faire défiler automatiquement (charger chaque objet) :
var scroll =setInterval(function(){ window.scrollBy(0,1000); }, 2000);
3) Copiez le code source HTML complet de l'élément inspect
Donc la question est, comment puis-je exécuter curl commande afin qu'il récupère le contenu complet de la page Web (fait défiler jusqu'à ce qu'il charge tous les objets) avant de sortir au terminal pour obtenir le même résultat que les étapes mentionnées ci-dessus? Sinon avec curl , peut-être wget ?
Réponse acceptée :
curl n'est pas un navigateur à part entière et, à ma connaissance, ne prend pas en charge l'exécution de JavaScript. Il utilise HTTP/FTP pour récupérer les fichiers; c'est tout. Si vous souhaitez tester des fonctionnalités qui dépendent de scripts ou d'autres outils qu'une simple requête HTTP est incapable de toucher, vous devrez vous pencher sur une suite de tests plus approfondie telle que Selenium.