Web scraping avec Python : méthodes d'extraction de données du Web

Web scraping avec Python

Si la programmation s'apparente à de la magie, le web scraping est assurément de la sorcellerie. En écrivant un simple programme automatisé, vous pouvez interroger des serveurs Web, effectuer des requêtes et les analyser pour en extraire les informations dont vous avez besoin. Cet ouvrage constitue un guide complet du web scraping, vous expliquant comment moissonner presque tous les types de données du Web actuel.

La première partie du livre se concentre sur les mécanismes du web scraping : utilisation de Python pour demander des informations à un serveur Web, traitement de base de la réponse du serveur et interaction avec les sites de manière automatisée. La deuxième partie du livre explore une grande variété d'outils et d'applications plus spécifiques pour répondre à tous les scénarios de web scraping que vous êtes susceptible de rencontrer.

Au programme de ce livre :

• Analyser des pages HTML complexes.
• Développer des moissonneurs avec le framework Scrapy.
• Méthodes pour stocker les données récupérées.
• Lire et extraire des données à partir de documents.
• Nettoyer et normaliser des données mal formatées.
• Lire et écrire en langage naturel.
• Moissonner des formulaires et des écrans de connexion.
• Récupérer des données à l'aide de JavaScript et d'API.
• Utiliser et écrire des logiciels d'OCR.
• Éviter les pièges du web scraping et contourner les bloqueurs de robots.
• Utiliser des moissonneurs pour tester votre site Web.