Introduction au web scraping   

Introduction au web scraping Bonjour, dans ce document je vais vous présenter le web scraping et vous expliquez les bases. Tout d’abord qu’est­ce que le web scraping ? Le web scraping est le fait de récupérer des informations sur un site en passant directement par un programme donc faire un robot en quelque sorte. C’est utiliser pour récupérer des informations, automatiser des action, c’est très utile. En général on utilise des langages script (python, ruby etc…) pour faire ces programmes. Tout d’abord le programme va faire une requête vers la cible en question (un site) puis, récupérer ces informations et les triées pour sélectionner uniquement les donnés voulus. Une image qui représente le web scraping : Pour sélectionner les donnés voulus,on va devoir analyser une page. Nous allons d’abord analyser les requête HTTP nous allons faire cela sur twittter version mobile : https://mobile.twitter.com/login Si j’inspecte l’élément et que je regarde dans network je vais pouvoir suivre les requêtes HTTP, je n’ai rien d'intéressant dans l’header. Maintenant je vais me connecter et suivre les connexions : Je vois le username que j’ai mis, le password que j’ai mis. Je vois également un token. Ce token et obligatoire il sert à bloquer les attaques CSRF mais le problèmes et que si le token n’est pas le bon il ne nous laisse pas passer de plus il change à chaque donc il va falloir récupérer le token. Le token se trouve dans le code source si je regarde le code source et que je cherche “token” en faisant un ctrl+f je tomber sur cette ligne : Je dois donc sélectionner le token à partir du code source. Pour cela nous pouvons faire un script en Python par exemple. Voilà pour les bases du web scraping.