tuto – ruby – crawler sans popups

je suis lancé ce matin alors je continue à faire quelques mini articles !

 

Admettons que j’aime beaucoup faire des petits bots avec watir, que ceux ci sont amenés à crawler des sites divers et variés. Parfois, l’arrivée sur une page va vous ouvrir de multiples popups (pub, spam, appelez ca comme vous voulez). Voici une technique toute simple pour éviter de vous prendre le chou avec les multiples fenêtres ou onglets.

 

Premièrement, la méthode qui va vous permettre de savoir combien d’onglets sont ouverts :

     def check_spam?
       if @b.windows.length > 0
       then @b.windows.last.close
         return true
       else
         return true
       end  
     end

 

Et la manière d’utiliser la méthode de vérification de spam dans votre navigation :

@b.goto START_URL
 while check_spam?
   #do something
   break   
 end

 

Et voilà, easy !