Bonjour,
Pour toute question je vous invite à vous retourner vers le forum de l’éditeur qui normalement est très actif et sur lequel des membres devraient pouvoir dépanner votre problème (qui de mon point de vue semble atypique…) Le problème de header peut arriver sur certains site mais c’est assez rare.
Bien cordialement,
Frederic

Je voulais savoir comment procéder quand à l’ajout d’un site sur Website Watcher celui-ci ne prend en compte que le header (les onglets constituant le plan du site) et pas le body ni le footer.

Cordialement.

Scrapy est plus une boite à outils qu’un produit fini. Je l’ai expérimenté quelques heures en ligne de commande. Il est facilement paramétrable et doté d’une communauté qui produit pas mal de plugins.
Pour passer au stade produit, il est nécessaire de mettre en place un réel projet de veille et suivre le cycle classique en V d’un projet informatique.

Concernant les DSI et leur fonctionnement, c’est mon rayon !! On ne fait plus de code en interne, en dehors de R&D. On pensera toujours pour un projet donné à acheter un outil, imaginer toutes les bidouilles du monde pour le faire marcher plutôt que de bâtir sa propre application qui correspond au besoin. Dans la majorité des cas, on n’atteint jamais l’objectif qui n’est pas de clôturer le projet (et se vanter !!) mais d’implémenter le besoin.

Sous prétexte qu’il faut rationaliser les coûts, on ne fait appel qu’aux prestataires pour des projets informatiques. Faut voir la galère et les retards de planning, quand on débarque sur un projet avec un transfert de connaissances inachevé ou mal pensé. Le savoir interne de l’entreprise s’évapore ainsi avec la valse des sous traitants.

Des entreprises françaises l’ont compris et commencent à créer des centres de développement en province (toujours pour rationaliser les coûts 😉 ) afin de garder une partie de leurs applications sous contrôle et réaliser des prototypages pour les demandes métiers. Une fois le prototype fini et approuvé, on passe aux prestataires l’industrialisation de la solution.

Je passe mon tour 🙂

Hello Amine,

Thanks 🙂

Concernant Scrapy, c’est un framework. Donc vraiment orienté dev et sa spécificité c’est surtout de faire du web scraping. De l’extraction de données ciblées à l’intérieur de pages. Enfin c’est plus mon point de vue.
PAs d’interface utilisateur ou peu pour paramétrer les crawls, pas de filtre ni d’envoi d’emails. Pas vraiment orienté utilisateurs finaux mais effectivement pas mal pour des projets sur mesure d’extraction de données.

Dans le type de Scrapy tu as Web Harvest. Trés bien aussi.
http://web-harvest.sourceforge.net/
Ca demande de bonnes connaissances du XQuery et du Xpath (et bien évidemment du XML) 🙂

Y a donc des solutions trés bien en termes de Web Scrapping mais malheureusement ce sont des projets que l’on rencontre peu en entreprise.

C’est à mon avis du en grande partie aux manques de ressources internes en DSI dans les grandes entreprises qui passent par des sous traitants ou de gros éditeurs et non pas par de « petits » projets internes sur mesure, réactifs… Ce qui est bien dommage car dans le domaine de la veille cela pourrait donner des choses extrêmement efficaces.

Ton (votre ) avis ?

Bonne journée.

Toujours un contenu Top 😉

Comme Thibault, j’ai bien rigolé sur « Il ne suffit pas de porter un jean slim et une chemise entrouverte pour que ca vous claque des jolis graphes dashboardés couleurs pastels / web 2. » J’en ris encore à imaginer la chose.

Plus sérieusement, pour surveiller des sites, il y’a Scrapy : http://scrapy.org/. C’est un Framework Python assez complet et extensible pour faire du web scraping. Toutefois, pas d’interface graphique. Donc besoin d’un plus de code (donc d’argent), pour en disposer amplement.

@+

Oui. Clair que ca nous rajeunit pas. Enfin surtout moi en l’occurrence 🙂
Mais bon c’est un outil qui a pas trop mal vieilli. Il n’a pas cédé aux sirène du web 2. Il a gardé sa ligne de conduite, perfectionné son « coeur de métier » par des améliorations subtiles mais continues. ET c’est un outil qui à ce prix là trouve toujours selon moi sa place dans la trousse à outils du veilleur.
Bonne journée ! 🙂 A bientôt.

Hello Dorothée, et merci infiniment. J’y travaille à publier des trucs que l’on ne voit pas partout ailleurs. Dur dur des fois 🙂
Bonne journée.

Merci pour ce super billet que je lis avec retard.

Website Watcher… ça nous rajeunit pas !!

J’ai bien rigolé au passage « Il ne suffit pas de porter un jean slim… ».

A bientôt !

Le support est vraiment bien fait, un sacré boulot !