Ca c’est la haine, ouep je t’assure tu vas être dégouté d’avoir dépensé tes thunes dans des softs alors que le meilleur est GRATUIT !
Ouep je sais moi et mes tools gratuits ( L’article sur le TBS like si tu l’as loupé ), je n’y peux rien, je cherche, je découvre des choses et d’autres …
Enfin voilà, tu n’es pas sans savoir que j’ai créer quelques extensions chromes dont ces petits Robots … Et mon souci principal est de gérer des requêtes ajax parallèllement tout en ayant un contrôle dessus. Pas évident mais j’y arrive petit à petit.
Seulement voilà, oui, tu l’as sans doute compris … une extension chrome permet effectivement de faire des requêtes cross-domain ( partout quoi ).
Alors voilà, en imaginant quelques petits softs dans ma tete à moi, je me suis posé la question:
- Je fais une extension Chrome ?
- Je fais une appli web ?
Le choix serait vite fait sans l’astuce que je vais vous montrer ! Une appli web ne me permettra pas de faire des requêtes Ajax en cross-domain … Question de sécurité et un « You’re not allowed … » pointera le bout de son nez rapidement.
Je vais devoir passer par Curl, manger de la ressource serveur … Pour peut-être faire planter le tout à la fin. Et quand je dis peut-être, c’est parce que mon générateur de content spinning avec synonymie//conjugaison sur un texte de 500 Mots ne met que 10 secondes a tout faire sous la forme d’une extension chrome ( meme pas besoin de base de donnée, je vais piocher directement des sites de syno et conjugaison ).
En PHP ? Et bien je n’ai pas osé, enfin si mais a force de faire planter mon serveur, j’ai abandonné…ça ne suit pas du tout !
Voilà la grande question. Comment je peux faire du cross domain avec mon navigateur ? Et bien tout simplement en désactivant la sécurité !
ATTENTION, NE VISITEZ QUE VOS PAGES APRES CETTE CONFIG, VOTRE NAVIGATEUR SERA FAILLIBLE SUR PAS MAL DE POINTS.
On y va ? Alors clic-droit sur l’icone chrome => propriété
Dans CIBLE :
C:\Users\XXXXX\AppData\Local\Google\Chrome\Application\chrome.exe
devient
C:\Users\XXXXX\AppData\Local\Google\Chrome\Application\chrome.exe --disable-web-security
On n’a fait qu’ajouter un –disable-web-security pour lancer le navigateur sans sécurite ( Ne me demandez pas pas pour Firefox, lui et moi avons divorcé depuis bien longtemps )
Bon ça va tu suis chef ?
Et bien voilà, un peu de jQuery et de HTML et dans 5 minutes on a un pti scraper Google … Allez pour ne pas repartir les mains vides, on va scraper les 100 premiers résultats Google pour un mot clé, et pour chaque url, on va aller chercher les liens sortants !
Allez, je scrape le mot seo… 1272 Urls en à peine 5 secondes ^^ c’est cool… et en plus je peux te dire qui est radin en liens sortant, et qui ne l’ai pas…PaidPR avec sa page de concours seo par exemple possède pas mal de liens sortant … Il est généreux ce garçon !
Malheureusement, je ne peux pas afficher le résultat ici, ça prend trop de place. Petite image:
Capture de Chrome Scraper
Et allez hop, sans plus tarder le fichier de démo avec lequel j’ai fait tout ça : [ demo_scrapebox_like ] Tu dézippe chef, tu mets ça sur un hebergement, tu lance Chrome avec l’option –disable-web-security et tu vas sur ton URL … MAGIK !
Bon c’est basique, c’est pour la démo, on peut très bien imaginer d’autres chose … Si j’ai 5 minutes encore je te montrerais dans un prochain article comment je génère un spin pas très propre avec les pied et en buvant un café …
Tu aimes ? T’en veux encore, ben tu vas attendre, je viens de voir qu’un de mes articles avait atteind les 50 commentaires et comme j’avais prévu un pti quelque chose … Vais devoir faire ça en priorité Lundi.
Allez chef, bon dev … On m’attend dans une cave !
Copyright 2011. Waves was created in WordPress by Obox Themes.
32 Commentaires sur cet article
Laisser un commentaireOu tu vas chercher toutes ces idées !!!
En tout cas merci, je vais voir si je peux faire ça sur OSX
Posté le 16.12.2011 par seofever
Très bon article, je vais essayer ce week.
Par contre je veux pas faire rabat joie mais Scrapebox supporte très bien le spin de commentaires, même le multi-spin maintenant.
Posté le 16.12.2011 par bruno
Je ne parlais pas de faire un rendu de {com1|com2} mais bien créer le:
Très bon {article|chapitre|partie}, je {vais|marche|cours} {essayer|expérimenter|tenter} ce week.
Par {contre|vers|à l'encontre} je {veux|désire|souhaite} pas {faire|former|produire} {rabat|col|collet} {joie|bonheur|plaisir} {mais|cependants|par exemples} Scrapebox {supporte|accepter|souffrir} {très|extrêmement|beaucoup} {bien|bon|beau} le spin de {commentaires|explications|notes}, même le {multi|pluri|poly}-spin {maintenant|aujourd'hui|actuellement}.
Partir d'un texte et générer le master, il ne me semble pas que SB le fasse par exemple ...
Réponse faite le16.12.2011 par titomus
Gros gg
Posté le 16.12.2011 par Bombo
Super idée comme d’hab
pour ceux qui ont mac , il suffit de taper dans le terminal:
open /Applications/Google\ Chrome.app/ –args –disable-web-security
merci pour le partage
Posté le 16.12.2011 par jcbisoux
ok merci
Réponse faite le16.12.2011 par seofever
Ya moyen de tester ton outil de générateur de master spin quelque part (CS ou autre)? J’ai pas encore trouvé un outils qui me convient
Posté le 16.12.2011 par seofever
Cherche Chrome Osome sur CS ! C'est un extension Chrome là ... dans l'onglet SEO => réécriture de contenu ! T'as la creation du master avec du google suggest en bonus mais depuis deux semaines, je ne fais que mettre à jour l'url suggest ...GAVANT
Réponse faite le16.12.2011 par titomus
Ok, je l'ai mais je pensais que tu parlais d'un nouvel outils ;-)
Réponse faite le16.12.2011 par seofever
Good, bon je vais regarder ce week-end!
Il m’a déjà bien guidé en dev!
Sinon je confirme @seoblackinside mérite bien une visite sur son site
Posté le 16.12.2011 par Aymeric
wow vachement efficace ce scraper. La comparaison avec scrapebox est quelque peu provocatrice. Mais honnêtement je suis étonné de la vélocité du bouzin. creuser !
Merci
Posté le 16.12.2011 par Ruben
La provoc était souhaitée ... ^^ Mais ça n'en est pas loin ... Imagine le détournement de ton navigateur ... Tu peux interagir avec un serveur ( pas sur scrapebox ou alors faut savoir le faire :) ), tu as un super débugger, etc ... Perso je trouve que c'est une base d'enfer !
Réponse faite le16.12.2011 par titomus
en tout cas, ca marche bien… et vite !
si on n’oublie pas l’option -disable-web-security
mais c’est vrai que ca donne des idées…
Posté le 16.12.2011 par vente de bois
Ton « –disable-web-security » me rend malade =/
Une appli web peut faire l’affaire :
- création de ta liste de mot clés coté client
- passage de la liste à un controleur PHP (1ère requête JS)
-> création de processus PHP en background
-> retour des identifiants des processus
- création d’un log d’état (en cours d’exécution)
- récupération des résultats
- écriture des résultats dans un conteneur (type fichier par exemple)
- modification du log d’état (terminé)
En parallèle :
Pour chaque identifiants des processus :
- récupération du log d’état
-> si terminé, récupération des résultats
–>
—–> – demander suppression le log du processus
—–> – demander suppression du conteneur de résultats
–>
Posté le 16.12.2011 par Simon
Je joues a ça sur quelques applicatifs ... Mais la gestion des multi est assez chiante ... Wamp ne tient pas le coup sous des coups de Curl et autre qui demandent déjà pas mal ! Ici on fait bosser le client plutot que le serveur
Réponse faite le16.12.2011 par titomus
Wahoo, mais quelle idée ! En tout cas merci, j’ai appris un truc
Posté le 16.12.2011 par Vivien développeur
@Simon,
Curl Multi-thread en PHP (processus PHP en background) demande beaucoup de ressource système.
Dans ce cas il est plus judicieux de déporter la charge sur le client.
@Jérémy, A titre de revanche pour le « jeremy allard XMLRPC »
Posté le 17.12.2011 par LeMoussel
Ça peut demander des ressources quand on ne sait pas utiliser son serveur. J’peux te mettre 200 requêtes en parallèles sans que le serveur ne bronche, tu peux appliquer des limitation de ressources et je ne crois pas qu’un wget (peut importe la manière dont on le fait) puisse moralement faire lagguer une machine.
Posté le 17.12.2011 par Simon
Moi je veux bien voir chef ... N'étant pas DEV de formation, j'apprends tout sur le tas et il m'arrive effectivement de louper des choses ^^
Réponse faite le17.12.2011 par titomus
[...] Un Scrapebox Like En 5 minutes ! | WebMarketing, Design & SEO Un Scrapebox Like En 5 minutes ! Ca c'est la haine, ouep je t'assure tu vas être dégouté d'avoir dépensé tes thunes dans des softs alors que le meilleur est GRATUIT ! Ouep je sais moi et mes tools gratuits ( L'article sur le … Source: blog.jeremy-allard.com [...]
ca fonctione bien, meme tres bien vu la rapidité de la bete. Je vais me pencher sur le code source car en effet cela a du potentiel. Avec mes tests, le Multi thread en php soit cela demande des ressources, soit c’est encore plus long. Faudrait peut etre passer un coup de python !
Posté le 19.12.2011 par Siem reap
Super je vais tester aujourd’hui. J’espère y arriver facilement, les méthodes que l’on trouve sur les blogs SEO sont parfois galère…
Posté le 22.12.2011 par compagnie aérienne
C’est sympa ton truc, plus ça va et plus tu me mets le doute sur comment coder, faut que je test un coup voir si le js est plus rapide que du java.
Il faudrait juste pouvoir lancer plusieurs fois la même extension et ce serait parfait
Posté le 24.12.2011 par Soul
Merci pour l’astuce, je vais tester de suite!
Posté le 26.12.2011 par Construction maison
Trop cool, en plus tu rankes sur la première place, t’es un charlatant moi je dis ^^
Posté le 10.1.2012 par Emilie
dommage j’aurai bien aimer voir ca avec firefox …
j’ai d’ailleurs créé des script (apple) pour lancer plusieurs profil FF en parallèle et pouvoir me connecter avec plusieurs ID etc …
sinon je comprends bien la méthode … mais ou va tu pecher toutes ces idées Jerem ?
@ ++
Sebastien
Posté le 15.1.2012 par grenoble
Là j’avoue j’ai atteinds mes limites niveau informatique. J’ai essayé de suivre le tuto mais je n’y suis pas arrivé. tant pis je garde les outils que j’utilise habituellement.
Posté le 17.1.2012 par Julien @ meilleur avion en papier
j’ai eu bcp de mal à suivre ce tutos aussi
Posté le 20.1.2012 par Paysagiste les jardins d’eole Avignon
Mais je penses qu’il faut vraiment pas décrocher et attentif
Posté le 20.1.2012 par Abdou
C’est super cette idée, dès que j’ai un peu de temps libre devant moi je teste direct.
Continue dans cette voie! Nous on aime ça
Posté le 24.1.2012 par coloriage
Alors là je suis bluffé, un grand bravo pour cette astuce que je ne testerai pas car un peu trop faigneant, mais alors chapeau bas!
Posté le 26.1.2012 par seo
Je vais tester ça dès que possible c’est clair! Merci pour le tuyau!!
Posté le 28.1.2012 par addict aux jeux