Parce que je crawl le flux RSS de Google et ces con, mon détécté ;) Forcement avec une requête sur 10pages à la suite, sans arrêt, il suspect une action de crawl (une récolte d'informations à leur insu) !
Pour le moment j'utilise un serveur Online FREE du nom de "http://www.proxy.cherooo.net" ! En fait j'encode en base64 l'url et la passe en get au site, qui se charge de récupérer les données pour moi. C?est rapide, mais si il venait à fermer alors je serai dans la M... Et c'est du bricolage, c'est pour ça que je souhaiterai créer mon propre Proxy HTTP pour que Google ne me détecte pas.
ok, bon alors cool, mais tu sais si on peut installer ça sur un serveur dédié (Linux) ? Parce qu'une fois que je balancerai mon algorithme sur mon dédié alors il faudra qu'il aie lui aussi un proxy comme sur mon PC.
Un client TOR peut s'installer sur n'importe et surtout sur du linux en fait… par contre c'est normal que ça ralentisse puisque la connexion "rebondi" sur plusieurs nœuds et que le tout est fortement crypté. Mais t'es sûr que Google te trouvera pas au moins. peut pas tout avoir ;)
Ben en fait, si ! La j'ai trouvé le code PHP qu'utilise le proxy que j'utilise en ce moment ! ça s'appel PHP Proxy Dean (v.1.6) c'est un code PHP qui s'occupe de ça. Donc, je vais voir ça et si vraiment j'ai rien, alors je m'appuierai sur TOR.
EN tout cas, merci ! Et bonne année, dis donc ! ;)
A merde, alors ! Bon ben me reste plus qu'à utilisé TOR, alors ? Mais faut vraiment que je teste la rapidité du truc, parce que si la récupération d'un flux dure 60 seconde, alors mince, il y en a encore une vingtaine derrière ! :)
Je dois encore me renseigner sur PHP Proxy Dean, parce que j'ai pas encore bien compris son fonctionnement.
Toutefois si j'ai bien suvis, il va se servir d'une liste de proxy à distance, pour nous renvoyer le contenu de la page, par la suite. Tout comme le fait TOR.
13 comments so far
Désolé pour les puriste, mais j'ai du craquer "Anonymity 4 Proxy". Toutefois, impossible de le faire fonctionner ! :(
10 months, 2 weeks ago by badoux
Pourquoi faire le proxy?
10 months, 2 weeks ago by burninghat
Parce que je crawl le flux RSS de Google et ces con, mon détécté ;) Forcement avec une requête sur 10pages à la suite, sans arrêt, il suspect une action de crawl (une récolte d'informations à leur insu) !
Pour le moment j'utilise un serveur Online FREE du nom de "http://www.proxy.cherooo.net" ! En fait j'encode en base64 l'url et la passe en get au site, qui se charge de récupérer les données pour moi. C?est rapide, mais si il venait à fermer alors je serai dans la M... Et c'est du bricolage, c'est pour ça que je souhaiterai créer mon propre Proxy HTTP pour que Google ne me détecte pas.
10 months, 2 weeks ago by badoux
et si tu passais par TOR ?
10 months, 2 weeks ago by burninghat
N'empêche que si il venait à fermer, je me retrouverait dans la mouise ! NON ! Tu pense qu'il ne risque rien ? ;)
10 months, 2 weeks ago by badoux
fermer TOR ? tu rigoles ?! c'est un réseau décentraliser multi-proxy, ça risque pas de fermer
10 months, 2 weeks ago by burninghat
A ouai, c'est vraiment simple d'utilisation ce truc. Mais petit problème il bloque mon localhost ! Je pense que ça doit venir de la configuration.
10 months, 2 weeks ago by badoux
ok, bon alors cool, mais tu sais si on peut installer ça sur un serveur dédié (Linux) ? Parce qu'une fois que je balancerai mon algorithme sur mon dédié alors il faudra qu'il aie lui aussi un proxy comme sur mon PC.
10 months, 2 weeks ago by badoux
En revanche ça ralenti considérablement le download !
10 months, 2 weeks ago by badoux
Un client TOR peut s'installer sur n'importe et surtout sur du linux en fait… par contre c'est normal que ça ralentisse puisque la connexion "rebondi" sur plusieurs nœuds et que le tout est fortement crypté. Mais t'es sûr que Google te trouvera pas au moins. peut pas tout avoir ;)
10 months, 2 weeks ago by burninghat
Ben en fait, si ! La j'ai trouvé le code PHP qu'utilise le proxy que j'utilise en ce moment ! ça s'appel PHP Proxy Dean (v.1.6) c'est un code PHP qui s'occupe de ça. Donc, je vais voir ça et si vraiment j'ai rien, alors je m'appuierai sur TOR.
EN tout cas, merci ! Et bonne année, dis donc ! ;)
10 months, 2 weeks ago by badoux
si t'as qu'un proxy et qu'il est en local, Google va te tracer comme si t'avais rien en fait :p
bonne année zaussi ;)
10 months, 2 weeks ago by burninghat
A merde, alors ! Bon ben me reste plus qu'à utilisé TOR, alors ? Mais faut vraiment que je teste la rapidité du truc, parce que si la récupération d'un flux dure 60 seconde, alors mince, il y en a encore une vingtaine derrière ! :)
Je dois encore me renseigner sur PHP Proxy Dean, parce que j'ai pas encore bien compris son fonctionnement. Toutefois si j'ai bien suvis, il va se servir d'une liste de proxy à distance, pour nous renvoyer le contenu de la page, par la suite. Tout comme le fait TOR.
10 months, 2 weeks ago by badoux