These are chat archives for moul/node-leboncoin

21st
Aug 2014
daweedco
@daweedco
Aug 21 2014 11:15
Enfaite j'aurais besoin de crawler LBC pour trouver un certain type d'annonce et en recuperer quelque champs
mais j'ai l'impression qu'en utilisant ta fonction simple_search je ne peux pas mettre de mot cles en recherche
Manfred Touron
@moul
Aug 21 2014 11:20
tu peux me filer une url d’exemple ?
C'est typiquement cette recherche pour toute les villes
Manfred Touron
@moul
Aug 21 2014 11:36
pour toutes les villes, genre tu veux iteret sur le code postale, mais avec ce ?q= a chaque fois ?
daweedco
@daweedco
Aug 21 2014 11:36
et je dois recuperer les numeros , les descriptions d'annonces
voila quoiqu'il arrive ca sera tout le temps la meme query
Manfred Touron
@moul
Aug 21 2014 11:37
ok, la tu ne precise pas de ville, tu garde juste ma region de test (haute normandie), mais le coup de la ville ne te pose pas de probleme ?
daweedco
@daweedco
Aug 21 2014 11:37
bah si mais la ville apres c'est juste une variable que je pourrais changer dans l'url
mais enfaite j'ai du mal a recuperer le contenue des annonces
une fois que j'ai lancer ma recherche avec l'url que je t'ai envoyer
Manfred Touron
@moul
Aug 21 2014 11:38
ok, je regarde si je peux faire quelque chose rapidement, ou si c’est une mauvaise idee d’utiliser ce module
daweedco
@daweedco
Aug 21 2014 11:39
ok merci beaucoup !
Sinon j'ai vue qu'il y avait selenium mais je connais pas du tout et je vais avoir un peu de mal a l'utiliser
et je suis tombé fou du node js !
Manfred Touron
@moul
Aug 21 2014 11:42
:)
Manfred Touron
@moul
Aug 21 2014 11:48
moul/node-leboncoin@4196497
cet exemple donne la meme URL
je regarde pour la partie fetching des annonces
quand tu dis les numeros, c’est les numeros de portable ?
daweedco
@daweedco
Aug 21 2014 11:49
oui les numeros de portable ou les emails
Manfred Touron
@moul
Aug 21 2014 11:50
ils sont cachés avec une image je crois, faire le click “voir le numéro de téléphone”, ça se fait, ensuite je pense qu’il faudra telecharger l'image
daweedco
@daweedco
Aug 21 2014 11:50
ok ca je pense pouvoir le faire
Manfred Touron
@moul
Aug 21 2014 11:50
si tu te contente de copier l’url src="http://www.leboncoin.fr/pg/0NTNmNWRjYzU2N2YyOQAAANnK0cc0k0Yq1KI=.gif” et que tu la mets dans une interface
tu va te faire griller par leboncoin qui verra un REFERER http différent
j’essaie de te recuperer les annonces
daweedco
@daweedco
Aug 21 2014 11:51
t'es tres fort lol
mais tu as quel age ?
Ah et j'ai une petite question
j'ai jamais utiliser cofee sur node js
faut vraiment que je m'y mette?
Manfred Touron
@moul
Aug 21 2014 11:55
26 ans, coffee s’utilise partout, vu qu’il se compile en js, donc browser et node.js, je trouve que ca permet de faire du code clean et surtout que ca protege ton code, tout est namespacé et tu n’as pas le soucis d’avoir uen variable initialisée en global involontairement et modifiée apres
ca vaut le coup que tu t’y mette ne serait-ce que pour etre capable de contribuer à un projet coffee et en lire, ensuite, a toi de voir si tu l’utilise toi meme a la place de JS, ca depend surtout du type de projet -> projet solo ou en team, projet de type software ou librairie
daweedco
@daweedco
Aug 21 2014 11:57
ok bah je vais m'y mettre c'est cool merci de l'info
et donc tu travail chez free
Manfred Touron
@moul
Aug 21 2014 11:57
je considere mes projets comme etant suffisament simple pour les faire en coffee, si je devais faire une lib ultra optimisée etc, je le ferais en js, mais dans mon cas, je prefere aller vite et optimiser apres si le besoin s’en fait resentir, sinon c’est de l’early optimization et souvent une perte de temps
daweedco
@daweedco
Aug 21 2014 11:57
tu dois etre avec un ami a moi qui est en stage la
Manfred Touron
@moul
Aug 21 2014 12:11
moul/node-leboncoin@b11b223 -> ici, je manipule l’html avec cheerio qui me donne un pseudo-equivalent de jquery, du copu je peux construire une liste
daweedco
@daweedco
Aug 21 2014 12:16
trop bien! tu m'as grave avance
merci beaucoup !
Manfred Touron
@moul
Aug 21 2014 12:30
moul/node-leboncoin@2e04ca1 -> je parse tout ce qu’il y a à parser sur la page de listing, now, si on veut plus d’infos faut que je code la partie annonce
pour l’instant on a :
{ href: 'http://www.leboncoin.fr/locations/696559187.htm?ca=11_s',
  title: 'Garage rue lord kitchener Le Havre',
  date: [ 'Aujourd\'hui', '14:11' ],
  location: 'Le Havre / Seine-Maritime',
  price: '80 E',
  image: undefined }
{ href: 'http://www.leboncoin.fr/locations/696514990.htm?ca=11_s',
  title: 'Bâtiment entrepôt / Stockage',
  date: [ 'Aujourd\'hui', '11:43' ],
  location: 'Perriers-sur-Andelle / Eure',
  price: '525 E',
  image: 'http://193.164.197.60/thumbs/032/032421037612191.jpg' }
{ href: 'http://www.leboncoin.fr/locations/696507984.htm?ca=11_s',
  title: 'Box fermé pour voiture',
  date: [ 'Aujourd\'hui', '11:22' ],
  location: 'Le Havre / Seine-Maritime',
  price: '75 E',
  image: undefined }
{ href: 'http://www.leboncoin.fr/locations/696478129.htm?ca=11_s',
  title: 'Garage centre ville le havre a louer',
  date: [ 'Aujourd\'hui', '09:52' ],
  location: 'Le Havre / Seine-Maritime',
  price: '70 E',
  image: undefined }
{ href: 'http://www.leboncoin.fr/locations/696472868.htm?ca=11_s',
  title: 'Garage 24 m2 place du vieux marche',
  date: [ 'Aujourd\'hui', '09:38' ],
  location: 'Rouen / Seine-Maritime',
  price: '150 E',
  image: 'http://193.164.197.30/thumbs/033/033421032753435.jpg' }
Manfred Touron
@moul
Aug 21 2014 13:34
Voila, ça parse aussi les pages de résultat (regarde l’exemple)
ça donne ça:
{ href: 'http://www.leboncoin.fr/locations/695830101.htm?ca=11_s',
  title: 'CharmantF2 et ses parkings',
  date: [ 'Aujourd\'hui', '15:10' ],
  location: 'Sotteville-l�s-Rouen / Seine-Maritime',
  price: '580',
  image: 'http://193.164.197.50/thumbs/014/014419034261853.jpg' }
{ 'Loyer mensuel': '580',
  Ville: 'Sotteville-l�s-Rouen',
  'Code postal': '76300',
  'Type de bien': 'Appartement',
  'Pi�ces': '2',
  'Meubl� / Non meubl�': 'Non meubl�',
  Surface: '40 m2',
  GES: 'E (de 36 à 55)',
  'Classe �nergie': 'E (de 231 à 330)',
  thumbs:
   [ 'http://193.164.196.60/thumbs/014/014419034261853.jpg',
     'http://193.164.196.30/thumbs/016/016419030382535.jpg',
     'http://193.164.196.50/thumbs/010/010419037228823.jpg' ],
  description: 'Charmant 2 pi�ces d�co soign�e et ses 2 places de parkings dans petite r�sidence calme, ensoleill� traversant Est Ouest, proximit� station de m�tro Garibaldi 10 minutes centre ville Rouen , 10 minutes Facult� INSA Madrillet., tous commerces et march�. Cuisine ind�pendante �quip� de placards et hotte , pi�ce � vivre grands rangements, chambre avec placards salle de bain avec baignoire .Eau chaude et chauffage individuel �lectrique. Possibilit� de partager une cave.’ }
daweedco
@daweedco
Aug 21 2014 14:34
Merci vraiment c'est ce que j'avais besoin
par contre je vois pas comment tu as reussi a optenir le dernier resultat
j’ai lancé exactement cet exemple et ca m’a donné le resultat au dessus
daweedco
@daweedco
Aug 21 2014 14:37
ok top et ou est ce que tu limite les results a 2?
ah non pardon
c'est bon
Manfred Touron
@moul
Aug 21 2014 14:42
j’ai limite le resultat a 1, mais je fais 2 prints
un print de ce que j’ai via la search, et un print de ce que j’ai via l'item
daweedco
@daweedco
Aug 21 2014 14:43
ouai j'ai compris
et si je veux faire tous les resultats et pas les limiter a 1
faut que je change la fonction search.perform
daweedco
@daweedco
Aug 21 2014 14:43
c'est ca ?
Manfred Touron
@moul
Aug 21 2014 14:43
regarde le commentaire
oups, il est a l’envers le commentaire :D
voila
recharge la page
daweedco
@daweedco
Aug 21 2014 14:45
bah je l'ai commenter
mais ca me donne le meme resultat
Manfred Touron
@moul
Aug 21 2014 14:46
tu le lance comment le test ?
daweedco
@daweedco
Aug 21 2014 14:47
coffee search_......
Manfred Touron
@moul
Aug 21 2014 14:48
bizare, moi j’ai ça:
{ href: 'http://www.leboncoin.fr/locations/696584994.htm?ca=11_s',
  title: 'GARAGE HARFLEUR centre',
  date: [ 'Aujourd\'hui', '15:21' ],
  location: 'Le Havre / Seine-Maritime',
  price: '79 €',
  image: 'http://193.164.196.30/thumbs/039/039421034560848.jpg' }
{ href: 'http://www.leboncoin.fr/locations/695830101.htm?ca=11_s',
  title: 'CharmantF2 et ses parkings',
  date: [ 'Aujourd\'hui', '15:10' ],
  location: 'Sotteville-l�s-Rouen / Seine-Maritime',
  price: '580 €',
  image: 'http://193.164.197.50/thumbs/014/014419034261853.jpg' }
{ href: 'http://www.leboncoin.fr/locations/696514990.htm?ca=11_s',
  title: 'Bâtiment entrepôt / Stockage',
  date: [ 'Aujourd\'hui', '11:43' ],
  location: 'Perriers-sur-Andelle / Eure',
  price: '525 €',
  image: 'http://193.164.197.60/thumbs/032/032421037612191.jpg' }
{ href: 'http://www.leboncoin.fr/locations/696472868.htm?ca=11_s',
  title: 'Garage 24 m2 place du vieux marche',
  date: [ 'Aujourd\'hui', '09:38' ],
  location: 'Rouen / Seine-Maritime',
  price: '150 €',
  image: 'http://193.164.197.30/thumbs/033/033421032753435.jpg' }
{ href: 'http://www.leboncoin.fr/locations/696464535.htm?ca=11_s',
  title: 'Maison jumelée',
  date: [ 'Aujourd\'hui', '09:06' ],
  location: 'Forges-les-Eaux / Seine-Maritime',
  price: '540 €',
  image: 'http://193.164.196.30/thumbs/032/032421037949448.jpg' }
{ href: 'http://www.leboncoin.fr/locations/696399361.htm?ca=11_s',
  title: 'Garage fermé',
  date: [ 'Hier', '22:45' ],
  location: 'Rouen / Seine-Maritime',
  price: '66 €',
  image: 'http://193.164.196.30/thumbs/026/026420031524576.jpg' }
{ href: 'http://www.leboncoin.fr/locations/694898199.htm?ca=11_s',
  title: 'Maison à Sotteville les Rouen ',
  date: [ 'Hier', '22:31' ],
  location: 'Rouen / Seine-Maritime',
  price: '500 €',
  image: 'http://193.164.197.60/thumbs/981/981416036334015.jpg' }
{ href: 'http://www.leboncoin.fr/locations/692772570.htm?ca=11_s',
  title: 'Entrepot/atelier/garage',
  date: [ 'Hier', '21:31' ],
  location: 'Vandrimare / Eure',
  price: '600 €',
  image: 'http://193.164.196.50/thumbs/920/920410031570098.jpg' }
{ href: 'http://www.leboncoin.fr/locations/696329163.htm?ca=11_s',
  title: 'Appt 30 m2 coeur de rouen',
  date: [ 'Hier', '19:30' ],
  location: 'Rouen / Seine-Maritime',
  price: '420 €',
  image: 'http://193.164.196.50/thumbs/025/025420033681962.jpg' }
{ href: 'http://www.leboncoin.fr/locations/696289687.htm?ca=11_s',
  title: 'Garage',
  date: [ 'Hier', '18:12' ],
  location: 'Le Havre / Seine-Maritime',
  price: '75 €',
  image: 'http://193.164.197.50/thumbs/022/022420033926813.jpg' }
{ href: 'http://www.leboncoin.fr/locations/696286437.htm?ca=11_s',
  title: 'Charmante maisonnette 45m² proche LISIEUX',
  date: [ 'Hier', '18:06' ],
  location: 'Thiberville / Eure',
  price: '600 €',
  image: 'http://193.164.196.60/thumbs/020/020420039897286.jpg' }
{ href: 'http://www.leboncoin.fr/locations/691438038.htm?ca=11_s',
  title: 'Pavillon 4 pièces - BEAUBEC LA ROSIERE',
  date: [ 'Hier', '17:27' ],
  location: 'Beaubec-la-Rosi�re / Seine-Maritime',
  price: '538 €',
  image: 'http://193.164.196.40/thumbs/885/885406037294585.jpg' }
{ href: 'http://www.leboncoin.fr/locations/696210485.htm?ca=11_s',
  title: 'Garage fermé Ingouville',
  date: [ 'Hier', '15:22' ],
  location: 'Sainte-Adresse / Seine-Maritime',
  price: '70 €',
  image: 'http://193.164.196.50/thumbs/025/025420031875898.jpg' }
{ href: 'http://www.leboncoin.fr/locations/696181624.htm?ca=11_s',
  title: 'Maison F4 proximité port de plaisance',
  date: [ 'Hier', '14:07' ],
  location: 'Le Tr�port / Seine-Maritime',
  price: '550 €',
  image: 'http://193.164.197.50/thumbs/023/023420030774445.jpg' }
{ href: 'http://www.leboncoin.fr/locations/696180708.htm?ca=11_s',
  title: 'Garage pour voiture quartier Aplemont, le Havre',
  date: [ 'Hier', '14:04' ],
  location: 'Le Havre / Seine-Maritime',
  price: '100 €',
  image: 'http://193.164.196.40/thumbs/015/015419038411281.jpg' }
{ href: 'http://www.leboncoin.fr/locations/696110905.htm?ca=11_s',
  title: 'Garage à la Vaupalière’,
This message was deleted
et encore, ca continue apres
daweedco
@daweedco
Aug 21 2014 14:48
bah c'est exactement ce qu'il me faut
attend je refais un clone
ok c'est bon je sais pas ce que j'avais fait
merci beaucoup de ton aide vraiment
Manfred Touron
@moul
Aug 21 2014 14:57
:)
daweedco
@daweedco
Aug 21 2014 21:31
Les nu
Je comprend pas comment tu as reussi a avoir le .fig avec le numeros
parceque l'adresse du lien c'est juste du javascript
.gif