Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Activity
    Raphaël
    @raph:matrix.circl.lu
    [m]
    oublie ca, c'est parti
    ce script est uniquement là si tu es dans mon cas, avec 100.000+ captures dans un répertoire
    dans ton cas, tu peux le lancer si tu veux => poetry run tools/change_captures_dir.py, mais toutes les nouvelles captures vont être dans le bon format
    Fafner [_KeyZee_]
    @F_kZ__twitter
    par contre un peu le bordel mon répertoire scrapped maintneant
    Raphaël
    @raph:matrix.circl.lu
    [m]
    et les anciennes vont être grduellement déplacées
    Fafner [_KeyZee_]
    @F_kZ__twitter
    J'ai un folder 2021/08 et j'ai aussi d'anciennes captures
    Raphaël
    @raph:matrix.circl.lu
    [m]
    pareil, en théorie, c'est pas un soucis
    Fafner [_KeyZee_]
    @F_kZ__twitter
    ok
    Raphaël
    @raph:matrix.circl.lu
    [m]
    j'utilise glob("**/index") et glob("**/uuid")
    Fafner [_KeyZee_]
    @F_kZ__twitter
    et les discarded_captures ?
    Raphaël
    @raph:matrix.circl.lu
    [m]
    discarded captures, c'est des captures cassées
    (pareil, en theorie)
    captures et des répertoires vides dans discarded_captures: https://github.com/Lookyloo/lookyloo/blob/main/bin/archiver.py#L62
    Fafner [_KeyZee_]
    @F_kZ__twitter
    Thx :)
    Raphaël
    @raph:matrix.circl.lu
    [m]
    j'ai encore un petit trucs de cleanup à faire en local, mais rien de dramatique
    Raphaël
    @raph:matrix.circl.lu
    [m]
    https://github.com/Lookyloo/lookyloo/releases/tag/v1.8.0
    Fafner [_KeyZee_]
    @F_kZ__twitter
    En prod \o/
    Raphaël
    @raph:matrix.circl.lu
    [m]
    yay
    en théorie, pratiquement aucune différence
    si ce n'est moins de charge sur le server
    Fafner [_KeyZee_]
    @F_kZ__twitter
    Plop, j'ai une petite demande, pouvoir relancer une capture déjà faite, mais en changeant le UA/proxy/etc
    2 replies
    Raphaël
    @raph:matrix.circl.lu
    [m]
    hm, ok
    on prend tous les parametres de la capture X , les balance dans la page de capture et laisse changer des parametres
    ca devrait pouvoir se faire
    Fafner [_KeyZee_]
    @F_kZ__twitter
    et je suis rentré en zone viable :p
    Raphaël
    @raph:matrix.circl.lu
    [m]
    wohoo
    Raphaël
    @raph:matrix.circl.lu
    [m]
    ok, donc ce que vous voulez, c'est juste avoir l'URL
    potentiellement, le referer
    les cookies, pareil, je pourais re-passer les cookies depuis la capture source
    mais pas les originaux
    Fafner [_KeyZee_]
    @F_kZ__twitter
    yep, et nous laisser de mettre d'autres valeurs:)
    Raphaël
    @raph:matrix.circl.lu
    [m]
    ok, ca devrait être jouable :)
    Fafner [_KeyZee_]
    @F_kZ__twitter
    juste que la on a des cas, ou on est filtré en mode à rebours
    genre on peut visitr la page X fois et après faut chnger d'IP/fuornisseur
    Et pareil des fois on veut tester pour une url d'une entité hors france
    Raphaël
    @raph:matrix.circl.lu
    [m]
    je vois
    Fafner [_KeyZee_]
    @F_kZ__twitter
    et donc sur une analyse avoir un bouton resubmit, ça peut nous simplifier que de devoir recopier l'url etc
    Raphaël
    @raph:matrix.circl.lu
    [m]
    yep
    et je vois aussi un intéret pour des captures ou tu veux la rejouter, mais avec des cookies
    et un referer
    Fafner [_KeyZee_]
    @F_kZ__twitter
    yep
    c'est prêt pour ce soir ? :]]]]]]]]]]]
    Raphaël
    @raph:matrix.circl.lu
    [m]
    lol
    non
    je vias le faire proprement
    demain, surement
    Fafner [_KeyZee_]
    @F_kZ__twitter
    ok
    adulau
    @adulau:matrix.circl.lu
    [m]
    https://claroty.com/2022/01/10/blog-research-exploiting-url-parsing-confusion/ "Exploiting URL Parsing Confusion" Not sure how LookyLoo could be affected
    https://claroty.com/wp-content/uploads/2022/01/Exploiting-URL-Parsing-Confusion.pdf
    Raphaël
    @raph:matrix.circl.lu
    [m]
    lookyloo doesn't do any parsing
    so I don't think so (?)