Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Activity
  • Jan 19 12:16

    rix1337 on v.6.4.4

    (compare)

  • Jan 19 12:16

    rix1337 on dev

    (compare)

  • Jan 19 12:16

    rix1337 on master

    v.6.4.4 - Increase resilience a… Merge branch 'master' into dev v.6.4.4 - New Site: FX * workin… and 5 more (compare)

  • Jan 19 12:16
    rix1337 closed #374
  • Jan 19 12:15
    rix1337 synchronize #374
  • Jan 19 12:15

    rix1337 on dev

    v.6.4.4 - Fix cnl timer * reset… (compare)

  • Jan 19 12:08
    rix1337 synchronize #374
  • Jan 19 12:08

    rix1337 on dev

    v.6.4.4 - New Site: FX * workin… (compare)

  • Jan 19 11:41
    rix1337 synchronize #374
  • Jan 19 11:41

    rix1337 on dev

    v.6.4.4 - New Site: FX * rename… (compare)

  • Jan 19 11:18
    rix1337 synchronize #374
  • Jan 19 11:18

    rix1337 on dev

    v.6.4.4 - New Site: FX * workin… (compare)

  • Jan 18 20:50
    rix1337 synchronize #374
  • Jan 18 20:50

    rix1337 on dev

    v.6.4.4 - New Site: FX * workin… (compare)

  • Jan 18 19:40

    rix1337 on master

    Update 30-install (compare)

  • Jan 18 19:25
    rix1337 synchronize #374
  • Jan 18 19:25

    rix1337 on dev

    Merge pull request #370 from ri… Merge branch 'master' into dev Merge pull request #371 from ri… and 4 more (compare)

  • Jan 18 19:25
    rix1337 opened #374
  • Jan 18 19:06

    rix1337 on dev

    v.6.4.4 - Increase resilience a… (compare)

  • Jan 13 19:23

    rix1337 on dev

    (compare)

DaLeberkasPepi
@DaLeberkasPepi
ein Frohes Neues euch allen auch von mir
hat noch wer anderes das Problem dass das manuelle hinzufügen von links nicht mehr wirklich funktioniert (ich hab aber auch das Problem das der jd2 Docker von jlesage iwie momentan immer sehr langsam läuft).
Außerdem hätte ich damit verbunden gleich noch einen Feature Request: wäre es möglich einen Button hinzu zu fügen mit dem man das warten auf ein clicknload Paket stoppen kann?
jankete
@jankete
Gesundes Neues auch von mir. Ich hatte heute das Phänomen, dass nachdem eine Episode erkannt, heruntergeladen und auch erfolgreich entpackt worden ist, der Crawler mir per Push Bullet noch mitgeteilt hat, dass das "Paket verschwunden" sei. Stimmt schon, war ja auch fertig 😉
9Mad-Max5
@9Mad-Max5
Wo wird den ombi als funktion gecallet und die Daten in den sql db eingetragen?
9Mad-Max5
@9Mad-Max5
@rix1337 für was braucht man eigentlich die tmdb und tvdb acounts? Die daten werden doch bei dem recieve von ombi richtig empfangen. Oder geht es hier um das übersetzten der Titel?
DaLeberkasPepi
@DaLeberkasPepi
achja @rix1337 ein vorschlag als QoL change wäre das die fehlgeschlagenen click and load einträge in der ersten seite gleich kommen, und in dem zug auch gleich die möglichkeit das man die einträge pro seite anpassen kann (warum hast du das eigentlich eingebaut? Wegen Performance oder so etwas? Weil ich persönlich finde das sogar einen Rückschritt.
RiX
@rix1337

Hallo,
Frohes neues euch allen.

Ich bekomme seit der 6.3.6 immer wieder diesen Fehler:

AttributeError: 'NoneType' object has no attribute 'get'

Ist in 6.3.7 behoben

@9Mad-Max5

hat noch wer anderes das Problem dass das manuelle hinzufügen von links nicht mehr wirklich funktioniert (ich hab aber auch das Problem das der jd2 Docker von jlesage iwie momentan immer sehr langsam läuft).
Außerdem hätte ich damit verbunden gleich noch einen Feature Request: wäre es möglich einen Button hinzu zu fügen mit dem man das warten auf ein clicknload Paket stoppen kann?

Gesundes Neues!

Versuche ich schon länger einzubauen,.. ist vermutlich prinzipiell nicht möglich (aufgrund der Funktionsweise der CnL-Automatik. -> Die friert das gesamte Webinterface-Backend ein, bis Sie fertig ist).. ich versuchs trotzdem nochmal zu lösen

@DaLeberKasPepi

Gesundes Neues auch von mir. Ich hatte heute das Phänomen, dass nachdem eine Episode erkannt, heruntergeladen und auch erfolgreich entpackt worden ist, der Crawler mir per Push Bullet noch mitgeteilt hat, dass das "Paket verschwunden" sei. Stimmt schon, war ja auch fertig 😉

Taucht bei mir auch ab und zu auf.. konnte aber noch nicht reproduzieren, warum es passiert. Zum Hintergrund: Ich habe die Prüfung, ob der Linkcrawler noch läuft, verschärft. Diese läuft jetzt stabil so, wie erwartet -> wenn ein zweiter Hoster gerade entschlüsselt wird, wartet der Crawler bis die Links ankommen. Vorher hat der Crawler dann einfach das Paket mit den bekannten Hostern gestartet und der zweithoster blieb ungenutzt zurück

@jankete

Wo wird den ombi als funktion gecallet und die Daten in den sql db eingetragen?

Ombi wird in jedem Suchlauf (alle X Minuten) aufgerufen:
https://github.com/rix1337/RSScrawler/blob/9906682d3a922cf37a774bb0124893b0eafc1795/rsscrawler/crawler.py#L113

RiX
@rix1337
Ob Filme/Serien/Staffeln oder Episoden schon den RSScrawler "durchlaufen" haben, wird dann aus der Datenbank gelesen bzw. dort gespeichert.

@rix1337 für was braucht man eigentlich die tmdb und tvdb acounts? Die daten werden doch bei dem recieve von ombi richtig empfangen. Oder geht es hier um das übersetzten der Titel?

Die beiden API-Schlüssel sind zwingend für die Übersetzung der Titel notwendig

Da der RSScrawler Open Source ist und jeweils bei euch lokal läuft, müsst ihr die API-Schlüssel selbst eintragen. Dort meinen mit auszuliefern sorgt nur für Probleme.

Das ganze nicht über die offizielle API zu lösen (wie bei den Warez-Blogs, wenn die IMDb verwendet wird, ist sehr, sehr unangenehm zu programmieren)

achja @rix1337 ein vorschlag als QoL change wäre das die fehlgeschlagenen click and load einträge in der ersten seite gleich kommen, und in dem zug auch gleich die möglichkeit das man die einträge pro seite anpassen kann (warum hast du das eigentlich eingebaut? Wegen Performance oder so etwas? Weil ich persönlich finde das sogar einen Rückschritt.

Die Reihenfolge zu ändern wird schwierig, aber ich kann problemlos eine Option für die Anzahl der Pakete, ab der die MyJD-Anzeige eine neue Seite erzeugt, einbauen. Mich stört die Anzeige bei 20+ Paketen im JDownloader schon länger

Ich finde das optisch wesentlich ansprechender, außerdem muss man so nicht scrollen wenn man MyJD, die Websuche oder den Log verwendet und drei Pakete passen Mobil und im Desktop üblicherweise auf eine Bildschirmhöhe.

Danke schonmal für euer Feedback und einen guten Start ins neue Jahr
RiX
@rix1337
@/all Version 6.3.7 ist draußen, inklusive der versprochenen Fixes.

@DaLeberkasPepi ich habe nochmal genauer geprüft, ob ein frühzeitiger Abbruch der Automatik möglich ist. Das wird definitiv nichts mit dem aktuellen Webinterface. Flask und gevent in Kombination sind super stabil aber kaum auf Windows und Linux zu Multithreading zu überreden. D.h. solange die Automatik läuft, kann kein weiterer Befehl an den RSScrawler abgesendet werden, was den Abbruch unmöglich macht.

Habe mir gunicorn, flask ohne gevent und ein paar Codebeispiele angeschaut, aber an irgendetwas scheitert es immer.

Daher gibt es jetzt die Option, den Timeout der Automatik zu halbieren,... wenn dann mal was schiefläuft muss man nur 30 Sekunden warten, bis es weitergeht.
Kann dann zu Problemen führen, wenn man länger als 30 Sekunden braucht um alle Links hinzuzufügen
Und es kann jetzt ein Wert zwischen 3 und 30 gewählt werden, für die Pagination der JDownloader Pakete. Setz den einfach hoch, wenn dich die Seitenumbrüche nerven.
HA wurde jetzt endgültig rausgeschmissen. Die Seite ist seit Wochen kaum noch befüllt worden uns seit Januar tot.
RiX
@rix1337
Außerdem @DaLeberkasPepi guter Hinweis, was die Verschlüsselten Pakete angeht. Ich habe die Reihenfolge umgekehrt. Entschlüsselte/Laufende Pakete kommen jetzt immer zuletzt, dadurch kommt man schneller an die, wo noch Links entschlüsselt werden müssen
RiX
@rix1337
@/all wieder nicht vergessen euren Browsercache zu leeren. Es haben sich ein paar Javascript-Funktionen verändert
9Mad-Max5
@9Mad-Max5
Hi @rix1337 Könnte man nicht bei dem Füttern der Ombi DB noch einen Key hinzufügen mit available oder nicht?
Bzw wie wird das weiterverarbeitet könnte man das wieder aufrufen oder wird hier alles gestrippt und nur die Serien in die SJ_Serien übergeben?
Könnte man mit OMBI das nicht in den regex pfad zuordnen?
RiX
@rix1337

Hm ich verstehe die Frage nicht..
Du kannst der DB (wie in deinem Fork) nicht einfach noch einen Wert übergeben,.. die Akzeptiert nur "Schlüssel" + "Wert", weil es dort nur zwei Spalten gibt.

Die Ombi Suche wird pro Film/Serie einmalig ausgeführt und das bestmögliche Release pro Film/Staffel/Episode zum derzeitigen Zeitpunkt, bei derzeitigen Einstellungen wird hinzugefügt (entsprechend der Einstellungen im RSScrawler).
Findet die Suche kein Release für den Film, landet der deutsche Titel auf der Suchliste für Warez-Blogs.
Der Serientitel landet immer auf der Suchliste für Episoden und abgeschlossene Staffeln

Das passiert dann vollkommen unabhängig von Ombi, deswegen ist "available" an der Stelle irrelevant.
Was man in der Ombi-Funktion (nicht in der späteren RSScrawler-Suche!) berücksichtigen könnte ist, dass Ombi Filme, Staffeln und Episoden überspringt, die schon als available markiert wurden, damit diese nicht aktiv gesucht werden oder auf den Listen landen
9Mad-Max5
@9Mad-Max5
Das mit dem Überspringen ist eine sehr gute idee.
9Mad-Max5
@9Mad-Max5
Ok habe gerade gesehen das man rssdb.py sehr stark anpassen muss wenn man ein weiteres value do der DB übergeben will.
RiX
@rix1337
Jo, die prüfung würde ich nicht in der db machen, da sich der status "available" ja im ombi ändert, nicht im crawler
Also einfach im Code die Prüfung einbauen und dann nicht weitermachen, wenn Film oder Folge verfügbar sind
9Mad-Max5
@9Mad-Max5
Was würde passieren wenn man in die warez liste die Staffeln mit aufnimmt?
Also Serie;S05?
RiX
@rix1337
dann findet er nichts.
für staffeln solltest du die staffelliste nutzen
die nimmt blogs + sj
und da nur den serientitel reinschreiben.
für fixe staffeln musst du regex verwenden
9Mad-Max5
@9Mad-Max5

Aber wenn ich eine Serie habe:
Staffel 1-3 available --> werden übersprungen
Staffel 4 nicht available und verfügbar --> wird gesucht
Staffel 5 nicht available und nicht verfügbar --> wird mit regex in die Liste eingefügt Serien.*.S05

Diese kann dann bei Verfügbarkeit geladen werden.

RiX
@rix1337

Nein, wenn du etwas auf die Suchliste schreibst, dann wird es geladen.. egal ob staffel 1, 100, oder 20. Der Crawler schaut immer nur auf die Releases der letzten Tage, die auf den genannten Seiten auftauchen. Erfahrungsgemäß liegt da höchstens die aktuelle Staffel rum. Und da kann alles mögliche auftauchen.
Einzige Ausnahme ist die Regex Liste. Aber die befüllt der Crawler nie automatisch.

Ausnahmen sind:
a) Die Websuche
b) Ombi

Bei beiden wird tatsächlich in die Vergangenheit gesucht, was so da ist.

Und bei Ombi ist die Idee tatsächlich gut, verfügbare Staffeln zu skippen. Das baue ich die nächsten Wochen gerne ein :)

9Mad-Max5
@9Mad-Max5

Verstehst du was mein Plan ist, das der crawler eben automatisiert in dem Beispiel bei Verfügbarkeit der Staffel 5 der Serie auf den Seiten sie eben auch dazupackt.
Aber eben auch wie im Moment gerade, das falls etwas altes neu auf den Seiten erscheint etwa weil Staffel 1 und 2 nicht mehr verfügbar waren, diese auch nachgezogen werden.
Das ist leider nur mit einem überspringen nicht möglich.

Fehlt allerdings nur eine Folge in der Historie, werden alle Staffeln nochmal neu herangezogen.

Hast du hierzu auch eine Idee also das gezielt staffeln herangezogen werden?
RiX
@rix1337

@/all Version 6.4.1 ist draußen.

Das Update ersetzt cfscrape durch cloudscraper - ein Plugin das zwingend notwendig ist um Cloudflare geschützte Seiten auszulesen, die gerade auf Alarmmodus fahren (betrifft alle Warez-Blogs!). HS lässt sich bspw. mit der 6.3.7 derzeit nicht auslesen.

Damit das Update funktioniert muss das neue Docker-Image heruntergeladen werden. Ein einfacher Neustart reicht nicht aus: Das alte wird kein automatisches Update durchführen können. Durch die Änderung fällt immerhin nodejs als Voraussetzung weg, was Speicherplatz sparen sollte.

Außerdem ist die Änderung drin @9Mad-Max5. Die Ombi-Suche überspringt jetzt jeden Film, jede Staffel und jede Episode, die als Verfügbar markiert wurde.

RiX
@rix1337
In 6.4.2 wurden alle Web-Frameworks geupdatet und die Crawldauer ins Webinterface übernommen. Viel Spaß damit

Löscht unbedingt den Browsercache

Ladet unbedingt das aktuelle Docker-Image herunter (Neustart reicht nicht)

9Mad-Max5
@9Mad-Max5
Sehr cool das, das mit dem Überspringen drin ist.
Aber wie ist das mit gescheiterten Titeln. Wie bekommt man das gehändelt?
Hast du noch irgendein value frei was man benutzen könnte?
RiX
@rix1337
Gescheiterte landen auf der Suchliste des crawlers und muss deswegen nicht erneut von Ombi abgefragt werden. Sobald also in den feeds etwas passendes auftaucht wird der Kram durch den crawler hinzugefügt.
9Mad-Max5
@9Mad-Max5
Wenn bei den Serien etwas altes im feed auftauchen würde. Dann würde das auch geladen werden oder?
RiX
@rix1337
Natürlich. Es sei denn der exakte Releasetitel wurde
bereits über den Crawler (bspw per Ombi erstsuche) hinzugefügt