EPGExport Plugin

  • Hi!


    Anbei das versprochene EPG Export Plugin.


    Damit kann mal alles was an EPG auf Eurer Dreambox vorhanden ist im XMLTV Format in ein /etc/epgexport directory exportieren. Wobei man auch andere Zielverzeichnisse im Plugin auswählen kann, diese werden aber immer auf /etc/epgexport verlinked, damit man nicht lange nach den File suchen muss.


    Default ist /var/volatile also ein tmpfs, womit die Files nach einem reboot natürlich weg sind, was aber ja nicht stört weil man sie ja jedezeit wieder generieren kann.

    Mit Gelb im Plugin kann man einen expliziten Export anstoßen und auch die Compression abdrehen, damit man beim Testen den Inhalt der Files leichter kontrollieren kann, sonst ist xz Compresion immer an.

    Man kann im Plugin auch irgend eines seiner Bouqets für das Exportieren auswählen, Default ist das Favouriten Bouquet, es werde aber alle anderen die auf der Box existieren auch zur Auswahl angeboten,. Theoretisch kann man man sich also auch ein eigenes EPG Export Bouquet machen, wo man genau die Sender reinmacht von denen man EPG exiportieren will.


    Man kann die maximal Zeit die der EPG in die Zukunft exportiert werden soll auch einstellen (maximimum sind 30 Tage, Default 5), sowie (falls vorhanden) auch wie viele Tage von veraltetem EPG man auch gleich mit exportieren will.


    Nachdem das Plugin auch das Webinterface vom DreamOS erweitert (oder alternativ sein eigenes mitbringt auf einem anderen Port) um die exportieren Files wie von einem normalen XMLTV Server zu Laden, kann man auch einstellen ob bei so einer Anfrage immer die EPG Files neu erstellt werden sollen, oder ob man eine gewisse Anzahl von Stunden altes EPG als ausreichend betracht, dann wird nur das vorhandene übers WebIf raus geschickt aber kein neues generiert. Gesteuert wird das über die LastUpdate.txt Datei, die auch bei normalen XMLTV Servern steuert, ob EPG als noch nicht veraltet akzeptiert wird. Hier triggert dann ein zu alter Timestamp das die Files neu erstellt werden.


    Zu Debug Zwecken gibt es auch eine Einstellung die xz Compression der Fles abzustellen, wobei übers WebIF werden (egal was da eingestellt ist) immer xzc files geschickt, die Einstellung greift eigentlich also nur für das Manuelle Exportieren auf Gelb im EPGExport Plugin.


    Nachdem ein ziemlich Wildwuchs an XMLTV Channel ids existiert, habe ich ein Paar der Möglichkeiten als Einstellung ins Plugin gemacht, Standard ist einfach der Kanalname. Falls diese Möglichkeiten für Channel IDs Euch nicht ausreichen, dann kann man ins /etc/epgexport directory auch eine custom.channels.xml kopieren (am Besten von einem echten XMLTV Server im Netz holen), dann werden die Channel ids beim Exportieren von dort genommen, womit man dann auch komplett kompatiblele Channel IDs zu einem Feed machen. kann indem man sich das jeweilige *.channels file runterladet und entsprechend auf custom umbenennt.


    Womit wir zu den Feed Einstellungen des Plugins kommen, wenn man den Lade Feed auf ja stellt und das EPGImport Plugin installiert ist, dann wird beim Sichern der Einstellungen ein epgexport.sources.xml Fim /etc/epgimport directory erstellt und man kann im EPG Import Plugin den jeweiligen EPGExport Feed auswählen. Am Server geht das auch (also laden von sich selbst mit eigener IP Adresse), sinnvoller ist dieser Teil des Plugins aber um ein sources file auf den Clients zu erstellen, das dann zur Master Dreambox deutet, von der man mit EPGImport das vom EPGExport Plugin erstellte EPG laden will. Wobei man natürlich das epgexport.sources.xml file auch von Hand auf die Clients verteilen kann und dort nur EPGImport installieren.


    Und ja damit bracht dann nur mehr eine Box wirklich von den XMLTV Servern im Netz runter laden und für alles an EPG für die anderen Boxen im Haushalt kann man dann eben von dieser Box mittels EPGExport exportieren und laden lassen.


    Ich hoffe die lange Erklärung reicht erstmals aus damit ihr das Teil ausgiebig testen könnt und die hoffentlich nicht zu zahlreichen Crashes melden könnt, damit ich sie fixen kann.


    Viel Spaß mit dem EPGExport Plugin ;)

    LG

    gutemine

  • Ah, so hast du das schöne und nicht so schöne Wetter genutzt, bekomme ich also etwas Neues zum Testen, wenn ich das richtig verstanden habe :)

    Viele Grüße
    Jürgen


    "Kaum macht man es richtig, .... schon geht es!"

  • Der Hundeliebhaber hat sich ja vor Kurzem bei unseren Holländischen Freunden beschwert, dass es immer weniger Support gibt, für das Grabben von Webseiten, um den EPG fürs XMLTV zu extrahieren.


    Die VUnderboxen sitzen wahrscheinlich immer noch auf Ihren Feed Servern um dort Bandbreite zu sparen.


    Letztendlich hängt das Problem Kodi oder den Plexserver mit dem EPG der Box zu füttern, eigentlich auch damit zusammem.


    Und die Lösung die epg.db über FTP zu sharen so wie wir es im EPGdbBackup probiert haben gefällt mir eigentlich auch nicht wirklich, weil es so 'retro' ist.

    Wobei das eines der Learnings vom EPGdbBackup war, das bei sowas komplexem und sensiblem wie dem EPG ich mehr Zeit reinstecken muss.


    Aber ich denke es wird euch gefallen, du kannst damit z.B. eine Box zum xmltv Server machen und alle anderen boxen laden mit EPGImport dann von dort.


    Oder du kannst es benutzen EPG eines exotischen SAT den du empfängst und andere nur streamen können für diese zu exportieren, etc.


    Wobei euch sicher noch mehr Anwendungsfälle einfallen werden:)

    Bad mood, bad manners, bad Plugins, you have been warned :whistling:

  • bei mir gibt es keine exotischen Satpositionen, nur 19.2 und 13.0, aber bei der 1. Funktion bin ich wohl dabei.

    Ich lasse mich überraschen und das Wetter soll ja auch nicht so prinkelnd werden ;)

    Viele Grüße
    Jürgen


    "Kaum macht man es richtig, .... schon geht es!"

  • Das ist auch eher etwas für die Kunden des Hundeliebhabers, wozu soll er sich die Arbeit machen irgendwelche arabischen, asiatischen oder afrikanischen Websites nach EPG abzusuchen, wenn wer der das ständig guckt den EPG vom SAT ziehen und als xmltv exportieren kann. Ist dann wie EPGshare, aber eben über das offene xmltv Format, so dass man es mit bestehemdem EPGImport saugen kann oder eben alles damit füttern das es versteht.

    Bad mood, bad manners, bad Plugins, you have been warned :whistling:

  • gutemine ,es knallt wenn man bei EPG Auswahl etwas anderes als Favoriten einstellen möchte,also entweder ok drückt oder <> um sich was anderes aus zu suchen.


  • Gut dann bitte mit der 0.9 weitertesten. Damit man wenn man wirklich XMLTV Server spielen will nicht das ganze WebIF aufmachen muss ist da jetzt auch die Möglichkeit drinnen das EPG Webinterface auf ein eigenes mit eigenem Port umzuschalten oder dieses ganz zu deaktivieren falls das wer nicht möchte.


    Und das Problem mit Crash bei der Bouquet Auswahl ist jetzt hoffentlich auch gefixed.


    Bitte weiter testen ...


    LG

    gutemine

    Bad mood, bad manners, bad Plugins, you have been warned :whistling:

  • gutemine ,so richtig verstehe ich das noch nicht ,bei EPG Auswahl knallt es jetzt nicht mehr ,aber was soll da gewählt werden?

    Sind das die Bouquets die man hat und mit in die Datei können wenn man möchte? Weil hier geht einfach nix anzuwählen egal was ich hier drücke es bleibt immer Favoriten stehen .

    Ich hab aber wie gesagt mehr Bouquets und auch eingeschalten unter Anpassen das man diese nutzen kann.

    Beim drücken auf Herunterladen wird hier bei deinem Plugin dann nur der EPG von dem Favoriten Bouquet und den eingestellten Tagen geladen.(also 14 Sender und für 14 Tage halt 1995 EPG Einträge )

  • wenn du nicht mehrere Buquets enabelt hast und solche auch angelegt wird da auch nur Favouriten zum auswählen sein.


    Und ja von allen Sendern diesem Bouquets wird dann der EPG in ein xml file exportiert.


    Ich weis schon dass manche Leute exzessiv Bouqets nutzen und dann vielleicht auch von mehreren davon auf den EPG exportieren wollen, aber soweit bin ich noch nicht sowas einzubauen, erstmal muss der Rest funktionieren und wie schon in der Einleitung geschrieben kann man zur Not auch ein Bouqet für den EPG Export machen wo man alle Sender reinmacht für die man EPG exportieren will.

    Bad mood, bad manners, bad Plugins, you have been warned :whistling:

  • bei mir ist das Verzeichnis .../epgexport/ immer leer, egal wo es liegt, unter welchen Umständen soll darin gespeichert werden? Bei gibt es auch nur Favoriten und keine weitere Auswahl.

    Viele Grüße
    Jürgen


    "Kaum macht man es richtig, .... schon geht es!"

  • poste mir mal den output von:

    Code
    1. ls -1 /etc/enigma2/*.tv


    Ich lese dir Bouqet Namen zu Sicherheit direkt von dort und die Sonderzeichen wie / oder : werden da anders abgespeichert.


    Sobald ich weis wie das bei dir aussieht baue ich es gerne ein ;)

    Und es müssen die Sender auch EPG haben sonst wird auch nix exportiert, aber ich nehme an das ist nicht Euer Problem

    Bad mood, bad manners, bad Plugins, you have been warned :whistling:

  • bei mir kommt folgendes ...


  • Code
    1. root@dm920:~# ls -1 /etc/enigma2/*.tv
    2. /etc/enigma2/bouquets.tv
    3. /etc/enigma2/userbouquet.dbe00.tv
    4. /etc/enigma2/userbouquet.dbe02.tv
    5. /etc/enigma2/userbouquet.dbe03.tv
    6. /etc/enigma2/userbouquet.dbe05.tv
    7. /etc/enigma2/userbouquet.dbe06.tv
    8. /etc/enigma2/userbouquet.dbe0a.tv
    9. /etc/enigma2/userbouquet.favourites.tv
    10. root@dm920:~#


    so sieht es bei mir aus

  • so sieht es bei mir aus.

    Viele Grüße
    Jürgen


    "Kaum macht man es richtig, .... schon geht es!"

  • sehr seltsam. bei mir steht da immer *__tv_.tv und nicht *.tv


    Verwendet Ihr irgendwelche Settings wo diese Bouquets mitkommen ?


    Aber das ist nicht schwer anzupassen, Geduld ...


    EDIT: Bitte mal mit der 0.10 testen ob jetzt ALLE eure Bouquets im EPGExport Plugin zur Auswahl stehen und ob auf Gelb dann auch die Anzahl der Sender angezeigt wird für die EPG aus dem Bouquet exportiert wird,

    Bad mood, bad manners, bad Plugins, you have been warned :whistling:

  • Also ich muss mir da keine Settings von anderen ziehen ,hab ich so auch noch nie gebraucht ,ich habe einen Sendersuchlauf gemacht ,die Settings in Dreamboxedit geladen und dann meine Bouquets erstellt so wie ich sie haben möchte und dann zurück gespielt .

    Das mache ich seit anbeginn so (sogar damals zu Humax ,Dbox Zeiten habe ich das so gemacht und nicht von Fremden die Settings geladen die e nicht so geordnet sind wie ich das möchte.


    PS. mit der v10 geht das wählen jetzt hier Aber er verschluckt Bouquets (es werden von 7 angelegten nur 4 angezeigt in deinem Plugin)

  • Ich versuche die picons kompatibel zu den alten Image zu halten, weil theoretisch müsste das Plugin auch im OE2.0 und den Open* Images funktionieren, also bleiben wir man bei einem epgexport.png in 100x40


    Ich denke DreamboxEDIT macht dann die Namen so, um Kompatibel zu sein. aber wie gesagt mit der 0.10 sollte das kein Problem mehr sein.


    Und er sollte jetzt eigentlich keine Bouqtest mehr vergessen, alles was in /etc/enigma2 liebt und userboutet.*.tv heisst wird jetzt der Liste hnzugefügt


    Code
    1. for bouquet in os.listdir("/etc/enigma2"):
    2. if bouquet.startswith("userbouquet.") and bouquet.endswith(".tv"):
    3. f=open("/etc/enigma2/%s" % bouquet,"r")
    4. name=f.readline()
    5. f.close()
    6. name=name.replace("#NAME ","").replace(" (TV)","").rstrip()
    7. bouquet_options.append(( name.lower(),name))

    Bad mood, bad manners, bad Plugins, you have been warned :whistling:

  • Im OE 2.0 war das halt noch 100x40 also moss man mit den Details sparsamer sein damit es nicht unscharf wird.


    PS: In der 0.10 sind auch /media/usb und /media/sdcard als mgliche Lokation für die epgexport files unterstützt, ABER dann muss auf den Pfaden auch was gemountet sein, sonst wird es gar nicht zur Auswahl angezeigt.

    Bad mood, bad manners, bad Plugins, you have been warned :whistling:

  • gutemine das mit dem verschlucken ist ja bei deiner v10 ;) daher er verschluckt Bouquets jetzt ,mir werden von 7 nur 4 in deinem Plugin angezeigt.


    Und 100x40 sind die neuen Pluginbrowser icons schon ne Weile nicht mehr weil die einfach damals so für HD und SD waren und sie jetzt 200x80 sind damit diese auch bei höerer Auflösung gut passen (was DreamOS halt anständig skaliert je nach skin angabe und die anderen halt nicht können)

    100x40 ist Altbacken ;)

    Und ja es gibt direkt im Image welche die svg sind ,die hab ich ja gemacht und Reichi hat das eingabeut (zb. das Mediascanner Icon )

    Ansonsten gibt es alle das GP4 als svg und ich habe hier auch alle in svg da die ich damals und heute noch für gemacht hatte.

    Ich hatte dann davon nur png erstellt damit nicht alle anderen Plugins da geändert werden mussten .

  • Sag das nicht mir sondern den Open* Images, aber egal, ich bin halt auch altbacken ;)


    Kannst du mir deine Bouqet files sichern und dann das tar.gz posten oder per PM schicken:


    Code
    1. cd /etc/enigma2
    2. tar -cvzf /tmp/zombi.tar.gz *.tv


    Weil ich verstehe nicht wie das passieren kann das Bouquets nicht gelistet werden können ;(


    Aber dafür ist ja das Testen da, um solche Sachen zu fixen....

    Bad mood, bad manners, bad Plugins, you have been warned :whistling:

  • Ok ,hab ich gemacht ,hab da aber nix zu verbergen das sind ganz einfache und normale Pakete rein mit Sendern von Astra .

    Ich brauch wie gesagt so ein streaming zeugs usw. nicht in der Kanalliste das schauen wir auf anderen Wegen :)

  • Ich habs gesehen, aber außer das durch das os.listdir die Reihenfolge nicht alphabetisch ist und damit einige Favoriten mit der nach Links und einige mit der nach Rechts Taste auszuwählen waren habe ich nichts gefunden.

    Bad mood, bad manners, bad Plugins, you have been warned :whistling:

  • Danke, dann testet mal ob auch brav EPG von allen Euren Bouquets extrahiert wird:/


    Das neue logo png wird dann auch in der nächsten Version drinnen sein:thumbup:


    Hat schon wer mit EPGImport eine zweite box angebunden ?


    Bad mood, bad manners, bad Plugins, you have been warned :whistling: