XLMTV EPG Importer (Rytec EPG) for DreamOS

  • Hi!


    Nachden es Leute gibt die im Original Thread im DMM Board ein Problem haben den jeweils aktuellen Kit am Ende des Threads zu finden ...


    Mehr an Infos zum Original Plugin findet Ihr bei unseren holländischen **** im XMLTV Bereich Ihres Boards und im entsprechende Wiki.

    Falls wer noch das alte XMLTV 2.3 Plugin installiert hat dieses vor der Installation des aktuellen EPGImport Plugins zu deinstallieren, z.B. in Telnet mit:


    Code
    1. dpkg -r enigma2-plugin-extensions-xmltvimport


    Die aktuelle Version benötig damit auch die aktuellen in *.xz gepackten EPG source files geladen und verarbeitet werden können ein entsprechendes source file mit xml.xz Quellen drinnen, sowie die python-lzma kits welche ich auch angehängt habe.

    Zur installation einfach alle nötigen *.deb auf /tmp FTPen und dann in telnet das eingeben:
    For installation simply FTP the *.deb to /tmp and enter in telnet:


    Code
    1. opkg update
    2. dpkg -i /tmp/*.deb
    3. apt-get -f install



    Ihr werder auch ein *sources.xml auf /etc/epgimport benötigen, aber da ein Forum Moderator und PL* Core® member seine Bandbreite für Nicht-Dreamboxen schonen will, habe ich beschlossen das *.deb zu entfernen wo es drinnen ist - helft Euch also selbst.


    Yu will also need a *sources.xml at /etc/epgimport, but as a Forum Moderator and PL*® Core member wants to save his bandwith for non-Dreamboxes, I decided to remove the *.deb containing it - therefore help yourself.


    LG
    gutemine

  • Ich habe mal mit dem ganzen Input aus dem Thread im DMM Board die save check routine noch weiter optimiert


    Bitte testet ob diese Version stabiler laded.


    LG
    gutemine

    Einmal Rupert und Zurück

    Dieser Beitrag wurde bereits 2 Mal editiert, zuletzt von gutemine ()

  • Ich habe jetzt mal die ipkg Version auf meiner DM800se probiert (mir gefällt dass die EPG Daten im Gegensatz zu CrossEPG im Hintergrund geladen werden können).


    Leider kommt es zu einem Crash nachdem die Events geladen wurden.

  • Priobier es mit einen OpenPl* Image aus, da sind die nötigen Patches drinnen, beim OE2.0 das ja closed source ist weis ich NICHT, ob das Original ipk nicht genau das gleiche Problem hat. Nur CrossEPG wurde ans OE 2.0 angepasstu nd liegt ja deswegen bei OoZooN auf dem Feed. Ob diese Anpassungen je ins xmltv Plugin eingeflossen sind weis ich nicht, schon weil das ja von unseren Holländischen **** maintained wird habe ich da aber arge Zweifel was deren Motivation angeht.


    Nicht umsonst habe ich fürs OE2.2 nicht lange gefragt ...

    Einmal Rupert und Zurück

    Dieser Beitrag wurde bereits 2 Mal editiert, zuletzt von gutemine ()

  • Na ja das sind wahrscheinlich nur 2-3 codezeilen damit es auch mit OE2.0 funktionieren würde, aber wenn keiner die nötigen Inputs liefert wird es wohl so bleiben wie es ist. :huh:


    Ich kann das zwar machen aber nachdem ich OE 2.0 nicht mehr unterstütze, bin ich nicht motiviert das ganz ohne Eure Hilfe zu machen - sprich wenn Ihr es haben wollt müsst Ihr auch dafür was tun ...


    Beim OE 2.2 war das was anderes 8)


    EDIT: Ich habe es schnell mal mit dem aktuellen plugin unserer holländischen ***** ausprobiert - crashed genauso in OE 2.0 -wollen wie sie jetzt ärgern oder nicht, aber wie schon gesagt testen müsstet es IHR ?!

    Einmal Rupert und Zurück

    Dieser Beitrag wurde bereits 2 Mal editiert, zuletzt von gutemine ()

  • Dann gedulde Dich bis ich eine Version machen kann die hoffentlich nicht crashed, muss erst rausfinden wo das Verbogen wurde und warum es beim Laden crashed.

    Einmal Rupert und Zurück

    Dieser Beitrag wurde bereits 1 Mal editiert, zuletzt von gutemine ()

  • Ausserdem habe ich mir den Crash jetzt angesehen - auf den Open* Images wird die epg.dat gar nicht mehr verwendet sondern einfach mit der event import Funktion importiert - NUR der Patch ist nicht im OE2.0 drinnen sondern nur der load patch.


    Und der wiederum brauch ein sauberes epg.dat. Nachdem aber scheinbar das aktuelle epgdat.py keine saubere produziert crashed es halt.


    Daher kann ich da aber was das OE2.0 angeht euch nicht wirklich helfen.


    Das CrossEPG verwendet halt seinen eigenen code um die epg.dat zu schreiben bevor mit dem load patch geladen wird und der code ist halt weniger buggy, als das was in purem python in der epgdat.py steht.


    Nachdem sie das aber nicht mehr brauchen, werden sie es wohl auch kaum mehr fixen und ich habe wenig Lust das zu debuggen, schon weil mit das epg.dat Format fremd ist.


    Also wird es wohl dabei bleiben das es nur mit Images funktioniert wo der Event Load patch drinnen ist, was beim closed source enigma2 aus dem OE2.0 eben nicht der Fall ist, bei den Open* aber schon - nur sind die eben kein OE2.0


    LG
    gutemine

  • hei hei,...


    xmltv-epg per rytec scheint wohl `abgeschlossen` :) ,... ich weiss nicht woran es liegt, ich bekomme keinerlei epgs`weder für meine norweger, noch "D", austria &schweiz noch für `erotic`,... es werden immer "0" events geladen,... s.pic


    was ich mir vorstellen könnte, was mein fehler ist,... im oe2.0 musste man die provider (37 stk.) vor einem epg-download aktualisieren, dann lief die geschichte ohne probleme,... nur diese option finde ich nicht im plugin,... --oder-- liegt der fehler ganz woanders ? ich gehe so vor: epg-import-plugin öffnen --> in den sources (bl. taste) gewünschtes land mit `ok`-taste bestätigen --> mit grüne taste aus "sources" raus (oder eine seite zurück im plugin) --> dann gelbe taste (manual) und mit ja den epg-import bestätigen --> ergebnis = 0 events


    was mach ich falsch ? gruss aus norge


    luigi13


    edit: "open-tv"-plugin für die engländer funzt einwandfrei,... gute arbeit junger mann ;)

  • Mit dem aktuellen Update der 7080HD crasht das Plugin beim laden/importieren.
    Log schreibt es leider mit 0bytes


    vom mitsniffen

  • luigi13


    Ausser das du mir nicht den enigma2 output postest damit ich sehe WARUM es nicht funktioniert machst du eigentlich nichts falsch :D Und in dem rytec*.deb file sollten eigentlich eine aktuelle Sourceliste drinnen sein, wenn du eine aktuellere findest kann ich aber auch gerne ein neues machen. Du findest die letzten immer bei unseren Holländischen **** in der Rytec XMLTV EPG Ecke in einem thread, dort kann man sie auch selber holen und von hand ersetzen wie dort beschrieben, weil ich mach das sicher nicht dort ständig nachzusehen.


    Und ich muss erst die neuen load/save Finshed status checks einbauen damit es mit dem aktuellen enigma2 wieder sauber funktioniert, Geduld - DMM hat das ja erst eingechecked.

    Einmal Rupert und Zurück

    Dieser Beitrag wurde bereits 2 Mal editiert, zuletzt von gutemine ()

  • Ich wollte ja auch nur erklären das man sich die sources.xml auch selber aktualisieren kann, du musst nur bei den Holländern den Rytec sources for XMLTV import and Crossepg Thread suchen, dort sind die aktuellen angehängt.


    Aber wir haben ja jemanden der versprochen hat Doku zu schreiben :rolleyes:


    Und ich muss eben wissen muss was schief geht, sonst kommen wir nicht weiter.

  • hmm,... ja,... sry,... an den log habe ich nicht gedacht,... dazu muss ich sagen,.. "ich finde ihn nicht --> nirgends" hab grad nochmal die norweger downgeloadet --> das gleiche wie gestern,... "0" events,... also,... wo ist er, der log ? dann habe ich oder wurde nicht angelegt: auf der hdd den ordner /media/hdd/epgimport --> muss ich den selber anlegen?


    in /etc/enigma2 habe ich unter epgimport.conf "nur" diese zeile --> €}qUsourcesq]qURytec Norway XMLTVqas. ,... sonst nix eine epg.db finde ich dort auch,... grösse 100mb,... wohl von dem open-tv-scan der engländer gestern,... bin `gerne` beteit zu helfen, wenn du mir nur `klipp und klar` sagst "was" du von meinen *testläufen* haben musst,...
    und vor allem "wo" es zu finden ist,... ;) --gruss--


    luigi13

  • der enigma2 output ist kein log file sondern passiert im Memory und wie man das ausliest findest du in diversen Anleitungen und Wikis


    Hier der Auszug z.B. vom Merlin Wki:


    Manchmal wird auch kein Crashlog erstellt dann kann man mitloggen.


    Es wird über einen Ringpuffer permanent geloggt und kann jeder Zeit ausgegeben werden (ohne Enigma2 vorher stoppen zu müssen):


    journalctl -f -u enigma2
    STRG-C beendet den Vorgang


    In eine Datei loggen (in deisem Beispiel liegt dann die Datei in /tmp als enigma2.log):


    journalctl -f -u enigma2 >> /tmp/enigma2.log


    Und dann machst du was Probleme macht und postest den Output.


    Wenn dir das zu kompliziert ist kannst du auch wie früher enigma2 stoppen nur halt jetzt mit systemctl stop enigma2 und eniga2 in telnet eingeben und den output von dort loggen und posten (putty macht das z.B. ganz einfach eine Session zu protokollieren)

  • hei,...


    ich nahm den befehl --> journalctl -f -u enigma2 >> /tmp/enigma2.log und der hat das gemacht was er sollte und was du brauchst,... (hoffe ich),... log anbei :)


    luigi13

  • Du könntest dein Log auch selber lesen:

    Code
    1. download failed: [Failure instance: Traceback: <type 'exceptions.IOError'>: [Errno 28] No space left on device:
    2. '/media/usb/epgimport.gz'


    Nachdem ich ja das Standard XMLTV Plugin verwende werde, die mounts abgesucht, um die downloads dort zwischenzuspeichern. Es wird zwar gechecked ob genug Platz da ist, nicht aber ob beschreibbar, wenn du also z.B. einen stick nur read omly mountest oder dessen Filesystem corrupt ist passiert .... das.

    Einmal Rupert und Zurück

    Dieser Beitrag wurde bereits 1 Mal editiert, zuletzt von gutemine ()

  • hmm,... ok,... ich habe weder auf /media/usb (keine ahnung wer oder was diesen pfad angelegt hat) noch auf /media/hdd den ordner "epgimport",... doofe frage: wie und wo bekomme ich den pfad für das epgimport-plugin geändert? (auf /media/hdd) im plugin sehe ich nichts davon,... ?(


    das dbackup-plugin hat ja den "backup"-ordner richtig auf der hdd angelegt,... warum das hier nicht der fall ist,... KA. ich hatte einen usb-stick "in" der box als /media/usb gemountet, wo auch meine picons abgelegt sind, evtl. sollte man das so nicht machen? --> KA.


    luigi13

  • Nochmals das Plugin ist nicht von mir ... das es idiotisch ist so runterzuladen weis ich selber ... aber ich will das nicht auch noch fixen/einstellbar machen


    Im code wird einfach das abgesucht:


    path = bigStorage(9000000, '/tmp', '/media/cf', '/media/usb', '/media/hdd')


    Wenn was 9MB frei hat wird es verwendet und es wird darauf kein directory angelegt sondern das file als epgimport.gz dort direkt auf den mountpoint hin runtergeladen und dort ausgepackt - nur schreiben muss er halt dorthin können ...


    Und er checked /proc/mounts du musst also auf /media/usb was gemountet haben - nur bei picons ist es gal ob read only gemountet


    Poste mal cat /proc/mounts dann kann ich dir sagen ob ich recht habe.

  • wird wohl so sein,... ich erinnere mich, da hatte ich damals schon mal theater mit,... wenn ich "read only" auf dem stick habe,... sagste mir dann wie ich "write" auch noch draufbekomme ist es mit neu initialisieren getan ? ext.3 oder 4 (die picons hätte ich schnell wieder drauf)


    luigi13

  • laut dem output ist der schon rw gemountet, kann also nur sein das der nicht beschreibbar ist weil filesystem kaputt, oder ähnliches. Im Speichergerätemanager einfach initialisieren und neu einhängen, nur sind dann die picons futsch.


    Wenn du ihn woanders einhängst würde er sogar vom Plugin ignoriert.


    Aber ich bin am überlegen ob ich nicht die Reihenfolge im Plugin umdrehe - da auf /tmp immer genug Platz ist gelebt das dann die blöde suchreihenfolge die wir im DreamOS nicht brauchen aus.

  • ich danke dir tausend-fach,... tusen takk :) 
    das wäre, glaube ich, eine gute idee, die reihenfolge im plugin zu ändern,... aus dem grunde, den du nanntest ;)


    luigi13

  • kannst du die EPGImport.py aus dem Anhang über die vorhandene drüber kopieren, da ist jetzt ein kleiner test drinnen um zu sehen ob schreibbar, die sollte dann deinen nicht beschreibbaren stick ignorieren ... hoffentlich.


    Bitte testen und berichten, dann kommt das so in die nächste Version

    Dateien

    • EPGImport.py

      (9,1 kB, 408 Mal heruntergeladen, zuletzt: )

    Einmal Rupert und Zurück

  • hei,...


    schau mal was das plugin gemacht hat,... ich habe den stick "nur" neu initialisiert,... und,... voila es ist schon ein kreuz mit diesen räudigen sticks,... :) soll ich deine "py" trotzdem noch ersetzen, obwohl mein stick nun in ordnung ist? oder ist das dann nun eher sinnfrei? wenn ja,... wo sitzt die "py" genau,...
    tusen tusen takk für vernünftigen, aussagekräftigen epg,... :thumbsup: --gruss--


    luigi13

  • Macht nichts, du kannst trotzdem testen indem du den stick von Hand read only remountest:


    mount -o remount,ro /media/usb


    das file ins in /usr/lib/enigma2/python/Plugins/Extensions/EPGImporter zu finden & ersetzen.


    Aber Hauptsache es geht jetzt ...

  • so,...
    hab den stick `remountet` (nach deinem befehl),... danach extra mal versucht den epg für die erotic-abteilung downzuloaden,... ergebnis 0 events,... dann die py getauscht,... nochmals die `erotics` downgeloadet --> s.pic download erfolgreich,... ich möchte nochmal anmerken, dass bisher weder auf `usb` noch auf `hdd` der ordner *epgimport* angelegt wurde


    luigi13

  • NOCHMALS das ist KEIN Ordner sondern ein epgimport.gz FILE das nur temporär während dem Download existiert und dann wieder gelöscht wird.


    Danke fürs Testen, durch den check spring er dann auf eine andere Download location und es scheint damit sauberer zu funktionieren, dann mache ich das halt so in die nächste Version.


    Aber das ist jetzt schon der 4. Fix in ihrem Plugin ...

  • die SATA sticks sind als Harddisk ersatz gedacht das Caching funktioniert da teilweise schneller, aber ja bei so einem kleinen File sollte das egal sein - und was meine ich mit kleiner Partition ... eine die nicht viel grösser ist als die epg.db mal 2, weil beim speichern auch das journal rein passen muss.


    Wenn deine epg.db also maximal 100MB gross ist würden 256MB reichen - dann ist der Filesystem Overhead und die mount und umountzeit minimal für den möglichen Performancegewinn beim schreiben.


    NUR ausprobieren müsst Ihr das schon selber ...


    Wie verlagere ich das denn auf den USB Stick? Was muss ich wo ändern? Habe als Leihe in ein paar *.py reingeschaut.
    Muss ich in der epgdata_importer die settingspath ändern von settingspath = '/etc/enigma2' auf z.B. settingspath = '/media/usb'
    Falls ich da falsch liege, dann bitte um Hilfe ?( 
    Danke im Voraus.

    Samsung - UE55 ES 8090


    Fritz!Box 7490 + Synology DS214play - 2x WD red 4tb


    DM7080HD RGB ssc/t + DM520 sc <-- 28E;23E;19E;13E;KD

  • EPGdbBackup Plugin installieren, da gibt es auch die Einstellung um die epg.db Original Path Location zu ändern


    Du musst also gar nichts von Hand machen, ausser auf /media/usb deinen stick zu mounten, dann taucht er dort als mögliche Location auf.


    Also Hände weg von irgendwelchen Sourcen :D

  • Dann versuche ich das morgen mal und partitioniere meinen USB-Stick wo momentan die Picons und die VideoDB drauf ist. Mal gucken ob das was bringt. Ist leider nur ein USB 2.0.


    edit: Habe schon mal testweise versucht die .db auf den USB zu verschieben.
    Bekomme leider einen GS. Ist das der gleiche Fehler wie bei Viril ??

    Dateien

    Samsung - UE55 ES 8090


    Fritz!Box 7490 + Synology DS214play - 2x WD red 4tb


    DM7080HD RGB ssc/t + DM520 sc <-- 28E;23E;19E;13E;KD

  • dann würde ich den aber nehmen und erstmals die Partitionierung lassen wie es ist, das ist dann auch schon ziemlich egal, langsamer wird es kaum werden wenn er nicht sehr gross ist. Klein ist bei solchen sachen besser, nicht umsonst hat DMM die 4GB Flash auch mit 1GB für die Root Partitioniert

  • Aber wir haben ja jemanden der versprochen hat Doku zu schreiben :rolleyes:

    hab schon im kopf ersten ansatz, habe aber im moment auch ein kleines crash projekt auf die arbeit,
    da habe ich halt zu wenig zeit um alles sofort zu machen ;)

  • keinen Stress, ich habe ständig schlechtes Gewissen und kann damit auch prima umgehen 8)


    Und im Moment crashed alles was epg.db angeht im aktuellen enigma2 - muss DMM erst wieder reparieren, vorher geht erstmal KEIN EPG laden oder den Freitag Update nicht machen.

  • Nachdem es im OpenEPG scheinbar funktioniert, habe ich die aktuelle epgdb.py welche die neuen load/save_finished Events verwendet die uns DMM spendiert hat eben auch in eine r14 des EPGImport Plugins gemacht.


    Wenn das stabil funktioniert und Ihr keine Bugs mehr finde mache ich dann eine 2.2 des Plugins draus und wir wären hier erstmal soweit fertig, also strengt Euch gefälligst an, ich will mich um das EPG Zeug nicht ewig kümmern müssen.


    LG
    gutemine

  • hei hei,...


    bei mir wird neuerdings gar nichts mehr als epg angezeigt,... habe deine neueste version von heute drauf (r14) jetzt grade habe ich mal "erotic" gesammelt, wird auch scheinbar erfolgreich gemacht,... nur nichts wird angezeigt, log anbei davon,... ich habe die möglichkeit für 0.8°w den gesamten epg mit dem sender motors-tv zu sammeln, für 1 woche, jedoch `ohne` detaillierte angaben im epg,... nur dieser verschwindet genauso schnell wie er auf der box zu sehen war,...


    was ich gestern gemacht habe, da dieses dort auch schon so war,... ich hatte die epg.db und die epg-sicherung, die ich auf /media/hdd hatte gelöscht,... eine neue (epg.db) wird auch heute angelegt, hat immer die gleiche grösse 104.054.784 ,... bekomm` ich das wieder i.-wie gekittet?
    --gruss--


    luigi13

  • Kannst du dein log nicht bitte selber anschauen ...


    das steht 100x epg.db ist malformatted = deine epg.db ist kaputt.


    Benutze endlich das EPGdbBackup Plugin und lege damit auf Blau eine neue LEERE Datenbank an und dann lade sie mit Gelb und mach einen enigma2 restart und dann lass das EPGImport wieder laufen und dann sollte es auch funktionieren.


    Das was du irgendwo hast und löscht ist dem enigma2 sowas von egal, wahrscheinlich ist die echte epg.db auf /etc/enigma2.db und wird immer wieder corrupt geladen und rausgeschrieben - BIS du Ihm eben eine saubere ladest.


    Wozu glaubt Ihr wohl habe ich die ganzen Funktionen ins EPG.dbBackup Plugin reingemacht wie z.B, die epg.db zu checken, eine leere zu machen,...

    Einmal Rupert und Zurück

    Dieser Beitrag wurde bereits 1 Mal editiert, zuletzt von gutemine ()

  • hmm,... ja,.... habs so gemacht wie du sagst mit dem EPGdbBackup Plugin,... bei druck auf blau kamen 2 min. die zahnräder, dann das was in pic1 zu sehen ist,... anlegen konnte ich da nichts (evtl. war sie dann ja doch schon angelegt),.. wie dem auch sei,... hab dann mit gelber taste zurückgespielt,... dann kam pic2,... gui-neustart,... danach neu suchen lassen,... --> nix epg --> nirgends


    wäre nett, wenn du mir sagen würdest, ob es nach meinem versuch nun eigentlich laufen müsste,...


    luigi13