Atalante Project: ubidump - UBIFS image extract utility

  • Das ist ein MIPSEL Binary das wird dir auf einem PC nicht laufen - die PC Version(en) sind immer noch NP, da schon die ipks für die Dreamboxen kaum getestet werden.


    Und ja man kann das ipk auf der Dreambox installieren ... und auch auf anderen receivern und Boxen mit MIPSEL CPU da es mit Architektur all gepackt ist.

  • Moin!


    ...und das control file greift auch aus dem DEBIAN Ordner?


    Leider dauert es noch, bis ich auf den Boxen testen kann. Ich sollte es dennoch mittlerweile wissen, dass es nicht funktionieren konnte. Aber mangels anderer Möglichkeiten habe ich wohl nicht recht nachgedacht.

  • So wie es aussieht wird es zuerst zusätzlich zur Dreambox Version nur die Windows Version geben.


    Erstens weil dort der Bedarf und wahrscheinlich auch das Interesse es zu testen größer sind.


    Zweitens weil ich sowieso am PC unter Linux entwickle und daher weis das und wie gut die Linux PC Version funktioniert.


    Drittens weil sich niemand gemeldet hat der eine grafische GUI unter Linux dafür bauen würde.


    PS: das debinan-binary ist ein leeres dummy File das die Paketverwaltung sich wünscht, nicht ich.

  • Auf der ersten Seite ist jetzt das versprochene ubidump 0.0.25 das zusammen mit dem BA 10.0.5 zum testen des nfi Image extrahieren genutzt werden kann. Einfach beides zusammen installieren und dann eifrig Images damit auspacken und schauen ob es bootet.


    Der Code zum Extrahieren sollte jetzt auch schon weitestgehend fehlerfrei sein, ich arbeite jetzt eigentlich nur mehr an Sachen wie der CLI, Performance,... um das Handling zu verbessern.


    Damit sind wir eigentlich schon ziemlich nahe an einem Release Candidate aber ich kann nichts releasen das nicht ausgiebig getestet wurde, schon weil sonst das Shareware Modell wenig Sinn macht.


    Und mit ausgiebig meine ich auch AUSGIEBIG, da ist nicht nur schnell mal installieren und ein Image auspacken und sich den Output ansehen, das Image muss dann auch gebootet werden und stabil laufen, erst dann können wir sicher sein das auch die PC Versionen sauber extrahieren.


    Also strengt Euch an. Und wenn Ihr eine Linux PC Version haben wollt muss sich auch dort wer finden der ein GUI dazu macht, so schwer ist das nicht einen simplen file choose button, einen Directory choose button und einen Extract und List button zu coden und ein paar Toggles für die verschiedenen CLI Optionen die dann aufgerufen werden und ein List Widget das den Output anzeigt. Wenn ich das selber mache ist es in 1 Tag fertig, aber das könnt ihr genauso.


    LG
    gutemine

  • Wir müssen für die Windows Version auch schön langsam das Key Management testen. Wenn jemand interessiert ist das aktuelle Windows binary zu testen bitte hier posten, Ihr bekommt dann per PM das Binary und einen Key um es 30 Tage testen zu können.


    Das ist aber erstmals NUR das Windows Binary, die GUI dazu muss zackmuc erst fertig machen.


    Man kann damit aber auch ohne GUI in der DOS Box am PC alles machen was auch die mipsel Version des binaries von der ersten Seite des Threads kann.


    Der Test ist aber auf 10 Leute limitiert, also nicht zu lange damit warten Euch hier im Thread dafür anzumelden, weil es gilt first come - first serve. Erst für die Releaste Version wird es jeweils einen public key geben mit dem dann jeder es als Shareware für 30 Tage testen kann. Aber auch das will eben vorher getestet werden.


    LG


    gutemine

  • Ich jammer doch gar nicht ,brauch den Driss eh nicht.


    Ich finde es nur komisch wie du die Leute für deine Projekte im Prinzip ausnützt,und dann auch noch verantwortlich machst , :love: wenn es mal nicht so läuft wie du dir das vorstellst.

  • Open Source und Crowd Testing funktioniert aber nur wenn es auch gelebt wird.


    Wenn ich alles ganz allein machen muss explodieren die Aufwände (ubidump stehen wir bereits bei >4 Mannwochen) und keiner kriegt das was er will/braucht.


    Insofern akzeptiere ich auch nur dass dieses Modell nicht (mehr) funktioniert, womit eben ein anderes herangezogen wird. Shareware ist ein bewährtes und akzeptiertes Modell, also wo ist das Problem ?


    ubidump hat auch kein Problem mit der GPL weil es nicht von der GPL unterliegenden Sachen abgeleitet ist, also kann ich darüber entscheiden ob und wie ihr es benutzen dürft.


    Insofern geht es da weniger um das Geld, sondern darum den Leuten bewusst zu machen das sie in diesem Fall eben nicht davon ausgehen können 1 Mannmonat geschenkt zu bekommen.


    Und wie es in der Shareware Beschreibung so schön heisst - es kann jeder dann selbst nach dem Test Entscheiden ob es ihm die Spende wert ist - oder eben nicht.


    Und ich habe auch noch nicht entschieden was die Minimalsumme ist für die man einen Key bekommt ;(


    Jetzt müssen wir überhaupt erstmals ausprobieren ob das technisch und vom Ablauf her funktioniert wie ich mir das vorstelle.


    Und ich nutze niemanden aus, wenn die Aufwände zwischen Euch und mir fair geteilt sind (beim ubidump wären etwa 1:2 möglich gewesen) habe ich kein Problem damit meinen Teil herzuschenken. Und Ihr vergesst immer das ich für einen Tag von mir nicht einen Tag von "dir" brauche, sondern 10 Leute die vielleicht 1h beitragen - und das ist etwas was man ohne bleibenden Schäden machen könnte.

  • Na ja wir wollen mit ubidump ja nicht ins Parlament, aber wenn wir an der 5% Hürde scheitern ist das auch nicht so tolle.


    Und zackmuc kann es schon ausprobieren, ich habe die ganzen reminder Screens für die ersten Test abgedreht, es kommt einfach Popup wo man Key eingibt und dann ist das binary wieder ganz brav bis der Trial vorbei ist

  • Mal was anderes, nachdem das geplante Release Date langsam näher rückt wollte ich mal fragen in welcher Darreichungsform ihr die Pakete gerne hättet?


    Das mipsel Linux ipk mit Architekur all für Dreambox & Co sollte ja bereits hinlänglich bekannt sein. Im Moment plane ich noch ein setup.exe für Windows und für Linux 64 bit am PC rpm und deb Pakete.


    Theoretisch könnte ich zwar auch eine Mac Version machen, aber nachdem ich im Moment keinen habe wo ich es compilieren kann und ich nicht weis wie viel Interesse überhaupt daran bestünde, lassen wir das im Moment noch außen vor. Vor allem wüsste ich nicht wer mir am Mac eine GUI dafür bastelt.


    Insofern wären die genannten 4 Kits erstmal alles was in der ersten releasten Version im Angebot sein wird, oder habt ihn noch weitere Wünsche ?


    Nachdem es ja binary only kits sind müsste ihr damit erstmals auskommen, alles Weitere ist dann vom Spendenaufkommen abhängig.

  • Noch eine Frage hätte ich:


    Schon mal wer einen simplen Install Builder unter Windows verwendet?


    Ich probier gerade mit iexpress rum, weil der im Windows dabei ist und für unsere Zwecke eigentlich ausreicht.


    Aber ich würde ein shellscript brauche welches das ubidump.exe aus dem Temporären Directory in ein ProgrammFiles\ubidump Directory macht und dann noch Shortcuts fürs Start Menu und für den Desktop anlegt.


    Hat vielleicht jemand von Euch sowas fertig rumliegen oder könnte so ein Installer File fürs ubidump unter Windows bauen ?


    Auch hier gilt - wer es für uns macht kriegt natürlich auch einen License key :rolleyes:

  • zackmuc


    Das wäre natürlich fein wenn du auch den installer machen könntest :-)


    OoZooN


    Auf Grund der Erfahrungen aus dem nfidump für den PC habe ich das binary gleich nur statisch gelinked gegen die klibc gemacht. Eigentlich müsste das 64 Bit binary dann auch in einem 32 Bit Linux laufen, weil es werden schon jahrelang keine 32 Bit Intel/AMD CPUs mehr hergestellt. Wenn ich also nur das Paket als 32Bit packen muss ist das kein Problem, nur noch extra als 32 Bit binary mag ich es nicht mehr compilieren. Ich habe schon ewig kein 32 Bit Linux mehr am laufen und müsste mich sonst mit der Live CD quälen. Also falls noch wer ein 32 Bit Linux hat bitte ausprobieren ob das binary trotzdem läuft obwohl es 64 Bit ist.

  • Vielen Dank, ich schaus mir am Abend an.


    Ziel wäre halt bis zum Wochenende eine 0.1 Version für alle unter Windows zu haben, falls noch Fehler drinnen sind werden die wenn viele Leute es benutzen eh erfahrungsgemäß schnell gefunden. Und mit dem Feedback der Windows Version mache ich halt zu Not selbst noch eine Linux GUI, wenn sich wer anderer opfert wäre es mir natürlich lieber :-)


    LG


    gutemine


  • Langsam wirds .. hab dir paar Versionen geschickt .. die letzte ist schon ganz gut ... ist momentan noch ohne Installer aber der ist schnell gemacht... Wenn du das Splashscreen bild hast kannst es mir gerne mailen .. kann ich dann in den Installer und beim Programmstart anzeigen ;)

  • Danke, Ich habs gesehen. Ich glaube in der ersten Version werden wir die User erstmals aber noch nicht mit Splashcreens ärgern, es reicht schon wenn sie damit zurecht kommen den 30 Tage Key beim ersten Starten eingeben.


    De-fakto bringt es eh nichts wenn wir den GUI zu sehr ausfeilen, je nachdem ob es gefällt werden eh noch Änderungswünsche der User kommen und ich fange auch erst mit der X11 Version für Linux an wenn das Interface halbwegs stabils ist und bleibt wie es ist. ich denke ich werde morgen mal eine 0.1 des ubidump binaries machen und das kannst du dann ins grubidump packen das alles zusammen installiert wird. Du hast ja schon key bis Ende September und für die anderen poste ich dann schon noch einen wenn es brauchbar zum Testen geht. Sobald der Fieldtest dann abgeschlossen ist kriegst du permanenten Key, willst du einen Linux key auch haben oder nur Windows ?

  • Na ja, das proggie ist etwas CPu abhängig, je schneller dein Eisen ist desto besser. Das ist der nachteil beim brute force - lasse mal top mitlaufen am PC mit und ohne -c dann siehst du was ich meine. Mein Notebook ist halt nicht mehr das schnellste ...


    Die 0.1 vom ubidump ist aber schon fast fertig, morgen schicke ich es dir um zu sehen ob alles zusammen funktioniert wie es sollte.

  • Nachdem keine Fehler mehr reported wurden habe ich jetzt mit 0.1.0 die erste releaste (!) Version vom ubidump binary auf die erste Seite gemacht.


    Die Windows und Linux binaries sind soweit auch auf dieser nun schon recht stabilen Codebasis fertig. Wenn alles gut geht und zackmuc motiviert ist wird es dann im Laufe des Wochenendes auch eine 0.1.0 für Windows inklusive seinem GUBIDUMP (also dem Grafischen ubidump) geben für die ich Euch dann auch einen Testkey poste der bis Ende September läuft..


    Wie auf der ersten Seite steht wir es einen public kit für Linux am PC erst in der Version 0.2.0 geben wenn sich jemand findet der eine grafische Oberfläche unter Linux dafür baut so wie zackmuc es unter Windows gemacht hat - schließlich sollt ihr auch was beitragen.


    LG
    gutemine

    Einmal Rupert und Zurück

    Dieser Beitrag wurde bereits 1 Mal editiert, zuletzt von gutemine ()

  • Hi !


    Ich hätte noch eine Bitte/Frage:


    Ich habe jetzt noch zusätzlich 1,5 Tage reingebuttert mit pygtk ein gubidump für Linux zu bauen, damit wir auch unter Linux am PC was zum testen haben. Im prinzip sind das eh nur die pygtk Beispiele für unseren fall zusammengestöpselt, aber nachdem ich das noch nie gemacht habe hat es halt auch so lange gedauert ,was ich gerne vermieden hätte, aber ich will nicht schon wieder jammer.


    Ich wollte jetzt mal in die Runde Frage ob sich wer mit dem bauen von *.deb und *.rpm für Linux auskennt, weil solhe kits fürs ubidump als reines binary zu bauen habe ich gerade noch geschafft, aber mit den nötigen python sachen und damit das gubidump.py File in den Menus und am Desktop auftaucht will ich mich nicht auch noch befassen müssen.


    Wenn sich das wer antuen will, kann ich Ihm gerne das gubidump.py und das *.de und *.rpm fürs ubidump voraus schicken damit er euch daraus einen Komplettkit macht. Im Prinzip ist damit bis zum nächsten Wochenende Zeit weil erstmal geplant ist den Windows Kit ausgiebig zu testen.


    Wenn sich dafür keiner findet würde ich erstmal nur das gubidump.py als standalone file posten und ihr müsst Euch dann selber helfen, weil ich würde auch gerne wieder was anderes machen.


    LG
    gutemine

  • Nachdem wir noch ein bisschen im kleinen Kreis getestet haben ist auf der ersten Seite jetzt die Version 0.1.0 vom GUbiDump - dem Grafischen ubidump für Windows.


    Danke nochmals an zackmuc der sich die Arbeit gemacht hat die grafische Oberfläche zu bauen.


    Wie bereits auf der ersten Seite erklärt ist ubidump am PC Shareware. Ihr könnt es gratis testen und gegen eine Spende auf das genannte Konto oder entsprechende Mitarbeit könnt ihr gerne auch einen unbegrenzten Key haben wenn es Euch gefällt.


    Aber jetzt testen wir erstmal bis Ende September ob unter Windows auch alles wunschgemäß funktioniert.


    Bis dahin mache ich auch eine Umfrage wie viel ihr spenden wollt/sollt :-)


    LG
    gutemine

    Einmal Rupert und Zurück

    Dieser Beitrag wurde bereits 4 Mal editiert, zuletzt von gutemine ()

  • Ich habe nicht widerstehen können und musste es mal an meinem Windows Laptop ausprobieren :rolleyes:
    Hab ein Oozoon Backup (erstellt mit dFlash 9.31 default Einstellungen) von meiner neuen 800sev2 zum testen verwendet und es funktioniert super :thumbsup:


    Hab zuerst die default Einstellung belassen, also "verify mode" und "cached mode" und hab damit das Image von .nfi => .ubi gewandelt.
    Danach habe ich "ectract mode" und "list mode" dazugenommen und das komplette Image entpacken lassen, was mir alles entpackte :D


    Scheint ein sehr gutes Tool zu sein, danke an alle die hier mitgewirkt haben :)


    Ich muss es aber als Admin ausführen da das Proggi teilweise abschmiert sonst! Was aber für mich verschmerzlich ist ;)
    Ach ja das Bild am Anfang wird bei mir leider so kurz angezeigt das man es nicht erkennen kann.

  • Danke fürs Testen.


    Ich denke zachmuck wird eure Inputs bis Ende September dann in eine Version 1.1 einarbeiten und dann gibt es auch für die die es behalten wollen permanente keys, abhängig davon was bei der Umfrage rauskommt


    Wie lange braucht bei Euch das auspacken - wenn man genug Memory am PC hat das er das ganze image cachen kann unbedingt immer cache aufgedreht lassen, und verify bringt nur was beim Extrahieren, weil dann werden zusätzlich die Filegrößen gechecked. Bei mir am alten Noteboot sind die üblichen Images beim 2. mal wenn die nötigen DLLs geladen sind in etwa 30 Sekunden extrahiert, wobei das eigentlich sehr langsam ist - die Linux Version am selben PC kann es in 2-3 Sekunden aber die benutzt pread das ich unter Windows mühsam emulieren muss.


    Das ubidump kann aber auch direkt nfi images auspacken - allerdings nur das ubifs Filesystem also die root (deswegen wird gleichzeitig aus dem *nfi ein *.ubi gemacht, dieses wird aber bei extract auch gleich extrahiert).


    /boot ist jffs2 und das kann derzeit nur das nfidump 11 auf den Dreamboxen das den ubidump 1.0 fürs ubifs code embedded hat.


    Es wäre nicht schwer das jffs2 Auspacken auch am PC zu machen, aber das ist GPL code und ich habe wenig Lust auch das mit Brute Force komplett neu zu schreiben damit das ganze Tool nicht der GPL unterliegt.


    Und bitte vergesst nicht beim Abstimmen das es bis jetzt unter Windows KEINE Möglichkeit auf diesem schönen Planeten gab ubifs auszupacken.


    Und ich mache sogar hardlinks und softlinks korrekt - deswegen die Admin Berechtigung übrigens - das hat Microsoft so blöde umgesetzt, und man muss auch in NTFS entpacken, bei FAT geht das nicht :evil:


    PS: Ich könnte also sogar das mkfs.ubifs für Windows patchen das es das wieder unter Windows in ein Linux image packt.

    Einmal Rupert und Zurück

    Dieser Beitrag wurde bereits 3 Mal editiert, zuletzt von gutemine ()

  • Was mir noch aufgefallen ist, das ich ab und an solche wie soll ich sagen "kleine Klötzchen" angezeigt bekomme. Weiß nicht wie diese Dinger heißen 8) Und gutemine ich habe ganz unten eine Fehlermedlung wenn ich gleich von .nfi entpacken lasse, hab dir mal den Log angehängt.


    Edit: nun an meinem Laptop benötige ich zum entpacken ca. nee knappe Minute müsste ich mal die Zeit stoppen :huh:

  • Das ist ein pyo wo die größe nicht stimmt, das ist nicht so schlimm weil sowieso beim booten neu erstellt wird.


    Aber du hast natürlich recht, das sollte auch nicht passieren. Und wenn du ein zweites mal das ubi file extrahierst kommt der fehler nicht ?


    LG
    gutemine

  • gutemine mom ich extrahiere nochmal über zwei Wege :D Bin mir nun selber nciht mehr sicher ob der Fehler da nciht doch auch auftritt! Neen kleinen Moment bitte...


    Edit: Hm... komisch da bekomm ich nun noch mehr Fehler laut Log angezeigt wenn ich als erstes zu .ubi extrahiere dann erst auspacken lasse ?(


    Edit2:


    das entpacken von .nfi => .ubi dauert 2 Sekunden, dabei bekomme ich im Log keine Fehler angezeigt. Die Fehler entstehen erst beim auspacken vom .ubi !

    Dateien

    Dieser Beitrag wurde bereits 1 Mal editiert, zuletzt von wärmflasche ()

  • Schlecht, weil unter Linux kommen die nicht, das ganze Byte Alignment des GNU C Compilers unter Windows hat mich schon mehr als genug Zeit gekostet, aber da müssen wir halt durch, wenigstens sollte der code dann auf jeder Architektur laufen wenn das alles auch unter Windows gefixed ist


    Aber deswegen dürft ihr es ja testen, wenigstens sind die Leute am PC scheinbar mehr motiviert :D

  • Habs gesehen.


    Wie schon gesagt, das sind lösbare Probleme - man kann damit übrigens auch root_cfe_auto.bin von Vunderboxen auspacken, dort hat man das Problem ja nicht das man erst aus dem nfi das ubi image holen muss.


    Und wie gesagt der GUI is noch im Werden und Euer input Willkommen, auch unter Linux bin ich damit noch nicht fertig, dort verwende ich allerdings pygtk womit ihr die GUi dann selbst fixen oder anpassen könnt, weil ich will das nicht auf Dauer machen - hat mir auch 2 Tage gekostet das zu coden was ihr auf dem Screenshot seht.


    Na ja testet mal schön mit verschiedenen Images, und 2 Sekunden ist wirklich flott, da seht ihr mal wie alt mein Notebook ist ;(


    Wenn ich Zeit habe mache ich ein neues ubidump.exe das ist dann schnell getauscht bis alles läuft. Insofern hat der Ansatz GUi und extract getrennt zu halten auch seine Vorteile.

    Einmal Rupert und Zurück

    Dieser Beitrag wurde bereits 2 Mal editiert, zuletzt von gutemine ()

  • Werde mal das Vundernoxen Image des deutschen des deutschen 3 Buchstaben Teams entpacken, aber nun ist erstmal essen angesagt

  • Es ist Euer Spielzeug, und im Moment ist es auch noch gratis zu testen, also Viel Spass - und Mahlzeit natürlich.


    PS: Ich sehe gerade im Setup.exe ist noch die Version 1.1 vom ubidump drinnen, ich verwende im Linux kit schon 0.1.1. Muss ich halt wieder aktuelles Binary für Windows compilieren, weil die Hardlink Fehler aus deinem Log sind schon gefixed.

    Einmal Rupert und Zurück

    Dieser Beitrag wurde bereits 2 Mal editiert, zuletzt von gutemine ()

  • gutemine muss nochmal nachfragen wegen den Vunderboxen Image, ich muss aber dennoch die .nfi dateien davon verwenden oder?
    Da ich die USB Archive von denen zwar entpacken kann, aber mir dabei nur ein leerer Ordner erzeugt wird?!
    Leider entpackt er mir auch die .nfi von denen nicht, getestet mit ultimo original experimental 2.1