Ein Assistent nicht nur zur Umwandlung von VDR-Aufnahmen zu einer DVD
VdrAssistant
Ich will mehr wissen
Lizenz
Planung der verteilten Umgebung und Beispiel-Installation
Einführung
hier zählen keine Einzelkämpfer!
VdrAssistant lebt nicht von der Stärke des Einzelnen, sondern vom nahtlosen Zusammenspiel vieler. Das bedeutet, dass VdrAssistant selbst aus vielen Komponenten besteht, aber auch, dass VdrAssistant darüber hinaus noch viele externe Helfer hat. Erst mit dem richtigen Verständnis für die einzelnen Rollen kann das volle Potential genutzt werden.
Primär wurden alle Komponenten für Linux entwickelt. Dort wo externe Helferlein eingebunden werden, ist ein Linux erforderlich. Die "Kommando-Zentrale", die zentrale Desktop-Anwendung ist als Java-Anwendung portabel - zumindest auf Systemen, die Java unterstützen, bzw. nicht gezielt behindern. Letzteres trifft insbesondere auf Windows Versionen nach XP zu. Deshalb gibt es die Teile der Desktop-Anwendung auch als Web-Anwendung. Natürlich kann nicht die gesamte Funktionalität in der Webanwendung angeboten werden. Nur mal als Beispiel: in der Java-Anwendung lässt sich z.B. ein EPG-Manager auch mit 60.000 Datensätzen flüssig bedienen. Subjektiv kein Unterschied zu einem JobManager mit z.B. 10 Datensätzen. Eine Webanwendung ist bereits mit einigen hundert Datensätzen überfordert und friert regelmäßig ein. Deshalb kann nur die Basis-Funktionalität in der Web-Anwendung angeboten werden. Es sollte jedoch reichen, die Bereiche zu überbrücken, bei denen es unter Windows an der Java-Unterstützung mangelt.
Selbstverständlich können auch alle Komponenten auf einem Rechner installiert werden, aber das soll hier nicht das Thema sein. Dieses Beispiel geht von der maximalen Funktionalität aus, d.h. es kann auch weniger installiert werden (je nach Auswahl).
die Beispiel-Umgebung
besteht aus einem kleinen Heim-Netzwerk (als Domain-Name verwenden wir "beispiel" und das Netzsegment belegt den IP-Bereich 192.168.178.#), mit einer Fritzbox als Switch und Gateway und folgenden Rechnern:
VDR-Daemon - ist ein PIII/500 MHz mit 3 Budgetkarten, der timergesteuert aufwacht und sich nach getaner Arbeit wieder schlafen legt. Zusätzlich ist noch wake-on-lan aktiviert. Dieser Rechner heißt vdrd.beispiel und hat die Adresse 3. Die NAS-Platte wird unter /video0 via nfs eingebunden.
NAS-Server ist ein Intel-Atom mit stromsparendem Raid6 von 6 Festplatten, der 24/7 läuft. Dieser Rechner heißt nas.beispiel und hat die Adresse 2. Das Raid-System (/dev/md0) ist unter /srv/pool0 eingebunden und in /etc/exports eingetragen, d.h. das Raid wird via nfs exportiert.
VDR-Client ist ein AMD Phenom II X4 965, der die Anzeige des VDRs via xineliboutput-Frontend übernimmt. Bei Bedarf wird der VDR-Daemon via wake-on-Lan gestartet. Der VDR-Client ist ebenfalls für wake-on-Lan eingerichtet. Dieser Rechner heißt vdrc.beispiel und hat die Adresse 4. Die NAS-Platte wird unter /media/video/nas eingebunden und /var/lib/video ist ein Link auf /media/video
Desktop ist ein Netbook, welches über WLAN im Netzwerk integriert ist. Dieser Rechner hat den Namen master.beispiel und hat die Adresse 5
Auf allen Rechnern ist openssh-server installiert, damit wir uns bei der Administration der Maschinen leichter tun. Für dieses Beispiel ist auf allen Rechnern der gleiche Standard-Benutzer "musterfrau" eingerichtet.
Da die Anzahl der Rechner in unserem Beispielnetz überschaubar ist, arbeiten wir mit statischen Adressen. Zum Einen booten die Rechner damit schneller, zum Anderen vermeiden wir Probleme mit Systemdiensten. Die Installation der einzelnen Rechner wird am Beispiel von Debian durchgeführt. Auf anderen Linux-Varianten können die Pakete anders heißen. Natürlich muss dort auch die Paket-Verwaltung anders konfiguriert werden.
Zuerst erstellen wir uns eine Datei in der alle Rechner aufgeführt werden:
127.0.0.1 localhost.beispiel localhost 192.168.178.1 router.beispiel router 192.168.178.2 nas.beispiel nas 192.168.178.3 vdrd.beispiel vdrd 192.168.178.4 vdrc.beispiel vdrc 192.168.178.5 master.beispiel master
Die System-Belastung durch eine Datenbank wird als rel. gering eingestuft. Deshalb installieren wir die Datenbank auf dem NAS und haben so eine ständige Verfügbarkeit der Daten. Die Komponenten von VdrAssistant verteilen wir nach CPU-Power und Einsatzzweck:
vdrproxy wird auf dem VDR-Daemon installiert
Aufnahme-Verwaltungsdienst und EPG-Importeur werden auf dem NAS-Server installiert
Job-Verarbeiter wird auf dem VDR-Client installiert
die Desktop-Anwendung wird auf dem Desktop installiert
NAS-Server - benötigt sun-java6-jdk, handbrake-cli und genindex für den Aufnahmebearbeitungsdienst, sowie dialog und sudo für den Installateur.
VDR-Client - benötigt sun-java6-jdk, imagemagick, mjpegtools, transcode, m2vrequantiser, dvdauthor, handbrake-cli, genisoimage und für den Installer wieder dialog und sudo. Da die Datenbank auf dem NAS-Server läuft, benötigen wir zusätzlich noch einen mysql-client.
Desktop - benötigt sun-java6-jdk. Wenn VdrAssistant auch verwendet werden soll, um die erzeugten ISO-Dateien auf DVD zu brennen, werden noch die dvd+rw-tools und eject benötigt. Wenn VdrAssistant Zugriff auf die Aufnahmen zur direkten Manipulation erhält, fehlt noch genindex.
Wir installieren alle Maschinen über eine Terminalsitzung per ssh. Da wir auf dem Desktop ein besser ausgestattetes GUI-System haben, bereiten wir uns die Dateien für die Installation vor. Wir sind am Desktop auch als "musterfrau" angemeldet.
Download der VdrAssistant-Installateure:
- VdrAssistant-0.1.###.run
- VdrAssistant-0.1.###.jar
- vdrproxy-0.1.###.run
Das Pakete sun-java6-jdk liegt bei Debian im "non-free"-Bereich, d.h. wir müssen auf allen Maschinen erstmal die Konfiguration der Paketverwaltung erweitern. Alle Rechner brauchen zusätzliche Paketquellen, sodass wir uns ein Script (setup.sh) schreiben, welches die Aufgaben erledigt:
#!/bin/bash cat > /etc/apt/sources.list << EOF deb http://ftp2.de.debian.org/debian/ squeeze main contrib non-free deb-src http://ftp2.de.debian.org/debian/ squeeze main contrib non-free deb http://security.debian.org/ squeeze/updates main contrib non-free deb-src http://security.debian.org/ squeeze/updates main contrib non-free deb http://www.backports.org/debian squeeze-backports main contrib non-free deb http://ftp2.de.debian.org/debian/ squeeze-proposed-updates contrib non-free main deb-src http://ftp2.de.debian.org/debian/ squeeze-proposed-updates contrib non-free main EOF # debian-multimedia Repository einbinden wget --quiet http://www.debian-multimedia.org/pool/main/d/debian-multimedia-keyring/debian-multimedia-keyring_2008.10.16_all.deb dpkg -i debian-multimedia-keyring_2008.10.16_all.deb echo "deb http://www.debian-multimedia.org squeeze main non-free" > /etc/apt/sources.list.d/debian-multimedia.org.list # e-tobis Repository einbinden wget --quiet http://e-tobi.net/vdr-experimental/pool-lenny/binary/base/e-tobi-keyring_2008.03.08_all.deb dpkg -i e-tobi-keyring_2008.03.08_all.deb cat > /etc/apt/sources.list.d/e-tobi.net.list << EOF deb http://e-tobi.net/vdr-experimental squeeze base backports addons vdr-multipatch deb-src http://e-tobi.net/vdr-experimental squeeze base backports addons vdr-multipatch EOF # e-tobis vdr Pakete haben Priorität cat >> /etc/apt/preferences.d/50etobi << EOF Package: * Pin: release o=e-tobi.net Pin-Priority: 1001 EOF apt-get update
sun-java6-jdk nfs-kernel-server handbrake-cli genindex vdr dialog sudo mysql-server
sun-java6-jdk nfs-common imagemagick mjpegtools transcode m2vrequantiser dvdauthor handbrake-cli ffmpeg vdr genisoimage dialog sudo mysql-client nfs-kernel-server
sun-java6-jdk nfs-common dvd+rw-tools eject vdr genindex
dies ist die einfachste Installation. Dazu kopieren wir die Datei vdrproxy-0.1.###.run auf den vdrd-Rechner
scp hosts vdrproxy-0.1.###.run root@vdrd.beispiel:.
ssh root@vdrd.beispiel
mv hosts /etc ./vdrproxy-0.1.###.run
Nach der Installation gibt es unter /etc/init.d ein vdrproxy Startscript, welches upstart-fähig ist. Wer mag, kann so den vdrproxy in den Autostart-Prozess einbinden.
Hier müssen wir schon etwas mehr tun. Fangen wir also mit der Installation der Systemkomponeten an.
scp hosts setup.sh nas.pkgs VdrAssistant-0.1.###.run root@nas.beispiel:. ssh root@nas.beispiel
mv hosts /etc chmod +x setup.sh ./setup.sh apt-get install $( < nas.pkgs )
Fehlt noch, den Zugang zum Datenbank-Server freizugeben. Dazu laden wir /etc/mysql/my.cnf in den Editor und suchen den Eintrag "bind-address" (dürfte im Bereich zwischen Zeile 45 und 50 zu finden sein). Hier steht normalerweise die 127.0.0.1 als IP-Adresse. Wir ändern die auf 192.168.13.2.
Wer den NAS-Server nicht 24/7 durchlaufen lassen möchte, sollte auf jeden Fall die IP-Adresse statisch definieren (/etc/network/interfaces). Sonst kann es vorkommen, dass es noch keine IP-Adresse gibt, wenn der mysql-Server gestartet wird, was zu einem Fehler führt.
Eine Änderung an /etc/network/interfaces erfordert einen System-Neustart.
Wer /etc/network/interfaces nicht ändert, braucht nur den Datenbank-Server-Dienst neu starten:
/etc/init.d/mysql stop /etc/init.d/mysql start
none /ramdisk tmpfs size=64m 0 0
mkdir /ramdisk mount /ramdisk
mv VdrAssistant-0.1.###.run /home/musterfrau chown musterfrau /home/musterfrau/VdrAssistant-0.1.###.run su - musterfrau ./VdrAssistant-0.1.###.run
Jetzt können wir dem Datenbank-Benutzer für VdrAssistant ein neues Kennwort vergeben (DB-Kennwort). Dieses gut merken, da wir es bei der Installation der anderen Rechner noch benötigen.
Wenn die Abfrage nach dem Sudo-Kennwort kommt, wurde die Datenbank bereits angelegt und wir können die zu installierenden Dienste auswählen. Bei den zu installierenden Diensten wählen wir "SRSrvEpgProcessor" und "SRSrvRecordingManager".
Wer einen Desktop mit Windows verwendet, sollte auf dem NAS-Server, oder dem Vdr-Client den Service-Backend-Dienst installieren. Der Dienst braucht nicht viel Resourcen, sodass er gut auf dem NAS laufen kann. Da viele NAS eine Browser-Verwaltungs-Anwendung bereitstellen, verwenden wir den Port 8080 für den Service-Backend-Dienst.
Gegebenenfalls ist noch der Zeichensatz für den VDR anzupassen (betrifft hauptsächlich die EPG-Daten und die Info-Daten zu den Aufnahmen. Am besten alle Optionen anschauen und prüfen, ob die Vorgaben akzeptabel sind.
Der Installer sollte weitestgehend selbst erklärend sein. In der aktuellen Form ist er fehlertoleranter geworden. Wird eine fehlende Abhängigkeit festgestellt, kann diese in einer parallelen Sitzung installiert und anschließend die Prüfung im Installer wiederholt werden.
Im Installationsverzeichnis wurde eine Datei be.filelist erzeugt, in der alle Dateien und Verzeichnisse aufgeführt sind, die vom Installateur erzeugt wurden. Wer also VdrAssistant vom Rechner entfernen möchte, braucht nur alles aus dieser Datei zu löschen und ein
mysql -u root -p drop database dbVdrAssistant; quit;
Unter /etc/init.d gibt es eine Start-Datei "SRServiceManager". Die Datei ist upstart-kompatibel, sollte also auch in neuen Linux-Systemen funktionieren. Wer die Datei in seinen Autostart-Mechanismus einbindet, kann jederzeit die Systemdienste aus der GUI-Anwendung von VdrAssistant kontrollieren.
Zu guter Letzt fehlt noch die Freigabe des Aufnahme-Pools. Dazu verlassen wir mit exit den Benutzermodus und können wieder das System administrieren:
cat >> /etc/exports << EOF /srv/pool0 192.168.178.1/24(rw,sync,no_subtree_check) EOF exportfs -rav
cat >> /usr/sbin/checkRecordings.sh << EOF chgrp -R vdrassist /srv/pool0 chmod -R g+w /srv/pool0 EOF chmod +x /usr/sbin/checkRecordings.sh checkRecordings.sh
Auch bei diesem Rechner fangen wir wieder mit der Installation der Systemkomponeten an.
scp hosts setup.sh vdrc.pkgs VdrAssistant-0.1.###.run root@vdrc.beispiel:. ssh root@vdrc.beispiel
mv hosts /etc chmod +x setup.sh ./setup.sh apt-get install $( < vdrc.pkgs )
Um die VDR-Aufnahmen einzubinden, erstellen wir das Ziel-Verzeichnis
mkdir -p /media/video/nas
nas.beispiel:/srv/pool0 /media/video/nas nfs defaults,timeo=14,vers=3,intr 0 0
mount /media/video/nas
Jetzt kann der Bash-Installer von VdrAssistant gestartet werden. Da dieser aber nicht als Benutzer root ausgeführt werden soll, wechseln wir vorher den Benutzer.
mv VdrAssistant-0.1.###.run /home/musterfrau chown musterfrau /home/musterfrau/VdrAssistant-0.1.###.run su - musterfrau ./VdrAssistant-0.1.###.run
Nachder Eingabe des richtigen Sudo-Kennwortes kann der JobProzessor ausgewählt werden. Auf der folgenden Seite sollten alle Vorgaben angeschaut und ggf. angepasst werden.
Die Auswahl von "weiter" startet die Installation, die auch ohne Fehler durchlaufen sollte. Auch hier gibt es in /etc/init.d die Start-Datei "SRServiceManager" und auch hier wurde das Installationsprotokoll in die Datei "be.filelist" geschrieben.
Für die Umwandlung von Aufnahmen z.B. zu DVDs, sind nicht nur die Aufnahmen wichtig, sondern auch die Bilder und Schriftarten, die in den Themen verwendet werden. Damit es hier keine Synchronisationsprobleme zwischen Desktop und Verarbeiter gibt, gibt der Verarbeiter Verzeichnisse frei, die der Desktop einbindet.
mkdir /media/images mkdir /usr/share/fonts/truetype/vashared cat >> /etc/exports << EOF /media/images master.beispiel(rw,sync,no_subtree_check,no_root_squash) /usr/share/fonts/truetype/vashared master.beispiel(rw,sync,no_subtree_check,no_root_squash) EOF exportfs -rav
Los geht's mit der Installation der System-Komponenten. Da wir uns schon auf dem Desktop-Rechner befinden, fällt Terminal-Anmeldung etc. weg. Für die Administration brauchen wir root-Berechtigung. Deshalb verwenden wir su (diesmal ohne "-") ...
chmod +x setup.sh su cp hosts /etc ./setup.sh apt-get install $( < master.pkgs )
Bei der Desktop-Installation kommt nicht der Bash-Installer, sondern der Java-Installer zum Einsatz. Als Benutzer musterfrau starten wir den Installateur
java -jar VdrAssistant-0.1.###.jar
Wenn Verzeichnisse kontrolliert sind und keine Fehler mehr angezeigt werden, können wir die Installation starten.
Diesmal wird die Installation in der Datei fe.filelist protokolliert.
Nach erfolgreichem Abschluss der Installation wechseln wir in das Installations- Verzeichnis und von dort in das Unterverzeichnis vdrassistant. Dort starten wir die Kommando-Zentrale mit:
cd /opt/vdrassistant java -jar VdrAssistant.jar
Wir starten eine neue Administrationssitzung mit su. Um Bilder und Schriftarten mit dem Job-Verarbeiter zu teilen, binden wir die Verzeichnisse ein, die auf dem VDR-Client freigegeben wurden.
su mkdir /media/images mkdir -p /usr/share/fonts/truetype/vashared echo >> /etc/fstab << EOF vdrc.beispiel:/media/images /media/images defaults,timeo=14,vers=3,intr 0 0 vdrc.beispiel:/usr/share/fonts/truetype/vashared /usr/share/fonts/truetype/vashared defaults,timeo=14,vers=3,intr 0 0 EOF
Wer mag, kann auch die Aufnahmen direkt einbinden. Dazu ist folgender Eintrag in der /etc/fstab erforderlich:
mkdir -p /media/video/nas echo >> /etc/fstab << EOF nas.beispiel:/srv/pool0 /media/video/nas defaults,timeo=14,vers=3,intr 0 0 EOF
Wir haben die Administrationssitzung mit exit verlassen und prüfen zuerst, ob die Service-Manager auf dem Nas und Vdr-Client laufen:
ssh root@nas.beispiel /etc/init.d/SRServiceManager start exit ssh root@vdrc.beispiel /etc/init.d/SRServiceManager start exit
cd /opt/vdrassistant java -jar VdrAssistant.jar
ssh root@nas.beispiel cd /var/log tail -f ServiceManager0-0.log
Ab diesem Zeitpunkt gibt es eine aktuelle Logdatei des EPG-Importeurs (srvEpgImporter.log) in der wir uns anschauen können, was der EPG-Importeur so treibt.
Jetzt wählen wir bei den Diensten den RecManager aus und drücken erneut auf das Symbol mit der Rakete. Auch hier öffnet das Smiley verschlafen die Augen und nach einer weiteren Minute sollte der Aufnahmebearbeitungsdienst laufen.
Das ist der Moment, in dem wir die Aufnahmen erfassen lassen können. Wir wechseln in das Terminalfenster mit den Logausgaben des Diensteverwalters und betätigen "Steuerung+C" um die Logausgaben abzubrechen. Jetzt interessieren uns die Ausgaben des Aufnahmebearbeiters und die erhalten wir per
tail -f srvRecManager0-0.log
In der Kommandozentrale schließen wir den Einstellungsdialog und wechseln zum Aufnahme-Verwalter. Dort gibt es ein Symbol mit einer Lupe und Tierpfoten - damit starten wir die Erfassung der Aufnahmen. Nach dem Druck auf das Symbol könnte wiederum eine Minute verstreichen, bis der Dienst seine Arbeit aufnimmt. Im Terminalfenster können wir an den Logausgaben erkennen, was der Dienst tut und ob die Erfassung der Aufnahmen funktioniert.
Wenn der Aufnahmebearbeitungsdienst meldet, dass der Scanlauf abgeschlossen ist, aktivieren wir im Aufnahme-Verwalter das Lesen der Aufnahmen - das ist das Symbol des geöffneten Ordners in Blau.
Wer einen Desktop mit Windows verwendet wird sicher das Kontrollzentrum im Browser starten wollen. Die Webanwendung basiert auf Javascript, d.h. wer einen Scriptblocker verwendet, sollte eine Ausnahme für den NAS-Server anlegen. Wenn der Service-Backend Dienst auf dem NAS installiert wurde, gilt es folgenden URL im Browser einzugeben:
http://nas.beispiel:8080/VAWebIF.html
Wenn die Liste mit den Aufnahmen erscheint: Herzlichen Glückwunsch.
Die Installation war erfolgreich und die Komponenten spielen zusammen.
