Sensor und Kameradaten zu einem Datenstrom zusammenfassen?

[GeoBot]

Hallo

Kennt jemand hier im Forum eine elegante Möglichkeit digitale
Bildreihen (Video), zusammen mit Telemetriedaten in einem
File(-format) zeitlich synchron zu speichen?

Sprich ich habe eine Kamera die hinter einander Bilder je nach
Auflösung mit 1-6 fps aufnimmt. Dazu einen Kompass und einen
Neigungssensor, die mir zusammen die Blickrichtung der Kamera
angeben. Später kommt vielleicht noch eine GPS-Position hinzu.

Diese sollen in einer Datei (auf einem Stream) gemeinsam ge-
speichert werden.

Toll wäre ein Videoformat, welches sich trotz der Zusatzdaten
noch in einem Viewer zeigen ließe.

Eine direkte Einblendung der Daten (OSD?) in das Bild ist eine
Möglichkeit. Jedoch verliert man Bildinformationen und wenn man
später die Daten auswerten will, muß man erst ein OCR über das
Bild laufen lassen.

Beim Analogfernsehn gibt es ja so etwas wie Videotext. Vielleicht
kann man das nutzen?

Möglicherweise sollte noch eine zweite Kamara die Bildreihe zu
Stereobildpaaren erweiteren.

Ich habe vor die Kameras (Philips 350/µC Cam) und die Sensoren
zu einem Modul zusammenzufassen. Die Kameras und die Sensoren
werden von einem schnellen Prozessor abgefragt und die
Bilder/Messwerte werden zusammengefasst vorverarbeitet und
komprimiert kabelgebunden an einen PC übertragen.


Grüße GeoBot

PS: Ich hoffe ich habe mich in der Forenwahl nicht ganz vertan.

[BastelWastel]

Wenn du das Bild eh digital im Prozessor vorliegen hast bietet sich vllt Steganographie an.
Wenn es das Videoformat zuläßt dass einzelne Pixel modifiziert werden könntest du jedem Frame alle Informationen wie Datum, Zeit, Telemetrie, I/O's usw. mitgeben ohne dass es im Bild auffällt..erst die Software die die Frames auswertet generiert wieder die Daten.
Für Bilder ist das relativ leicht, mit wieviel Aufwand das bei kodierten/komprimierten Streams verbunden wäre ist fraglich.

[Felix G]

Hmm, es gibt doch bei Videos bestimmt auch Metadaten analog zu z.B. ID3-Tags bei mp3-Dateien oder EXIF-Informationen bei Bildern...

das mal als Anhaltspunkt wonach man noch suchen könnte

[BastelWastel]

Die werden meines Wissens aber fuer das ganze Video gesetzt, nicht fuer jeden Frame.
Bei MP3 hast du auch nicht jede Sekunde nen anderen ID3 Tag

[GeoBot]

Hallo BastelWastel
Hallo Felix G

Erst einmal vielen Dank für die Antworten.

Hier ein Link zu einem System das als Beispiel her halten kann.

http://www.itronx.com/pdf/Xcitex_Midas_2.0.pdf

In diese Richtung soll es prinzipiell gehen. Natürlich in der Hobby-
Gewichts.-Preisklasse.

Das mit der Kodierung der Zusatzinformationen in den Bildpixeln
ist sicher eine Möglichkeit. Es verändert jedoch die Bildinformation
und ist anfällig für einen Datenverlusst beim Bearbeiten/Konvertiern
des Videostreams.

Meine Kenntnisse bezüglich Video und Audio am PC beschränkt sich
momentan noch auf das Abspielen von DVDs und YOU-Tube Videos.

Ich hab mir jetzt ein paar oberflächliche Artikel zum Thema Video
angesehen.

Wenn ich das Richtig verstanden habe Suche ich nach einem
passenden Container-Format. Die Container-Datei enthält dann
verschiedene Streams, Bild und Tonspuren in der Analogtechnik, die
zeitlich korreliert sind. Also man hat für jede Spur einen Codec und
einen Multiplexer der die Spuren in einer Datei zusammen bringt.

Momentan stelle ich mir die Frage ob es nicht bereits Standards gibt,
die neben Bild und Ton auch noch "Datenspuren" definieren. Optimal
wäre es auch wenn es schon einen entsprechenden Multiplexer als
Referenz gäbe. (Mann darf ja mal träumen)

Das mit den Tags werde ich mir auch noch mal anschauen. Möglicher-
weise ist es zweckmäßig dort zu hinterlegen, welche Daten in welcher
Kodierung dort in welchen Stream gespeichert sind.

Mal schauen ob sich die nächten Wochen noch etwas an Infos ergibt.

Parallel werde ich mal schauen, was ich aus einer Philips 350/µC Cam
an Bildern heraus holen kann und welche Prozessorleistung ich
mindestens dazu brauche.

Ich "befürchte" es muß schon ein nicht gerade kleiner DSP werden wird .

Grüße GeoBot

[Thoralf]

Geobot, warum nimmst du nicht die einfachste Lösung und modulierst die Meßdaten in die Vertikalaustastlücke des Bildsignals, allerdings nur so stark, daß die Austastlücke als solches noch funktioniert. Nach jedem Halbbild kommt eine, liegt also aller 1/50 s vor, was schnell genug sein sollte.
Mit einem LM1881 läßt die sich leicht ermitteln.

Empfängerseitig wird wieder über den LM1881 die Lücke ermittelt und während dieses Zeitraums wieder das Signal demoduliert.

Auf einem Viewer oder einem Kontrollmonitor sieht man die Austatslücke eh nicht (deshalb heißt sie ja auch so) und du kannst das Videobild je nach Bedarf weiter verarbeiten.

Das Datensignal sollte in jedem Fall mit Fehlersicherungscodes übertragen werden, da die Videosignale analog sind und bei Schwund somit auch die Datenübertragung gestört wird.

Mit allen irgendwelchen digitalen Bildübetragungsverfahren würde ich garnicht erst anfangen. Erstens ist der Aufwand groß und zweitens gewinnt man damit nicht viel. außerdem brauchen vollformatige digitale Videobilder reichlich Bandbreite. Deshalb muß man dann unbedingt komprimieren.

Will man unbedingt alles digital machen, nimmt man einfacher eine Netzwerkkamera und überträgt die Daten einfach separat übers Netz.

[morob]

Hallo,

schon mal darüber nachgedacht, die Daten in den Audiokanal zu legen per FSK Modem, bei Stereo müßtest Du sogar zwei Kanäle unterbringen.

Gruß

[wkrug]

Die Idee von "morob" mit den Audiokanälen halte ich schon mal für sehr gut.
Wenn Du natürlich alle Audiokanäle anderweitig nutzt wird das nicht gehen.

Wir reden hier immer über "Video".

Um welches Format geht es den hier ?
Sind es FBAS Signale ? - Dann könnte man die Informationen in den nicht sichtbaren Zeilen des Bildes unterbringen ( siehe Videotext ).

Oder geht es um ein digitales Videoformat ? - Dann muss man dort nach Lücken oder nicht benutzten Datenfeldern suchen wo man die Informationen unterbringen kann.

Wir sollten mal zuerst mal die Gegebenheiten klären, dann kann man nach entsprechenden Lösungen suchen. Hast Du schon mal einen Schaltplan deines bisherigen Aufbaues ?

[Markus4004]

Die bisher genannte Systembeschreibung ist doch:
- digitales Video
- digitale Messdaten
- werden digital an den PC übertragen

Damit liegt alles digital vor, man muss da nichts mehr irgendwo reinmodulieren. Ich würde deswegen das AVI-Format nehmen. Die Messdaten könnte man dann direkt z.B. als unkomprimiertes Audio speichern.

Prinzipiell arbeitet AVI mit verschiedenen Streams und soweit ich das verstanden habe könnte man auch einfach einen extra Messdatenkanal definieren ohne die Audio-Kanäle zu missbrauchen. Ich weiß aber nicht, wie aufwändig das ist; evtl. geht das nicht über die normalen API-Funktionen.

[morob]

Hallo,

welches Camera, USB vermute ich, verwendest Du?

Du müstest den Audio Strom dann über die Soundkarte einmischen. An die Soundkarte mußt Du dann das FSK Modem hängen.

Gruß