optimaler Winkel einer Cam für Wegerkennung

Hallo!

Meine Frage bzw. Problem ist thematisch nicht so leicht einzugliedern - ich versuch es einfach mal hier ;)
Ich versuche gerade eine Weg-Erkennung umzusetzen - meine Fragen nun:

Was ist ein guter Winkel für die Kamera?
- steil von oben
- so flach als möglich?
- irgendwo dazwischen?

Wie wichtig ist der Winkel überhaupt (z.B. für eine vanishing-point Berechnung)?
Brauche ich einen Horizont bzw. ist es schlau den noch in die Analyse mit einzubeziehen?

Ausreichend für mich wäre ein (Bild/Weg) Analyse von ca. 10 Meter - das sollte ausreichen um Wegkreuzungen und dergleichen rechtzeitig zu erkennen.
Ziel ist es, auf einem erkannten Weg (= die Ausgangsposition) wie z.B: Gehsteig, Parkwege, usw. zu bleiben und den nicht zu verlassen bzw. zu folgen.

Meinen aktueller Bot setzt auf einen ausgedienten Rollstuhl auf - d.h. bzgl. Höhe hab ich rel. viel Möglichkeiten.
Anhang 22649 Anhang 22650

Hab zwar schon sehr viel Zeit mit Google verbracht, aber bis jetzt noch nicht wirklich etwas zu diesem Thema gefunden.

Danke, Arno

Ich würde die Kamera ca. in der Höhe des Notebooks montieren (ganz an der Vorderseit). Somit kannst du auch Schlalöcher,... besser erkennen. Wenn du sehr flach über dem Boden bist (z.B. Höhe Laserscanner) kannst du soetwas nicht bzw sehr schwer erkennen.

Das ist zumindest meine Vermutung. Warte lieber noch auf andere Posts bzw montiere die Kamera einmal provisorisch und suche die beste Position aus. Eventuell kannst du die Cam auch auf einem Arm montieren damit du die Höhe "einstellen" kannst, je nach Anforderung.

MfG Hannes

Zitat:

---

Zitat von 021aet04

Ich würde die Kamera ca. in der Höhe des Notebooks montieren (ganz an der Vorderseit).
MfG Hannes

---

... Ober- oder Unterseite? Wenn Oberkante würde ich den Aufbau eher in der Mitte ansetzten - würde aber mit sich bringen dass es einen kleinen toten Winkel gibt, mit dem könnte ich aber ganz gut leben denke ich.

Hast Du diesbezüglich schon Erfahrungen gemacht?

Ich würde die Kamera an der Oberseite des Notebooks montieren. Es entsteht zwar ein toter Winkel, das sollte aber kein Problem sein, da wenn du dich bewegst dieses Bild schon gesehen hast, somit weißt du immer was in diesem Bereich ist. Sollte etwas kurzfristig in diesem Bereich auftauchen (Tier rennt durch diesen Bereich,....) hast du immer noch den Laserscanner.

Eine weitere Möglichkeit wäre die Cam mit einem Servo zu bewegen. Die Kamera montierst du in Höhe Oberkante des NB und an der Vorderseite des Roboters. Mit einem Servo schwenkst du die Kamera das du in die "Ferne" sehen kannst und auch den nahen Bereich sehen kannst, wenn es nötig ist.

Erfahrungen habe ich leider keine in diesem Bereich.

MfG Hannes

Hallo Hannes!

Danke mal für Dein Feedback!
Ich werde es mal an der Position versuchen. Bzgl. Servo - ich verwende die Kinect, d.h. die hat bereits einen Servo eingebaut. Die Stellmöglichkeiten sind zwar beschränkt, aber ich denke für meine Zwecke sollte es reichen.

Ich habe vor meinen Bot mehrere Funktionen zu spendieren - das eine ist eben die Wegerkennung - hier wird die Kinect einfach nach unten sehen und sich nur auf den Weg konzentrieren. Wenn ich nicht gerade im Wegerkennungsmode bin, soll die Kamera auch Gesichtserkennung (funktioniert bereits ;)) machen, dafür muss sie weiter nach oben sehen.

Ev. komme ich am Wochenende zum Testen, dann werde ich mal ein Video live stellen ;)

LG, Arno

o etwas ähnliches hab ich auch am kochen.
Mein Fahrzeug ist auch aus ausgeschlachteten Rollstuhlteilen konstruiert.
Kinect will ich aber noch nicht verwenden weil mir eine Offboard-Computervariante zum Test besser zusagt.
Daher kommt eine normale Funkkamera zum Einsatz. Das Notebook mit seiner Zusatzperipherie, wie Funkempfänger, Sender usw. steht auf einem Campingtisch und läßt mir auch zum Programmieren ausreichend Spielraum. Wenn nur nicht so verdammt viele Reflex auf dem Display wäre...;-)

Mit GPS wird dann grob navigiert um z.B Abzweigungen zu bestimmen.
Um das Fahrzeug auf der Strasse zu halten wird zur Feinpositionierung Bildverabeitung verwendet.
Dabei zeigte sich, dass Fluchtpunktbestimmung nur bei halbwegs geraden Strassen- oder Wegkanten funktioniert. Von unregelmäßigen Rasenkanten begrnzte Weg werden kaum erkannt. Dort hilft nur, Farbunterschiede auszuwerten und einen Wegverlauf zu renkonstruieren.

Der kamerawinkel ist nicht dramatisch, solange du die Strasse mit einer tiefen Perspektive siehst.
Prinzipiell ginge auch eine senkrecht nach unten gerichtete Kamera und ein Kantenerkenner. Das würde aber wahrsch. nur selten was bringen.
Waagerechte Kamera geht auch ganz gut, solange du nicht direkt "vor die Füße" blicken willst. Damit lassen sich auch Abzweigungen sehen.

Zur optischen Hinderniserkennung ist ca. 10...20m Voraussicht ganz gut. Im Nahbereich liefert dann das Kinect Distanzinformationen. Das würde ich für eine gute Kombination halten, wenn der Robbi flüssig fahren soll.

Ich hab auch ein paar Frage an dich:
Mit welchem Programm machst du Bildverarbeitung? Welche weiteren Algorithmen hast du angedacht?
Willst du gleich mit Onboardcomputer loslegen oder erst einmal mit Bauchladennotebook und Webcam losmarschieren und Freilandtests machen?

LG Thoralf

paar links:

http://www.youtube.com/watch?v=Rbhd50XlnEk
http://www.youtube.com/watch?v=vPKVfSM0cyU
http://www.youtube.com/watch?v=nb0VpSYtJ_Y
http://www.youtube.com/watch?v=2brPk3Eb1wY

Hallo Thoralf!
Danke mal für Deinen Beitrag - irgendwie ist das Thema zwar nicht wegzudenken, aber bis jetzt hab ich wenige gefunden die Feedback geben und/oder auch daran Arbeiten ...

Ich hab meine Notebook schon mehr oder weniger fix am Bot - ist zwar zum Testen ein wenig mühsam, aber ich bin mitunter dazu übergegangen alles auf Video aufzunehmen und mit diesen dann zu experimentieren - somit muss ich auch nicht immer mit dem Bot unterwegs sein.
Derzeit bin ich eben gerade am Suchen nach der optimalen Cam-Position - aber wie Du schon schreibst, so wichtig scheint die gar nicht zu sein.

Ich entwickle aktuell mit C# (ist halt einfach) und emgucv für die optische Unterstützung. Mein Ansatz ist derzeit eine Farbvergleich - ausgeschlossen werden mal Farben die (hoffentlich) nicht auf einem Weg unterkommen - wie z.B. Grün und Blau
Direkt vor dem Bot hab ich mein ROI (region of interest) festgelegt - ich gehe davon aus, dass mein Bot beim Starten "richtig" steht - d.h. das festgelegte ROI enthält den fahrbaren/erlaubten Bereich. Mein ROI vergleiche ich dann mit dem Rest des Bildes und versuche so den Weg/Bereich für die Weiterfahrt zu finden.

Mit vanishing point detection hab ich nicht mehr weitergemacht, da ich hier nicht wirklich zu einem für mich brauchbaren Ergebnis gekommen bin. Ich bewege mich sehr viel in Parkanlagen - da bin ich einfach nicht weitergekommen, was möglicherweise an meinem eingeschränktes Wissen bzgl. Bildanalyse zu tun hat ;)

Generell bin ich glaube ich noch weit weg von einer wirklich brauchbaren Lösung. Primär spiele ich derzeit eben mit ROI (finden von erlaubten Bereichen mit einer gewissen Abweichung), hough transformation, K-Means Clustering herum (in Kombination mit div. Smoothed filter usw). Immer wenn ich denke ich hab eine halbwegs gute Lösung, kommt die nächste Auswertung mit anderen Randbedingungen und ich stehe wieder am Anfang ;(

Das Letze YouTube Video wäre eigentlich so mein angestrebtes Ziel ;)

Was verwendest Du? Wie sieht denn dein Bot aus? Was ist Dein Ziel?

LG, Arno

Hallo, interessantes Projekt.
Aus meiner Erfahrung (allerdings mit anderen Bedingungen: definierte und regelmäßige Fahrspurbegrenzungen):
Höhe: so hoch wie möglich. Ist die Kamera zu tief, schrumpft die Strecke in der Entfernung vertikal auf ein paar Pixel zusammen und der Kontrast leidet. Ideal aber unpraktisch wäre Vogelperspektive.
Position: soweit nach hinten wie möglich. Die Streckenränder seitlich neben dem Roboter sollten am besten noch im Bild sein. Wird die Begrenzung erst in einem Mindestabstand vor dem Roboter erkannt (vertikaler toter Winkel), wird die Streckenerkennung in Kurven und nach kurzen Aussetzern sehr unzuverlässig, im schlechtesten Fall sieht die Kamera in Kurven die Strecke gar nicht.

Grüße


EDIT: Vanishing Point Detection scheint gerade parallele Linien zu benötigen, die gibt es wohl eher auf der Autobahn als auf Parkwegen.

@arnoa

hast ja auch schon einiges durch mit testen, ja das kenn ich auch:
Man denkt, man hats endlich und am nächsten Tag scheint die Sonne und alles geht in die Hose.
Es gibt nichts schlimmeres für eine Idee als wenn sie von der hässlichen Praxis erschlagen wird... *ggg*

Ich arbeite mit Roborealm. Das ist ein Baukastensystem, das viele Module zur Bildverarbeitung und -verbesserung umfasst. Man kann sich rel. schnell mal eine Lösung zusammenstricken und testen.
Es arbeitet interpretativ und immer aufs ganze Bild angewendet (i.a.). Dadurch ist es irgendwann ziemlich langsam und die Framerate sinkt.
Aber es werden eine ganze Reihe von Schnittstellen unterstützt, so dass über Kabel oder Funk sehr einfach auf den Robbi zugegriffen werden kann.
Die "richtige" Auswertung und Steuerung mach mit VB (nicht lachen, das ist halbwegs compiliert und schnell genug)

Mit VP hab ich auch keine guten Erfahrungen im Grünen gemacht. Es werden - wie auch EZ81 sagt - ausreichend gerade Kanten gebraucht.

Mit Bloberkennung und Highest Point bin ich etwas weiter gekommen. Gut war auch der Floorfinder von RR. Der vergleicht einen definierten Bildausschnitt auf farbe und Muster mit dem Rest des Bildes. Legt man den Ausschnitt "zu Füßen" des Robots sieht man so halbwegs die erlaubte Bahn. Problematisch wirds aber bei scharfen Abbiegungen. Dort ist der Weg einfach weg. Kamera zur Seite drehen und Weg suchen ist auch nicht so einfach, da der Floorausschnitt evtl. Wiese zeigt und den Weg nicht ermitteln kann.
Und überfährt der Erkenner die Abbiegung, so zeigt das Floormuster nur noch Wiese und die Erkennung versagt auch.
Mal sehen, was mir so schlaues einfällt.
Zumindest ist eines sicher: Ein einziger Algorithmus bringt kaum was. Nur eine Vielzahl von Erkennervarianten mit geeignetem Sensorfusionsalgorithmus wird zur Lösung führen.

Anwenden wollte ich das um den Hund auszuführen. Der Hund ist zwar über meine Bemühungen hinweg gestorben aber nun bin ich so weit, dass ich das Projekt auch nicht aufgeben will :-)

@EZ81

klingt ganz gut, deine Überlegungen, werd ich auch mal testen.
Da ich meine Technik im "Bauchladen" vor mir hertrage, kann ich ziemlich schnell ein neues Testdesign realisieren.


Insgesamt geshen halte ich das ganze für ein sehr interessantes Projekt und wir sollten unbedingt dran bleiben und hier Ideen austauschen

Hallo!

@EZ81: Danke für Dein Input - sehr gute Hinweise. Hab zwar im ersten Schritt meine Cam in der Mitte positioniert, werde diese aber jetzt ganz nach hinten pflanzen - klingt einfach alles völlig logisch was Du geschrieben hast. Auch der Hinweis dass die vorderen Räder bzw. der Bereich neben den Rädern noch sichtbar sein soll ist gut - ich hätte das natürlich genau anders gemacht ;)

Sobald ich die ersten Aufnahmen habe werde ich die mal posten - danke soweit!!!

@Thoralf: Kann man bei Roborealm auch selber (weiter) entwickeln oder kann man nur die Sachen verwenden die zur Verfügung gestellt werden? Bzgl. VB gibt nichts zu lachen. Ich schreibe ja in C# weil mir C++ zu mühsam ist. Ich denke für unsere Anwendungen ist es rel. egal was man verwendet - wenn wir mit unseren Bot´s mal zum Mars wollen müssen wir wahrscheinlich unsere Programme sowieso optimieren ;))

LG, Arno