wie Günther schon sagte: es ist viel zu kompliziert fürs kleine Budget.
Schau dir mal verchiedene Personen von hinten an. Laß mal deine Kumpels sich in einer Reihe aufstellen und guck mal, worin sie sich außer der Farbe der Kleidung unterscheiden.

Daraus ergibt sich vielleicht auch eine brauchbare (im haushalt) Lösung. Du schreibst ja, daß du die Gesichtserkennung im Griff hast. Wie wäre es, wenn du deinen Roboter in 2 Phasen steuerst:
1. du zeigst dich von vorn und er erkennt dein Gesicht
2. du drehst dich um und er lernt dein Aussehen von hinten
3. der Robbi hängt sich an dich dran

Vorausgesetzt ist, daß in dieser Phase niemand die Erkennung stört.
Falls der andere Personen auftauchen - mit ähnlicher Kleidung - sollte der Robbi stehen bleiben und warten bis du dich wieder umdrehst und bei Punkt 1. beginnen.

Klar ist das für harte praktische Fälle ziemlich umständlich aber löse doch erstmal so einen Pilotfall, dann siehst du weiter.

Ich kann mich da an eine kleine Geschichte erinnern:
eine Bekannte von mir ging mit ihrer Freundin samt Hund spazieren. Die Freundin rief: "Fuß". Üblicherweise hat der Hund dann rechts des Frauchens zu gehen. Da beide einen Parka trugen und die Haare ähnlich waren, ging der Hund rechts der Bekannten und nicht des Frauchens. Also: selbst für einen Hund mit Lichtjahren mehr Intelligenz gegenüber einem Roboter ist das Problem ziemlich kompliziert.