Institute for
OST

News Detail

14.03.2022 12:00
Hardware Accelerated Human Pose Estimation

Human Pose Estimation (HPE) bezieht sich auf die Erkennung eines kinematischen Modells des menschlichen Körpers aus Bilddaten. Das Interdisziplinäre Zentrum für Künstliche Intelligenz (ICAI) an der OST hat das bekannte HPE Netzwerk OpenPose angepasst und rechnerisch effizienter gemacht. Dieses Netzwerk wurde ICAIPose genannt und vom Institut für Mikroelektronik und Embedded Systems (IMES) auf einem FPGA Hardwarebeschleunigt.

Ziel
Das IMES wollte mit diesem Projekt ICAIPose auf dem Edge FPGA Kria KV 260 von AMD-Xilinx implementieren. Da ICAIPose mit den herkömmlichen Tools für Grafikkarten entwickelt wurde, ist der Aufwand für den Betrieb eines solchen Netzwerks auf einem FPGA und die Auswirkungen auf die Performance von grossem Interesse.

Vorgehen
Die Anwendung erfordert eine Kamera Schnittstelle und eine Deep Learning Verarbeitungseinheit. Vitis AI von  AMD-Xilinx wird verwendet, um das Netzwerk für die Deep Learning Prozessoreinheit (DPU) auf dem FPGA zu kompilieren. Die mitgelieferte Python API kommuniziert mit der DPU über ein eingebettetes Linux auf dem  Mikroprozessor des FPGAs.

Fazit
ICAIPose ist ein sehr großes neuronales Netzwerk welches mehr als 100 Milliarden Operationen zur Verarbeitung eines Bildes benötig. Dennoch konnte auf dem KV 260 ein Durchsatz von 8 Bildern pro Sekunde erreicht werden. Der GPU basierte NVIDIA Jetson Xavier NX, welcher mehr als doppelt so viel kostet wie das Kria Board, erreicht eine ähnliche Bildrate.

Abstract

Unter folgendem Link finden Sie einen detaillierten Blog-Beitrag über das Projekt.

Mit Klick auf das Bild sehen Sie das Video.