本网页已闲置超过3分钟,按键盘任意键或点击空白处,即可回到网页

基于点云的 3D 对象检测系统

发布时间:2022-04-25
分享到:

基于点云的 3D 对象检测系统

发布时间:2022-04-25
分享到:

该项目将借助 KV260 上的 PYNQ -DPU 覆盖,从而能够使我们在 LiDAR 点云上进行 3D 对象检测比以往任何时候都更加高效!

背景

在构建自动驾驶汽车、自动导航机器人和其他现实世界的应用程序时,环境感知起着不可或缺的作用。

为什么要在点云上进行 3D 对象检测?

虽然基于深度学习的相机数据二维对象检测显示出很高的准确性,但它可能不是有效的活动,如定位、测量对象之间的距离和计算深度信息。

LiDAR 传感器生成的点云提供对象的 3D 信息,以更有效地定位对象并表征形状。因此,点云上的 3D 对象检测正在各种应用中出现,尤其是在自动驾驶方面。

尽管如此,设计基于 LiDAR 的 3D 对象检测系统仍具有挑战性。首先,此类系统需要在模型推理中进行大量计算。其次,由于点云数据是不规则的,处理管道需要预处理和后处理才能提供端到端的感知结果。

KV260与3D物体检测系统完美匹配。模型推理的昂贵计算可以卸载到 KV260 的可编程逻辑部分并由其加速,而 KV260 强大的 ARM 内核能够处理预处理和后处理任务。

设计概述
我们现在讨论选择的用于点云上 3D 对象检测的深度学习模型以及包括软件和硬件的系统概述。

网络架构

作为对现有工作的完整性检查,我们选择了基于 ResNet 的关键点特征金字塔网络(KFPN) ,这是第一个在KITTI 基准上具有最先进性能的单目 3D 检测实时系统。特别是,我们采用了它在点云上的开源 PyTorch 实现,称为SFA3D 。

KV260 上的 PYNQ-DPU

之所以我们使用Xilinx 开发板的 Ubuntu Desktop 20.04.3 LTS而不是 Petalinux 作为 KV260 上的操作系统,是因为 Ubuntu 是一个很好的开发环境,用于安装预处理点云和后处理结果所需的软件包。另一方面,KV260 对 Pynq 和 DPU 覆盖的支持避免了从头设计高效的 DPU,使我们能够在 python 环境下工作。这在很大程度上简化了基于 CPU/GPU 的深度学习实现向 KV260 的迁移。

设置环境

按照官方指南将Ubuntu镜像安装到KV260,然后参考Github在Ubuntu操作系统中安装Pynq 。Git 通过执行以下命令克隆所有必需的文件并将所需的包安装到板上。

git clone https://github.com/SoldierChen/DPU-Accelerated-3D-Object-Detection-on-Point-Clouds.git
cd DPU-Accelerated-3D-Object-Detection-on-Point-Clouds
pip install -r requirements.txt

在这里,我们需要 Pytorch 1.4,因为 Pynq DPU 的 VART 是 v1.4。

数据准备

需要下载的数据包括:

  • Velodyne 点云(29 GB)
  • 对象数据集的训练标签(5 MB)
  • 对象数据集的相机校准矩阵(16 MB)
  • 对象数据集的左侧彩色图像(12 GB) (仅用于可视化目的)

要使用 3D 框可视化 3D 点云,让我们执行:

cd model_quant_compile/data_process/
python kitti_dataset.py

模型训练

python train.py --gpu_idx 0

该命令使用一个 GPU 进行训练,但它支持分布式训练。此外,您可以选择 fpn_resnet 或 resnet 作为目标模型。训练后的模型将存储在名为“Model_restnet/fpn_resnet_epoch_#”的检查点文件夹中。根据您的硬件,epoch 可以从 10 到 300,精度越高越好。

模型量化和编译

同样,由于 Pynq 的 VART 是 V1.4,我们需要 VITIS AI v1.4 而不是最新版本(V2.0)来进行模型量化。

# install the docker at first (if not stalled)
docker pull xilinx/vitis-ai-cpu:1.4.1.978  

# run the docker
./docker_run.sh xilinx/vitis-ai-cpu:1.4.1.978

然后我们使用以下命令量化模型:

# activate the pytorch environment
conda activate vitis-ai-pytorch 

# install required packages
pip install -r requirements.txt

# configure the quant_mode to calib
ap.add_argument('-q',  '--quant_mode', type=str, default='calib',    choices=['calib','test'], help='Quantization mode (calib or test). Default is calib')
# here, it quantize the example model: Model_resnet_18_epoch_10.pth
python quantize.py 

# configure the quant_mode to test
ap.add_argument('-q',  '--quant_mode', type=str, default='test',    choices=['calib','test'], help='Quantization mode (calib or test). Default is calib')
# here, it outputs the quantized model.
python quantize.py

接下来,我们将编译模型:

./compile.sh zcu102 build/

不要介意 zcu102 与 KV260 共享相同的 DPU 架构。您将看到成功编译的以下消息:

到目前为止,我们得到了可以在 DPU 上执行的编译 xmodel,在 KV260 上过度执行。接下来,我们将其部署在板上并开发应用程序代码。

KV260部署

按照官方指南,我们先在KV260上搭建好Ubuntu操作系统。然后,我们按照PYNQ-DPU GitHub在板上安装 python 。

搭建好板子后,我们需要安装git,将代码克隆到板子上,并将编译好的xmodel复制到文件夹中。

应用程序代码设计

这里我们将介绍如何调用并与 DPU 接口进行推理。

我们首先加载 DPU 覆盖和自定义的 xmodel。然后,重要的是,必须知道输入和输出张量信息才能与数据集协调。在这里,我们只有一个张量作为输入,五个张量作为输出。相应地分配输入和输出缓冲区。

# load model and overly 
overlay = DpuOverlay("dpu.bit")
overlay.load_model("./CNN_zcu102.xmodel")
dpu = overlay.runner

# get tensor information
inputTensors = dpu.get_input_tensors()
outputTensors = dpu.get_output_tensors()
shapeIn = tuple(inputTensors[0].dims)
outputSize = int(outputTensors[0].get_data_size() / shapeIn[0])
shapeOut = tuple(outputTensors[0].dims)
shapeOut1 = tuple(outputTensors[1].dims)
shapeOut2 = tuple(outputTensors[2].dims)
shapeOut3 = tuple(outputTensors[3].dims)
shapeOut4 = tuple(outputTensors[4].dims)

# allocate input and output buffers. 
# Note the output is a list of five tensors.
output_data = [np.empty(shapeOut, dtype=np.float32, order="C"),
np.empty(shapeOut1, dtype=np.float32, order="C"),
np.empty(shapeOut2, dtype=np.float32, order="C"),
np.empty(shapeOut3, dtype=np.float32, order="C"),
np.empty(shapeOut4, dtype=np.float32, order="C")]
# the input is only one tensor.
input_data = [np.empty(shapeIn, dtype=np.float32, order="C")]

image = input_data[0]

一次性推理的过程封装在下面的函数中。在这里,我们将输入张量置换为 DPU 输入张量的形状,并将张量置换为后处理所需的形状。这对于正确的结果至关重要。

def do_detect(dpu, shapeIn, image, input_data, output_data, configs, bevmap, is_front):

if not is_front:
    bevmap = torch.flip(bevmap, [1, 2])
input_bev_maps = bevmap.unsqueeze(0).to("cpu", non_blocking=True).float()

# do permutation
input_bev_maps = input_bev_maps.permute(0, 2, 3, 1)
image[0,...] = input_bev_maps[0,...] #.reshape(shapeIn[1:])

job_id = dpu.execute_async(input_data, output_data)
dpu.wait(job_id)

# convert the output arrays to tensors for the following post-processing.
outputs0 = torch.tensor(output_data[0])
outputs1 = torch.tensor(output_data[1])
outputs2 = torch.tensor(output_data[2])
outputs3 = torch.tensor(output_data[3])
outputs4 = torch.tensor(output_data[4])

# do permutation
outputs0 = outputs0.permute(0, 3, 1, 2)
outputs1 = outputs1.permute(0, 3, 1, 2)
outputs2 = outputs2.permute(0, 3, 1, 2)
outputs3 = outputs3.permute(0, 3, 1, 2)
outputs4 = outputs4.permute(0, 3, 1, 2)
outputs0 = _sigmoid(outputs0)
outputs1 = _sigmoid(outputs1)

# post-processing
detections = decode(
                    outputs0,
                    outputs1,
                    outputs2,
                    outputs3,
                    outputs4, K=configs.K)
detections = detections.cpu().numpy().astype(np.float32)
detections = post_processing(detections, configs.num_classes, configs.down_ratio, configs.peak_thresh)

return detections[0], bevmap

在 KV260 上执行

通过运行以下命令,将在 DPU 上执行演示数据的推理:

python demo_2_sides-dpu.py

然后运行以下命令:

python demo_front-dpu.py

性能范围从 10 到 20 FPS,比在服务器级 CPU(Intel Xeon Gold 6226R)上的执行速度快 100 到 200 倍。

结论
总之,我们展示了在 KV260 上使用 AMD-Xilinx DPU 来加速基于点云的 3D 对象检测是多么容易。为了进一步提升性能,我们计划通过使用多个 DPU 实例来优化模型推理阶段,以及通过使用多线程和批处理来优化预处理和后处理阶段。

如果您对此项目有任何想法、意见或问题,请在下方留言。

以上内容翻译自网络,原作者:Xinyu Chen,如涉及侵权,可联系删除。

加入微信技术交流群

技术交流,职业进阶

关注与非网服务号

获取电子工程师福利

加入电路城 QQ 交流群

与技术大牛交朋友

讨论