基于RDK X3实现的语言大模型操作实例

1. 功能介绍

hobot_llm是地平线RDK平台集成的端侧Large Language Model (LLM) Node，用户可在端侧体验LLM。目前提供两种体验方式，一种直接终端输入文本聊天体验，一种订阅文本消息，然后将结果以文本方式发布出去。

2. 物料清单

3. 使用方法

3.1 准备工作

在体验之前，需要具备以下基本条件：

1. 确认地平线RDK为4GB内存版本。

2. 地平线RDK已烧录好地平线提供的Ubuntu 20.04系统镜像。

3. 安装transformers，命令为pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple。

4. 更新hobot-dnn，命令为sudo apt update; sudo apt install hobot-dnn。

3.2 安装功能包

启动RDK X3后，通过终端SSH或者VNC连接机器人，复制如下命令在RDK的系统上运行，完成相关Node的安装。

tros foxy版本

tros humble版本

3.3 运行程序

运行程序前，需要下载模型文件并解压，命令如下：

tros foxy版本

tros humble版本

同时需要修改BPU保留内存大小为1.7GB，设置方法参考TODO。

重启后调整CPU最高频率为1.5GHz，以及设置调度模式为performance，命令如下：

目前提供两个运行程序hobot_llm_chat和hobot_llm，其中hobot_llm_chat提供终端交互体验，用户可直接输入文本体验大模型，hobot_llm程序订阅std_msgs/msg/String类型文本消息，送给大模型处理，最后再将结果以std_msgs/msg/String类型发布出去，该程序可串联其他Node，例如将输出文本语音播放出去。

3.3.1 运行 hobot_llm_chat

tros foxy版本

tros humble版本

程序启动后，可直接在当前终端和机器人聊天。

3.3.2 运行hobot_llm

1. 启动hobot_llm

tros foxy版本

tros humble版本

2.  新开一个终端订阅输出结果topic

tros foxy版本

tros humble版本

3. 新开一个终端发布消息

tros foxy版本

tros humble版本

4. 接口说明

hobot_llm程序接口说明如下：

4.1 话题

4.2 参数

5. 常见问题

1. 模型加载失败

确认开发板内存为4GB，同时修改BPU保留内存大小为1.7GB。

2. 输出结果乱码

确认已使用命令sudo apt update; sudo apt install hobot-dnn更新hobot-dnn。

3. 如何手动修改BPU保留内存为1.7GB？

修改方法参考在设备树中设置ion_cam size，修改alloc-ranges和size属性中的0x2a000000为0x6a400000。