一、整体规划
接下来我们讲一下整体的灵感。因为现在AI大模型是非常普遍的。那么作为嵌入式设备在边缘进行部署技能保证这些数据的安全性。也能保证便携性，同时能耗低。而作为我们人类和外界交互的最重要的就是听觉和视觉。也就是对话沟通和观察分析这样的能力。拥有这样的能力，可以说就具备了一个初级的智能体所具有的基本功能。所以我计划在树莓派上。部署AI对话大模型,同时因为这次购买了树莓派的AI算力板，在这个算力板上部署视觉识别的相关功能，这样子就可以让我们做的智能体既有视觉能力，也有语言能力，能够去理解分析他所看到的一些事物，并且能用语言的方式表达出来。
如果让我再说的通俗一点的话，就是树莓派,是CPU。这次活动购买的算力是电脑的显卡。那么CPU负责理解语言，那显卡负责理解看到的事物。当然其实整个过程是非常复杂的，要把很多数据进行处理。但是对我们而言，厂家都提供了很多的接口和教程，我们只需要去进行调用就可以了。
二、外形设计
再来讲讲外形的一个制作灵感。外形制作，我们使用了3d打印增材制造，随着近几年的3d打印在拓竹等厂商的努力下，可以说是飞入了寻常百姓家。那作为从五六年前就开始自己手搓DIY3d打印机的人来说，确实看到了国产机器在这方面的进步，最开始3d打印机的稳定性很差，现在也是逐渐成熟了，在个人创客经济上，时效上都是远超传统制造的。那这次我们是用3d打印机打印一个尺寸非常大的敖丙的摆件。并最后呢将我们的电路板等等安装在敖丙板摆件的底座里，这样就实现了让我们摆件拥有一个智能化的功能，实现了外形，硬件，软件全流程的打通。
为了制作这个敖丙的大模型。我还特地打印了一个小模型，还因为后期是准备给他们上色，防止有色差。这样子后面先用丙烯马克笔。给这个小模型上色看一下颜色表现，效果不错了，再给大模型去上色，而且这也是我们生产中经常要用到的这种小范围试错的一个计划，其实也有我个人的成长在里面，以前可能说不管三七二十一就干了，但是现在的话还会给自己留一个试错的空间。
那么这个模型是从哪里得到的呢？是从拓竹的官方网站上面得到的。上面也有很多非常精美的模型，如果大家想自己去3d打印也可以在这个网站上进行下载制作。方便实现自己的一些创意设计。但这些直接打印好的模型，我们是没有办法直接进行使用的，比如说咱们这次的这个模型，我就计划在它的底盘上去掏一个大洞，把我们的树莓派，电路板等等都塞进去。开这个洞呢，大家可以去使用电烙铁刀，也就是说用电烙铁把这个刀烧热，用这种热切割的方式去切割，比我们用冷切割的方式要省力不少，因为3d打印的这个件其实还是比较坚固的，大家在做的过程中呢要注意不要让自己受伤。
关于整个打印包括拆支撑的这个过程呢，大家都可以去通过视频观看。拆支撑一定要小心，比方说小的打印件，我在拆支撑的过程中就直接给搞断了，直接报废掉了。
三、硬件组装
3那接下来我们讲解一下硬件部分啊，本来说这个硬件部分可能会用到焊接。但是因为树莓派的集成度会非常的高，所以是不需要焊接的，但是仍然有大量的工作需要我们去做。比如说我们去安装这个算力板，那在安装这个算力板的过程中呢，其实是重装了有两三次了。
算力板也有一些小的设计缺陷，我认为。最大的缺陷呢就是这个算力板安装上去之后呢是树莓派的io口是彻底不能用的。个人感觉呢可以用加长版的那种排母针去做，但是它原版没有带这个，我不确定这样子会不会对于这一套设备有什么损伤，因为也比较贵，所以没敢再去做更多的一些尝试。
那关于他是如何组装的呢？我也是录制了很长的一个视频。那大家可以去观看。
四、软件部分
接下来我们讲解一下软件部分。软件部分我们分为三个步骤去进行讲解吧，第一个步骤。是给树莓派烧录。系统那树莓派烧录系统呢，官方也是提供了他们的售后工具。而并不需要像我们传统的Linux开发板那样子，自己去编译内核，编译镜像，再进行烧录这一点树莓派的优势呢肯定是毋庸置疑的。
现在官网已经升级了大版本，v2.0.0
1. 加载设备列表
2. 选择操作系统
3. 选择存储设备
4. 自定义设置
然后点下一步，确认信息无误后烧录系统
第二个步骤呢就是部署我们的大模型。那这个语音对话大模型啊其实算是比较简单的。因为都是有一些现成的这个模型供大家下载。大家将这些厂家已经提供好的模型下载了之后，再部署到树莓派里面，就完成了整个过程啊，因为书门派的算力有限，所以不要想着去部署性能特别强的那种模型，只能去部署一些相对小一些的，在表达的过程中呢，可能会胡言乱语啊，不过针对于我们这样一个非常小型的，经济型的设备也是可以接受的。
开机后登录系统，打开终端
更新固件与软件包
sudo apt update && sudo apt full-upgrade -y
创建独立虚拟环境
装 llama-cpp-python
下载一个大语言模型
curl https://ollama.ai/install.sh | sh安装模型
ollama pull tinyllama运行
ollama list
最后使用USB声卡
装音频依赖
sudo apt install -y ffmpeg espeak-ng装 Python 语音库
pip install pyaudio speechrecognition pyttsx4
然后就会调用 llm 生成后保存到本地的vibe_out.py文件里面
然后第3点是关于他的这个视觉识别部分，我们买的这个算力板其实是用以色列一家厂商的算力芯片进行制作的。那在这家厂商的算力平台上，其实也是提供了一些已经训练好的模型。我觉得这里呢有必要向大家介绍一下这个模型的整个过程。这个模型首先是我们采集一些数据，然后呢要对这些数据在特定的软件里进行标记，也就是拉方框或者拉圆去标记它，并且在标记的过程中呢就比方说这是一个人，那你就要标记成人。这这是一个狗，那你就在标记的过程就把它就标记成dog。然后我们会把这个数据集给导出来，数据集标记的越精确越标准，后面的实现是越好的。然后导出来一个文件，这个文件不就是我们标记出来的结果吗？我们要把这个文件拉去训练。也就是让他通过各种各样的排列组合来去再形成一个文件。那这个文件呢其实就已经能够跑在一些英伟达的显卡上了，是一个非常标准的AI文件。可是这个AI文件还是不能应用在我们的树莓派上面。因为我们树莓派没有英伟达的显卡，那所以说这个时候就要用到厂家转化工具把这个文件转化成厂家能跑的文件。这就相当于是从这个PC端到嵌入式端的一个数据格式的一个转换，转换之后，我们在树莓派中再运行的话，它就会自动去调用这个算力平台，算力平台就能够启动起来了。
下面部分来源于网上教程，我也是跟着学的
Raspberry Pi AI HAT+ 附加板内置与 Raspberry Pi 5 兼容的 Hailo AI 加速器。AI HAT+ 中的NPU 可用于过程控制、安防、家庭自动化和机器人等应用。
AI HAT+ 围绕 Hailo-8L 和 Hailo-8 神经网络推理加速器，提供 13 和 26 太赫兹/秒（TOPS）两种型号。13TOPS 变体最适合处理中等工作量，性能与 AI Kit 相似。26 TOPS 变种可运行更大的网络，运行网络的速度更快，并能更有效地同时运行多个网络。
AI HAT+ 使用 Raspberry Pi 5 的 PCIe 接口进行通信。主机 Raspberry Pi 5 会自动检测板载 Hailo加速器，并使用 NPU 执行支持的人工智能计算任务。Raspberry Pi OS 内置的 rpicam-apps 相机应用程序会自动使用 NPU运行兼容的后处理任务。
安装
要使用 AI HAT+，您需要一个 Raspberry Pi 5。
每个 AI HAT+ 都配有带状电缆、GPIO 堆叠接头和安装硬件。完成以下说明即可安装 AI HAT+：
1. 首先，确保 Raspberry Pi 运行最新的软件。运行以下命令进行更新：
sudo apt update && sudo apt full-upgrade2. 接下来，确保 Raspberry Pi 固件是最新的。运行以下命令查看运行的固件：
sudo rpi-eeprom-update如果你看到的是 2023 年 12 月 6 日或更晚的日期，请继续下一步。如果看到的日期早于 2023 年 12 月 6 日，运行以下命令打开Raspberry Pi 配置 CLI：
sudo raspi-config在 “Advanced Options > Bootloader Version ”下，选择 “ Latest”。然后用 “Finish ”或 Escape 键退出 raspi-config。
运行以下命令将固件更新到最新版本：
sudo rpi-eeprom-update -a然后用 sudo reboot 重新启动。
3. 开始安装前，断开 Raspberry Pi 的电源。
4. 为获得最佳性能，我们建议将 AI HAT+ 与 Raspberry Pi Active Cooler 搭配使用。如果您有主动冷却器，请在安装AI HAT+ 前安装。
5. 使用提供的四颗螺丝安装垫片。将 GPIO 堆叠接头紧紧压在 Raspberry Pi GPIO 引脚上；只要所有引脚都能安装到位，方向并不重要。断开 AI HAT+ 的带状电缆，将另一端插入 Raspberry Pi 的 PCIe 端口。从两侧提起带状电缆支架，然后将电缆的铜接触点朝内，朝向 USB 端口插入。将带状电缆完全均匀地插入 PCIe 端口后，从两侧向下推动电缆固定器，将带状电缆牢牢固定到位。
6. 将 AI HAT+ 放在垫片上，用剩余的四颗螺钉将其固定到位。
7. 将带状电缆插入 AI HAT+ 的插槽。从两侧抬起带状电缆固定器，然后将电缆铜接触点朝上插入。将带状电缆完全均匀地插入端口后，从两侧向下推动电缆支架，将带状电缆牢牢固定到位。
8. 恭喜，您已成功安装了 AI HAT+。连接 Raspberry Pi 电源；Raspberry Pi OS 将自动检测 AI HAT+。
此部分来源于网上教程，大家跟着做就可以
开始时，请执行以下命令安装最新的软件包：rpicam-apps
sudo apt update && sudo apt install rpicam-apps该演示展示了神经网络检测到物体周围的边界框。要禁用取景器，请使用-n标志。要返回描述检测到的对象的纯文本输出，请添加该选项。请执行以下命令，在你的树莓派上试试演示：-v 2
rpicam-hello -t 0 --post-process-file /usr/share/rpi-camera-assets/hailo_yolov6_inference.json或者，你可以尝试其他在性能和效率上有不同权衡的型号。
要用Yolov8模型运行演示，请执行以下命令：
rpicam-hello -t 0 --post-process-file /usr/share/rpi-camera-assets/hailo_yolov8_inference.json要用 YoloX 模型运行演示，请执行以下命令：
rpicam-hello -t 0 --post-process-file /usr/share/rpi-camera-assets/hailo_yolox_inference.json要用Yolov5的人脸模型运行演示，请执行以下命令：
rpicam-hello -t 0 --post-process-file /usr/share/rpi-camera-assets/hailo_yolov5_personface.json该演示通过在取景器图像上绘制彩色遮罩来进行物体检测并分割。请执行以下命令，在你的树莓派上试试演示：
rpicam-hello -t 0 --post-process-file /usr/share/rpi-camera-assets/hailo_yolov5_segmentation.json --framerate 20本演示进行了17点人体姿态估计，绘制连接检测点的线条。请执行以下命令，在你的树莓派上试试演示：
rpicam-hello -t 0 --post-process-file /usr/share/rpi-camera-assets/hailo_yolov8_pose.json
当然在本次的这个活动中呢，我没有去进行这么复杂的训练。因为啥呢？我也没有英伟达的显卡，现在英伟达的显卡因为美国的制裁等等各项原因也太贵了。也购买不起，那以后要是有机会的话，可以给大家展示一下这个过程。咱们这边就是跑一下他们现成的，让他可以识别一下这个行人，他是有自己的一些库的，这些库里面我们都可以去实践一下。
通过这里GIT上的教程就可以自己进行训练了，定制一个属于自己的视觉智能体
五、视频演示：
六、整体展望
最后呢我们进行一个总结展望吧。我觉得AI可以说是在后面长期的时间里，绝对是改变全人类的一个事物，但是AI当前阶段的发展，确实我认为很多人对他预估的有些高，他并没有像我们想象的那样子有那么好的泛化能力，只是说呢他把一些东西封装起来，那以前我们其实也有很多工具可以去封装这些事情。所以对于AI这个事情，我觉得还是大家理性看待。不要去鼓吹，AI现在发展了什么工作都不需要人了。离那个我觉得还有很远很远的路要走，可能是十几年，可能是50年，也可能是上百年。
毕竟大家想想看，内燃机从发明出来到现在，我们就从最开始的这个蒸汽机到现在大家人人都能开得上小汽车这中间。发展都多少年了呢？而且一些非洲的一些贫穷国家还开不上小汽车。那我们只是说现在可能汽车在马路上还比较普遍，那这个发展我觉得很很远很远。但是对于这种边缘式的嵌入式AI，我还是比较看好。因为啥呢？它的成本相对比较低，比方说咱们如果是拿一个传统的那种翻译器，那它就会很生硬的把这一段话翻译出来。如果说我们用一个AI翻译器的话，就直接让他翻译做到信达雅，那其实我们是可以没有障碍和外国人进行沟通的，那英语什么的你都不需要学了。什么英语，法语，德语，那不需要分那么多语种，直接佩戴一个AI眼镜或者一个AI话筒。直接就把这整个过程给搞定，我对这种是比较有一个展望的，那希望在不久的将来就能够实现，因为我的英语确实非常的差，那现在也在努力的去学习英语，也是非常的痛苦。同时呢学习英语也能够看得懂外国的这些设备的文档，方便去使用。希望大家呢都能够去动手做一些自己的小东西，哪怕你做的这个东西。不是那么的好，那不是那么的完善，每天只抽出来半个小时，一个小时去做这件事情，我觉得呢最终肯定能做出来一些令人惊喜的事情的。
