智养舒居:基于YOLOv8-pose与多模态的居家安全监护系统实战

  • ~3.12K 字

这篇博客分享一个我大二、大三期间主导并深度参与的实战项目《智养舒居—基于YOLOv8-pose构建的多模态居家安全监护系统》。

这个项目源于日益严峻的老龄化社会背景,传统设备存在盲区大、隐私泄露风险高、且误报率高的问题。为了解决这些痛点,这个项目从零开始,研发了一套结合AI视觉、环境感知与边缘计算的全闭环智慧系统。

🛠️核心技术栈总览

在本项目中,我全程深度参与从算法模型训练边缘硬件接入到后端服务Web平台微信小程序开发的全流程研发工作,核心技术栈与工作内容如下:

  • 算法模型训练:基于Python,完成YOLOv8x-pose深度学习姿态估计模型的训练与调优,实现人体关键点精准检测;结合SVM支持向量机构建机器学习分类模型,完成姿态数据的分析与识别。
  • 后端开发:基于RuoYi开源快速开发框架,采用Spring Boot框架搭建后端服务,遵循RESTful API架构实现接口标准化设计;使用MySQL数据库完成业务数据持久化存储,结合Redis缓存提升系统并发处理能力与响应效率。
  • 前端开发:采用Vue.js搭配Element-UI组件库,Echart、DataV、Axios等插件,完成Web管理平台的页面开发、功能集成与交互优化,实现系统后台的可视化管理。
  • 微信小程序开发:独立完成微信小程序的全流程开发,实现移动端轻量化功能交互、数据实时展示与业务闭环落地。
  • 边缘计算与硬件部署:基于Raspberry Pi(树莓派 4B)硬件平台与Linux操作系统,完成DHT11温湿度传感器、MQ-2烟雾传感器等多源传感器网络的硬件接入、数据采集与边缘端环境部署调试。

系统整体架构图

💡我的核心工作与难点攻克

为了让系统真正在复杂居家环境中落地,我在开发过程中投入了大量精力解决实际工程问题。以下是我在项目中主导的几个核心模块:

1.边缘计算与硬件通信部署

为了在控制成本的前提下保证高可用性,系统的感知层完全基于边缘计算架构独立搭建。我负责了整个硬件节点的选型、环境配置、代码烧录与通信链路打通。

  • 硬件选型与装配:以树莓派 4B为核心主控,通过CSI接口外接Camera Module V2采集视频流,并利用GPIO引脚接入DHT11(温湿度)与MQ-2(烟雾)多源传感器,保证数据可以传输。
  • 环境部署:在树莓派中配置了基于Ubuntu的轻量级Linux运行环境,编写Python数据采集脚本,实现传感器数据的实时读取与视频流的硬件解码。
  • 数据上云:通过内置Wi-Fi模块,将预处理后的多模态数据打包、分片实现低延迟稳定推流至云服务器,打通了端到端的数据链路。

硬件设备效果图

2.核心算法调优与多模态数据融合

这是整个系统最核心的“大脑”部分。为了在复杂居家环境中精准识别老人行为,我主导了深度学习模型的训练与多模态数据的融合策略。

  • 模型训练与显存优化:因为作为学生参与,没有Gpu算力资源,我放弃了算力要求过高的传统方案,转而采用YOLOv8-pose框架。全程主导了涵盖4类核心动作(站、坐、蹲、躺)的7900张海量数据集的采集、清洗与标注。面对训练时的显存瓶颈(个人PC端),我设计了分批次迁移学习策略,并通过模型集成技术,最终将行为识别准确率提升到96.1%
  • 多模态数据融合:单一的视觉检测极易产生误报。我引入了融合算法,将视觉提取的人体 17 个关键点坐标,与传感器传回的环境温湿度、烟雾浓度进行融合特征提取。
  • SVM风险决策:利用Z-score归一化处理异构数据,并基于径向基函数(RBF)构建了SVM风险决策模型。实现了“异常姿态+环境参数”的交叉验证,构建了异常行为分级预警机制。

模型训练效果图

模型指标图

3.全栈架构开发与多端业务闭环

  • 后端中枢支撑:采用Spring Boot框架组织业务逻辑,便于模块划分与功能扩展;以MySQL数据库作为数据存储核心,负责持久化各类结构化数据,包括用户信息、老人档案、监护数据、设备运行参数等,为系统稳定运行提供坚实数据支撑;引入Node.js服务器端运行环境,接收前端HTTP请求、处理并发任务,确保前后端数据交互高效;遵循标准化RESTful API接口设计规范,实现前后端高效对接,同时为后续系统集成预留拓展空间;引入Redis作为高性能内存数据库,构建专属缓存层,缓存老人实时监护数据、用户权限信息等频繁访问的数据,制定合理的缓存策略与数据更新机制,确保缓存数据与数据库数据一致性,有效减轻数据库压力,大幅提升系统整体响应速度。
  • Web 管理端与数据大屏:选用Vue框架作为前端核心,利用其组件化开发模式高效构建用户界面,借助HTML、CSS、JavaScript搭建页面基础架构;搭配Element-UI组件库美化界面、优化交互逻辑,提升社区工作人员操作体验;引入Apache ECharts和DataV可视化工具,将复杂的老人监护数据、设备运行数据、异常预警数据等,以直观的图表、仪表盘及大屏形式呈现,方便社区工作人员快速掌握区域内养老监护情况,实现全局掌控与高效管理。
  • 适老化移动端:独立完成微信小程序的全流程开发,聚焦适老化设计,简化操作界面、优化交互逻辑,适配老人及家属使用习惯;实现老人实时监护状态查看、异常预警提醒、家属联动通知等核心功能,彻底打通了“监测-预警-响应”的最后一公里,让家属随时掌握老人居家安全情况,提升监护及时性与便捷性。

Web端架构图

前端监控数据大屏
(图注:Web 管理端的数据分析与实时监控可视化大屏)

🏆项目完成度与阶段性成果

目前,该系统已经完成了软硬件闭环联调,核心功能均已平稳运行,能够有效满足独居老人的全天候监护需求。

在攻克这些技术难关的过程中,我们的系统也获得了认可。从项目成立至今荣获了:

学科竞赛荣誉

  • 第十届全国青年科普创新实验暨作品大赛 河北赛区 省级二等奖(2024.5)
  • 第十二届全国大学生数字媒体科技作品及创意竞赛 国家级三等奖(2024.11)
  • 2024年华北五省(市、自治区)及港澳台大学生计算机应用大赛 决赛 省级三等奖(2024.12)
  • 2025河北水利电力学院大学生创新大赛 校级三等奖(2025.5)
  • 第十一届全国青年科普创新实验暨作品大赛 河北赛区 省级一等奖(2025.6)
  • 2025年大学生创新训练计划项目 省级顺利结项(2025.6)
  • 2025年华北五省(市、自治区)及港澳台大学生计算机应用大赛 决赛 省级三等奖(2026.1)

软件著作权

  • 基于图像识别技术的智慧养老的小程序,计算机软件著作权,登记号:2025SR0893448,2025.05.29,原始取得,享有全部著作权
  • 基于图像识别技术的智慧养老系统管理端,计算机软件著作权,登记号:2025SR2321087,2025.12.02,原始取得,享有全部著作权

学术论文成果

  • 李亚男,董子阳,刘然,刘雨佳.基于YOLOv8-pose构建的多模态居家安全监护系统[J].河北水利电力学院学报,2025:1-6.

这些成果是对我开发能力和工程实践落地的最好证明。

🔗 技术专栏占位

为了保持这篇复盘的简洁,关于项目中涉及的底层硬核技术,我将它们拆分成了多个博客文章。感兴趣的朋友或HR,可以点击下方链接查看我的具体实现思路:

通过这个项目,我不仅深化了代码能力,更深刻体会到了技术落地去解决实际社会痛点的成就感。期待未来能用技术创造更多价值!

💖 感谢支持,点击查看收款码
你的鼓励是我持续更新的动力!