1、系统部分-MVC框架, 前台采用bootstrap响应式布局,通过ajax传输医师&患者个人信息和图片到后台tornado的处理函数,处理后将结构化数据存储在数据库当中. 初识cookie在用户登录逻辑中的作用,了解模板生成表格逻辑和删除表格逻辑.

2、智能分析部分-采用Dlib landmark64定位点获取患者面部,通过resnet识别患者面部特征,slftmax返回疾病概率.

1.通过实践项目,将本科阶段学习的数据库和前端知识熟练运用到实际生产当中,掌握echart数据展示框架和bootstrap UI框架.

2.学习Dlib人脸识别框架和resnet分类模型,通过爬虫获取疾病数据集并训练识别内核.

1.数据库和前端的增删查改.

2.Supervosor进程守护和开机自启.

3.python多进程&多线程调用CUDA进行resnet模型训练和模型识别.

4.ffmpeg视频操作.

5.Labelme生成faster r cnn 需要的coco数据集.

6.dlib对视频中人脸进行聚类.

1.熟练使用增删查改在数据库和前端展示功能.

2.初次了解物体检测和物体识别的两步式流程.

3.熟练运用coco数据集训练Fasterrcnn模型,熟练使用resnet训练模型,熟练使用模型进行数据分类.

4.进一步了解人脸识别步骤,人脸数据映射(embedding)到128维单位球上,两向量欧式距离小于0.6断定为同一人.

1.由于联想售后问题推脱,自行在集群特定节点安装所需环境,Ubuntu,CUDA,CuDnn,PyTorch,maskrcnn,Detectron2等环境.

2.为提高学生行为识别系统的准确度和精度,进行统一数据修正.并增加数据集以完成对举手这个特定动作的识别识别要求.

1.安装Ubuntu环境,并换源.

2.将节点设成固定ip和端口,设置固定sudo账号.接受管理

3.安装Nvidia的硬件加速运算库CUDA,CuDnn.

4.安装软件环境python,及其库:pytorch torchvision maskrcnn detectron2 matplotlib sklearn opencv tensorflow-gpu

5.Labelme标注

1.熟练安装系统开发所需环境.

2.第一次了解集群环境.

3.掌握物体检测数据标注,掌握训练fasterrcnn是数据输入coco数据集格式,以及如何将labelme数据集转化coco数据集格式.

1.基于图像表征特征构建仰卧起坐模型算法.

2.判断什么时候是up,什么时候是down,当up时技术加1,down时什么都不做.

3.不断调整模型内部参数.

1.第一次研发自己的模型内核,解决一个实际场景,动手学习深度学习.

2.掌握深度学习基本知识,卷积,赤化,Relu,全连接,如何使用pytorch编写网络代码.

3.了解常见网络构造及不同模型bbox生成原理.

4.熟练使用opencv

1.基于关键点构建举手动作模型检测算法.

2.手臂关键点构建的向量正向且具有一定模长,弯曲角度小于某参数,距离面部一定距离.

熟练掌握detectron2.

前端增删查改

熟练掌握mvc,echarts.

1.vue大型单页系统,element ui 数据驱动渲染模式(MVVM框架)

2.vue视频切片上传.

3.web socket后台主动向前台通信.

4.apidoc自动化生成接口文档.

1.通过项目熟练使用vue,element ui.

2.掌握数据驱动型前端页面渲染的便捷性.

3.了解vue组件生命周期.

4.掌握自动化生成API文档.

1.运用线性回归拟合曲线.

2.运用SVM学生分类.

3.热力图展示捕捉率和行为打分关系.根据学生行为成绩呈正态分布符合一般规律,验证模型确定性.

4.docxtpl 模板生成每位同学周报,月报和学期报告.

1.寻找数据之间的规律,熟练使用sklearn,matplotlib.

2.熟练使用word模板文件.

1.处理4T癌症细胞医学数据集,生成可处理的图片数据集.

2.处理视频行为分类数据集,尝试从多维度解决某些行为分类不准确问题.克服2维数据不准确性.

3.Jetson.

1.opencv处理图片和视频.

2.部署3d-resnet识别行为体态数据集:hmdb51 UCF101.

3.在Jetson开发板安装软件开发环境.

1.熟练使用opencv.

2.熟练部署和使用网络模型.

3.了解边缘设备系统安装(类似树莓派开发板).