J.R.

系统架构

职责

• 两阶段架构设计：阶段一用确定性规则完成大部分转换（预处理 → Lark 语法解析 → AST → 规则引擎 → C# 生成）；阶段二仅对规则无法覆盖的 CALL :标签 子程序调用 LLM 生成 C# 方法，把 AI 的使用范围和风险压到最小
• CMD 语法建模：编写并持续扩展约 490 行 Lark（LALR）文法，处理重定向符可出现在任意位置、< > & | 的二义性、%VAR:old=new% 置换、IF/ELSE 的多种括号写法、含日文的标签名等 cmd.exe 的怪癖
• 输入归一化层（8 类预处理）：在不改变语义的前提下统一混杂换行、行尾粘连括号、多行 ELSE、ECHO 元字符、全角空格等“脏数据”，让文法保持简洁
• AST 与规则引擎：27 种自定义 AST 节点；33 个内建命令 + 1,084 条外部命令映射表（区分“作业进程”与“作业流”两种调用模式）；变量展开区分字符串、参数行、整数表达式三种上下文
• LLM 子程序转换与“语义保留”校验：LabelMapper 将 .cs 的 TODO、.cs.ast 的调用节点、.cmd 原文三方对齐；结构 + 业务语义两层校验（ERRORLEVEL、取消分支、错误跳转、状态标志必须保留）；失败时带原因反馈重试最多 7 次，仍失败则保留 TODO 交人工
• 成本与稳定性：以标签块归一化内容的 SHA256 为键做 JSON 缓存；429 / 5xx 指数退避；Chat Completions 不可用时自动降级到 Responses API；temperature=0 保证可复现
• 质量闭环：约 465 个测试用例覆盖文法层与转译层；批量运行产出 .cs.ERR，按“CMD 原文问题 / 文法缺口 / 代码缺陷 / 环境”四类分类，并整理常见错误清单供团队复用

成果

• ✓ 迁移过程中识别出多处遗留 CMD 的潜在缺陷（如缺少 & 导致 GOTO 实际不会执行、ECHO 输出 SQL 时 < 未转义），作为遗留系统问题记录在案
• ✓ 示例：一本 117 行的数据联动作业 CMD 自动生成 156 行 C#，剩余 11 处 TODO 均为映射表未登记的外部命令，可通过补充映射表继续消减

数据流

遗留 CMD → 编码识别 → 输入归一化 → Lark 解析 → AST → 规则引擎 → C# 生成；TODO 子程序 → 三方对齐 → LLM 生成 → 两层校验（≤7 次重试）→ .label.ai.cs

系统架构

职责

• 数据源迁移：原人员目录停用后，将爬虫迁移到新站点，适配新页面结构与微软 SSO 登录，并兼容旧的职务标识，下游同步逻辑无需修改
• 用 Selenium（Edge Headless）自动登录并遍历组织树，逐人检索所属与职务；通过 paramiko SFTP 将结果从内网 PC 单向推送到 Azure 服务器
• 同步批处理：新旧数据差分，自动生成并执行 SQL，完成账号开通、停用、再入职解锁及部 / 课 / 职务同步；经 Redmine REST API 同步状况报告权限组，白名单成员不受影响
• 用 SendGrid 实现 3 类异常告警；检测到意外的组织变更时自动中止，SQL 由担当者确认后再执行（两阶段），避免错误数据直接写入本番
• 将分散在代码里的部门映射集中到数据库配置表；按客户方针对应 4 月组织变更，设计并执行覆盖页面、申请流程和权限组的测试用例
• 定位并修复本番问题：重复人员导致的锁定误判、再入职账号缺失、网络波动导致的页面超时、Edge 驱动版本不匹配
• 负责两套本番环境（内网运用 PC + Azure VM）上线：备份、部署、关闭写库试运行核对 SQL，再正式运行；编写运维手顺书（部署、告警说明、排错、组织变更 SOP）并完成交接
• 用 Fortify / FOSSology 对全项目做安全与许可证扫描，修复 JSON 注入、SQL 注入等高危指摘，整理 OSS 许可证清单

数据流

社内人员目录 → Selenium 爬虫（内网 PC）→ CSV → SFTP → 差分 SQL / Redmine REST API（Azure VM）→ 账号・部课组织・权限组

系统架构

职责

• 模型能力验证与方向调整：对 Gemma-3 4B 做 COBOL 理解基准测试；在 Colab 上尝试 LoRA 微调但受显存所限无法完成。因业务词典随客户变化，转向无需重新训练的 RAG 方案
• 知识库构建：把数据库设计手册、术语表、表 / 文件 / 作业流定义统一为 {key, value}，按“文件 → 记录 → 字段 → 组字段”的层级做语义切分；仅对 key 向量化（multilingual-e5-small）存入 ChromaDB，并在检索前去除 OCCURS 下标、建立别名与层级路径
• COBOL 解析：基于 Cobol85.g4 生成 Python 的 Lexer / Parser / Visitor；预处理 Shift_JIS → UTF-8、去除行号、处理 $SET 等方言指令；把解析树转成面向 LLM 的精简 AST；变量提取器支持 REDEFINES / OCCURS / COMP / 88 级
• 调用层级分析：由 PERFORM 构建调用图，过滤 RTN / EXT 配对中只起出口作用的 EXT 段落，用拓扑排序确定自底向上的分析顺序
• MCP 集成：用 FastMCP 把向量检索封装成 lookup_field / lookup_record / batch_lookup_fields / get_subroutine_summary 四个工具，模型只检索当前用到的变量，避免把几百个变量定义全部塞进上下文
• 生成与提示词调优：逐个子程序抽取输入 / 输出 / 工作变量与被调用子程序，经 MCP 检索定义并带入下层摘要，由 Gemma-3 生成 Markdown；通过约束提示词去掉空项，并要求用业务语言描述而非直译 MOVE 语句

成果

• ✓ 两本程序（13.7 KiB / 13.5 KiB）分别生成了约 6.5 KiB / 6.7 KiB 的说明书，检索出的术语与预期一致
• ✓ 确立“静态解析 + RAG + 工具调用”的分层方案：按子程序拆分、自底向上分析，让 4B 小模型也能处理超出上下文的长程序，变量说明对应到正确的业务名称

数据流

知识库（手册 → 语义切分 → 向量化 → ChromaDB）⇄ MCP ⇄ COBOL 源码 → 预处理 → ANTLR4 → AST → PERFORM 调用图 → 拓扑排序 → Gemma-3 逐子程序生成 → 功能说明书 .md

系统架构

职责

• 负责业务主服务（Gin + MongoDB）设计开发，按 router / controller / service / model 分层，完成型号、实体、装备、数据字典、模板、想定版本等 17 个模块约 100 个接口
• 设计推演引擎生命周期管理：动态分配端口、想定导出为引擎输入、os/exec 拉起进程并登记，goroutine 监听退出自动回收资源，支持多场推演并行
• 基于 WebSocket Hub 实现按任务分房间的想定多人协同编辑：读写双协程 + 心跳保活，想定树扁平化索引缓存，增量指令实时广播
• 开发算子服务：想定 JSON → 外部仿真引擎 XML 转换（3000+ 行），GeoJSON 区域 / 交集 / 并集空间计算；实现态势按帧录制与暂停、倍速、时间轴回放
• 用 Go 开发引擎控制台，通过 TCP 对接调度服务并透传引擎命令，提供推演启停 / 暂停 / 恢复的 HTTP 接口
• 用 Tornado + SciPy 开发雷达信号生成服务（线性调频脉冲、杂波、回波），后台线程异步生成，Docker 部署

数据流

想定编辑（Vue + Cesium）⇄ WebSocket 协同 → Gin 主服务 → 算子服务（JSON → XML）→ 引擎控制台（TCP）→ 仿真引擎 → 态势回传 → 三维展示 / 录制回放

系统架构

职责

• 基于 ZeroMQ（REQ + DEALER）与 Protobuf 实现平台对接层，封装推演控制、单位 / 任务 / 毁伤查询、航线、起飞、编组等 38 个接口；Runner 以固定步长驱动“观测 → 决策 → 指令”循环并完成胜负计分
• 开发红方防御智能体：感知 — 信息融合 — 导弹 / 火炮 / 激光火力分配 — 打击校验的分阶段决策；开发蓝方进攻智能体：多行动方案、无人机分队起飞与饱和突击
• 部署评测 16 个参赛智能体（规则 / 机器学习 / 深度网络），定位依赖与运行问题，拆解代表性策略并输出技术分享
• 智能体态势经 MQTT 外发，用 PyQt5 开发实时监控工具，多标签页展示红蓝方单位与毁伤，支持按轮次离线落盘复盘

数据流

C++ 推演平台 ⇄ ZeroMQ + Protobuf ⇄ Runner（观测 → 决策 → 指令）→ 红 / 蓝智能体 → MQTT → PyQt5 实时监控

系统架构

职责

• 参与流量处理链路开发：抓包探针 → Kafka → 协议解析引擎 → PostgreSQL；利用 Redis 过期事件实现 10 秒窗口的流聚合与批量入库，显著降低数据库写入压力；利用 Redis TTL 实现设备离线检测
• 实现基于五元组、MAC 和协议功能码的白名单检测引擎，用位图区分“行为异常”与“内容异常”；支持 IEC104 ASDU、OPC 接口 / 功能码的深度规则匹配，并支持按时间段自动学习生成白名单
• 负责资产管理、白名单 / 黑名单策略、告警、报表等 Django REST 接口开发；用 Celery Beat 实现报表导出、策略备份、过期数据清理、探针健康巡检等定时任务
• 集成 Suricata，解析 unified2 告警，接入近千条（996 条）工控漏洞特征规则实现黑名单检测
• 基于 Kafka Connect（Debezium CDC）把数据同步到 Pilosa 位图索引，支撑流量统计与多维查询
• （定制版）解析 IEC 61850 SCD 文件，自动生成变电站 IED 通信基线与拓扑

成果

• ✓ 协议解析是 CPU 密集的字节级操作：解析库以 Cython 编写，把热点路径编译成 C 扩展，性能接近 C 且对上层保持 Python 接口；交付时只发布 .so，也起到保护核心代码的作用

数据流

交换机镜像口 → 探针（Scapy）→ Kafka raw_packets → Cython 协议解析引擎 → Redis 10s 流聚合 → PostgreSQL → 白名单检测 → alerts → Django + Vue；Suricata 并行做黑名单检测；PostgreSQL →（Debezium CDC）→ Pilosa

系统架构

职责

• 基于 Ray 构建分布式算法调度中台（主线负责）：以 Actor 模型统一编排 10+ 类算法能力（成人内容识别、暴恐识别、OCR、台标、Logo、人脸检索、视频拷贝检测、跨模态检索等）
• 消息可靠性：关闭 Kafka 自动提交，一批处理完再 commit（至少一次语义）；puller Actor 数量由客户端动态探测分区数决定，与分区 1:1 对等启动
• GPU 资源分片：以 num_gpus=0.2 小数资源声明，单卡并行承载 5 个模型实例（集群为单机 4 卡 Tesla T4）
• 设计“报文层 — 路由层 — 模型层”三级抽象：报文层用 ray.wait 流式重组推理 batch，路由层按订阅的 algo_id 与模型能力集求交集动态分发；新增一类模型只需新增一个 Actor，不改动既有代码
• 用 SWIG 4.0 把 C++ 算法库封装为 Python 扩展模块（主线负责）：图像以 numpy 内存指针传入并校验 C_CONTIGUOUS，消除跨语言数据拷贝
• 参与华为昇腾 Atlas ACL 推理 SDK（C++11 / CMake）：设备与 Stream 管理，FFmpeg 解封装配合 DVPP 硬件解码；将向量检索由 AscendFaiss 迁移至 Milvus；适配 3 个 CANN 驱动大版本，并定位修复多芯片并行检索时 OpenMP 线程数不匹配导致的索引删除失败
• 模型双平台落地：PyTorch → ONNX（opset 11）→ TensorRT 7 INT8（面向 Tesla T4）与昇腾 ATC .om 离线模型，同一业务代码支持 NVIDIA 与昇腾两套算力，累计维护 17 个模型包
• 自研 OCR 敏感内容识别链路：PSENet 文本检测 + CRNN(LSTM) 识别 + 角度分类，识别结果经 DFA 算法与约 2 万条词库高效匹配

成果

• ✓ 10+ 类算法能力在同一调度中台上线；GPU 版与昇腾版 SDK 归档合计 17 个模型包
• ✓ 向量检索后端统一为 Milvus，GPU 与昇腾两条线的检索接口保持一致

数据流

Kafka 任务 → Puller ×N（与分区 1:1）→ 报文层 → 路由层（algo_id ∩ 模型能力）→ 模型 Actor 池（单卡 ×5）→ 结果 Kafka；C++ SDK 经 SWIG 接入；底库 → Milvus + MySQL

系统架构

职责

• Tornado 服务支持文本 / 图片 / 视频三模态输入：视频抽帧（每 25 帧取 1 帧），经跨模态双塔模型统一编码为 512 维特征，视频特征取帧均值
• 经 gRPC 检索 Milvus 取 TopK 候选，用多条件逻辑引擎（与 / 或 / 非 / 包含）做集合运算，RRF 倒数排名融合重排，批量打标签，Redis 做二级缓存
• 四轮性能迭代：gRPC 单条查询 → 并发批量接口 → 逻辑前置筛选 → 多线程分片查询（100 条 / 批）+ np.dot 批量矩阵点积；底库查询由 N 次串行 gRPC 收敛为 ⌈N/100⌉ 次并发批量查询
• 同类离线产品另有视频特定物体过滤：抽帧 → SDK 提取 512 维特征 → gRPC 检索 Milvus → 后处理 → Docker 交付

成果

• ✓ 累计交付 3 个客户定制离线版本（Docker 镜像）
• ✓ 相似度计算由逐条比对改为单次矩阵点积，配合阈值截断提前退出

数据流

三模态输入（文本 / 图片 / 视频）→ 抽帧 → 跨模态编码（512 维）→ gRPC · Milvus → 逻辑引擎 → RRF 重排 → 打标签 → Redis 缓存 → JSON

系统架构

职责

• 数据采集模块：以 RESTful API 接入爬虫服务，从界面下发采集任务，结果存入 MongoDB
• 数据处理模块：将 OpenCV 图像处理、FFmpeg 视频处理封装为 Tornado 接口，通过 Vue 界面操作；设计分片断点续传上传
• 模型缺陷分析模块：将初打标与人工确认界面化；输入多数据集／模型计算 PR 指标并自动生成 PDF 报告
• 前后端均参与，包含页面代码修正与 UI 改善

系统架构

职责

• 两阶段识别：Mask R-CNN（R-101-FPN）检测学生 → ResNet18 做行为分类（6 类，置信度低于 0.95 记为“不确定”）；比让检测模型直接分类更准，且行为类别调整时只需重训小的分类器
• 实时分析：OpenCV 读 RTSP 流，视频时间戳落后于实际时间就丢帧以保证实时；每个班级一个独立 GPU 进程，启动前用 nvidia-smi 检查剩余显存
• 跨帧跟踪与身份识别：自研 5 秒窗口的双向重叠率跟踪；face_recognition（dlib）提取 128 维特征与班级人脸库比对，同一轨迹内取出现最多的学生 ID 投票，低头、侧脸时身份仍能认对
• 趴桌 / 扭头实时告警：裁出学生头像（base64）写入告警；最新结果与逐帧历史分开存入 MongoDB
• Tornado 后端：账户与三种角色、预警与报表（学生・课堂・年级・学校四个层级）、微信小程序 API 与第三方平台开放 API；对接产品经理的原型并设计接口协议字段
• 用 scikit-learn 分析行为数据，输出每位学生的周报、月报与学期报告，推送到家长的微信小程序
• 内部数据标注与训练平台：视频剪辑 → Mask R-CNN 预标注（生成 labelme JSON）→ 人工修正 → 裁图 → 建数据集 → ResNet18 训练（断点续训、loss / 准确率曲线）→ 验证；整节课离线分析模块即实时算法的原型
• 交付：核心跟踪算法用 Cython 编译为 .so，配合 supervisor 守护与加密狗授权，在多个客户处私有化部署

成果

• ✓ 同一套代码同时服务 3 个客户的定制接口、完整的第三方开放 API 与微信小程序
• ✓ 把数据生产做成网页工具，用模型预标注减少人工量，非算法人员也能参与标注

数据流

摄像头 RTSP → OpenCV 读流 / 丢帧 → Mask R-CNN 检测 → ResNet18 行为分类 → 人脸识别 + 跟踪 / 投票 → MongoDB → Tornado 页面 / 实时告警 / 微信小程序

系统架构

职责

• 统计引擎后端（Tornado，约 1650 行、21 个路由）：课堂 / 教师 / 学生的列表、详情与历史趋势，教学态度时序曲线，样板课堂 TopN
• Elasticsearch 查询：bool + terms + range 组合，terms 聚合下嵌套 avg 子聚合（按课堂算教师平均 happy 概率、词数、语速），大结果集用 scan / scroll 遍历；CV 与 ASR 多源结果在应用层合并后排序
• 管理后台前端（vue-element-admin 4.4）：基于角色的动态路由权限、数据大屏、课堂 / 教师 / 学生列表与详情、排名、趋势、筛选；ECharts 可视化，Docker 化与多环境配置
• 参与算法分析：综合学员说话比例、连贯表达与情绪正向程度，找出约 30 秒的“高光时刻”片段，并标记噪音、课件语音干扰、家长陪同等异常，用于给家长的学员表现报告

数据流

页面采集 SDK → OSS → ASR / CV / VAD Worker → Elasticsearch → 分析 / 统计引擎 → 管理后台 + MQTT 实时告警

系统架构

职责

• 推理流程：随机抽帧 → YuFaceDetectNet 检测 + 5 点关键点 → 仿射对齐 → 遮挡 / 姿态模糊 / 年龄三个模型过滤 → ResNet18 提取特征并做余弦相似度比对；取年龄最小的人脸（< 17 岁）锁定学员本人、排除家长
• 多框架混合推理：检测与特征提取用 PyTorch，遮挡、姿态、年龄用 MXNet Gluon，统一跑在 CPU 上；从 v1.0 到 v3.4 持续迭代（dlib 68 点 + Laplacian 模糊检测 → 更换模型与对齐 → 加入三个质量模型 → 重写全库检索与视频校验）
• 用 Redis 存放特征，支持全局、增量、指定人三种检索；全库两两比对按代码注释估算约 4000 万次
• 商业授权控制：调用次数、到期时间、每日额度经 AES 加密存入 Redis，SETNX 做分布式锁，校验设备 SN；核心模块用 Cython 编译为 .so 交付
• 配置按“命令行参数 > 环境变量 > JSON / YAML”的优先级读取；Docker 部署，构建时从 OSS 拉取模型权重

数据流

视频 → 随机抽帧 → 人脸检测 / 对齐 → 遮挡·姿态·年龄过滤 → 特征提取 → 余弦比对 / Redis 特征库 → 核身 / 检索结果

系统架构

职责

• YOLOv5s 主检测（7 类界面元素）并用规则判定截图类型；自行标注 1 万多张截图与 1 千多张点赞 / 评论图标，k-means 聚类先验框
• 朋友圈详情：PaddleOCR（PP-OCR，DB 检测 + CRNN 识别）按版面位置取发布时间、广告文案与海报 ID；二维码解码；右下角裁剪后用 YOLOv5 检测点赞 / 评论图标，再用 3 层 CNN 识别数字
• Tornado + PyTorch + PaddlePaddle 服务：token 与 MD5 完整性校验，nanoid 请求追踪，原图存 OSS，全量结果与耗时写入 Elasticsearch，用于排查线上异常返回
• 升级 PP-OCR 模型版本，提高海报 ID 与发布时间的识别率

成果

• ✓ 数字识别的 3 层 CNN：训练集 98.95% / 验证集 98.25% / 测试集 84.45%

数据流

截图上传 → token / MD5 校验 → YOLOv5 控件检测与分类 → PaddleOCR + 二维码 + 点赞数识别 → JSON 返回；全量结果写 Elasticsearch