DualFlow

DualFlow - 多模型协作平台

项目简介

DualFlow 是一个简洁的多模型协作平台，支持多个独立的机器学习模型，便于团队协作开发。

项目结构

DualFlow/
├── models/                 # 各模型独立
│   
├── common/                # 公共逻辑 (共享函数)
│   ├── data/              # 数据处理
│   ├── preprocessing/    # 数据预处理
│   ├── metrics/          # 评估指标
│   └── utils/            # 工具函数
├── ci/                   # CI/CD 流程模板
│   ├── model_build.yml   # 模型构建流程
│   ├── model_deploy.yml  # 模型部署流程
│   └── scripts/          # 部署脚本
├── configs/              # 全局配置
│   ├── registry.yaml     # 模型注册表
│   └── model_matrix.yaml # 模型负责人矩阵
├── tests/                # 项目测试
├── scripts/              # 项目脚本
│   └── run_all_models.py # 运行所有模型
└── README.md

快速开始

环境要求

• Python 3.9+
• Git

安装和运行

1. 克隆项目

   git clone <repository-url>
   cd DualFlow
   

2. 安装依赖

   pip install -r requirements.txt
   

3. 运行特定模型

   cd models/nlp_bert
   python train.py
   

4. 运行所有模型

   python scripts/run_all_models.py
   

开发指南

添加新模型

1. 在 models/ 目录下创建新的模型目录
2. 按照现有模型结构创建必要的文件
3. 在 configs/registry.yaml 中注册新模型
4. 添加相应的测试

代码规范

• 使用 Black 进行代码格式化
• 使用 isort 进行导入排序
• 使用 pytest 进行测试

贡献指南

1. Fork 项目
2. 创建功能分支
3. 提交更改
4. 创建 Pull Request

许可证

MIT License