Skip to content

Releases: tencentmusic/cube-studio

v2024.08.01

21 Aug 07:47
Compare
Choose a tag to compare

支持list界面历史版本和增改界面级联参数类型
支持级联参数类型,以及notebook示例
增大内网穿透端口
升级grafana版本
优化图标显示
更换github地址
增加github ci
去除模型结构网络定义功能
编排界面支持通用编排能力
增加标注训练全流程示例
更新报错显示
更新label studio的镜像
添加模型定义功能,编排模型结构
通用pipeline支持场景配置
更新label studio 部署和yolov8测试示例
修改整体资源页面占用资源但未running pod的显示
Aihub 增加Apple 续写模型DCLM-7B
初始化标注平台到public 项目组
添加项目组信息查询接口
添加aihub部署的时候 自动覆盖代码。实现aihub的更新
添加结果保存步长限制
添加操作行为记录
修改docker 安装方法
yolov8目标识别结果保存
添加音频处理模板
任务模板参数 choice可配置key value
添加数据处理流程任务模板
标注平台更改logo
全自动流程电瓶车识别
增加yolov8的微调示例
更新最新需要的镜像列表
自动化标注支持多后端模型
升级sd weiui为中文,目标识别检测
完善不使用docker时的部署方法
修正初始化模板
完善文档
任务模板强制必须添加启动命令
修正部分aihub应用镜像
修正运行中任务流示例的耗时显示
修正内存资源没有单位显示时的计算
yolov7支持gpu训练,和推理
清理冗余代码
修正整体资源界面删除时aihub清理
修改默认rancher版本和k8s版本
全量增加模板的启动命令
vgpu升级到k8s 1.25
修复任务可视化显示
优化推理服务配置显示
更新gpt的url

v2024.06.03

29 Jun 15:52
Compare
Choose a tag to compare

修复部分bug

v2024.06.01

24 Jun 05:59
Compare
Choose a tag to compare

mlops平台相关:

修正内部服务ip范围
更新教程视频
支持pipeline任务优先级
nni超参搜索支持单机多进程和多机多进程两种形式
修正notebook ssh链接配置
notebook配置内外网时,模式使用url代理,而不是端口代理
数据集sdk去除load功能
watch组件只是supervisord管理进程
修复在celery worker中数据库连接失败的报错问题
修复微调添加出错后,平台数据库受影响的问题
添加用户登录时拷贝示例数据到个人目录
添加pipeline导出
支持k3s部署cube-studio
支持helm部署cube-studio
支持kubesphere部署cube-studio
优化边缘集群模式部署
添加最小化单机部署
添加pod计量计费区分不同集群
删除pipeline时,清理绑定的workflow
分布式任务支持gpu共享占用模式
修复管理员批量删除在线pod的功能
去除前端输出重复校验的问题
增加cuda 12.1的notebook,pipeline镜像
计量计费增加机器信息
升级hadoop客户端任务模板,支持hdfs,hadoop,spark,hive任务执行
升级大数据版本jupyter,支持hdfs,hadoop,spark,hive任务执行
添加datax-import任务模板,不使用json作为输入
升级ml推理镜像,支持输入输出信息显示
rstudio添加激活按钮
支持推理服务定时伸缩容
更改第四范式vgpu化能力
sqllab支持hive,presto,clickhouse sql对接
datax支持拉取clickhouse数据
推理服务支持jwt统一认证
支持label studio标注平台免登录
内部服务支持window应用
模型管理支持模型下载
数据集管理支持数据集预览
用户界面去除删除按钮

aihub模型市场相关:

增加aihub基础镜像版本
aihub支持对接hugging face
去除aihub原有前端界面,改为gradio
删除失效的aihub应用

gpt大模型相关:

aihub添加百川2,llama3,gemma,glm4等各类型的gpt大模型
完善deepspeed任务模板和示例
增加baichuan2,llama2,chatglm2,chatglm3,chatglm4,qwen2微调任务模板
支持大模型vllm推理和openai流式接口
添加llama-factory任务模板
智能聊天,支持结果可视化
修正私有知识库接收消息不全的问题
添加chatglm3,chatglm4,qwen2 微调全链路
aihub支持stable-cascade,sd3,sd video以及sd的其他模型
智能体支持aihub接口格式
智能体支持chatglm4和qwen2

v2024.03.01

28 Feb 12:21
Compare
Choose a tag to compare

1、更新torch server、tfserving、triton server推理服务镜像版本
2、k8s dashboard web界面去除不可控区域,避免安全问题
3、升级任务模板
4、增加智能聊天功能
5、增加任务优先级
6、增加计量计费
7、增加算力额度控制
8、支持添加端口黑名单
9、修正数据集备份功能
10、添加notebook镜像保存
11、yolov3更新为yolov7,推理web使用gradio
12、其他的文档修正和代码bug修正

v2023.12.01

18 Dec 02:57
Compare
Choose a tag to compare

完善文档
完善初始化示例
完善测试脚本
更换新版本整体资源界面
支持暂停和恢复任务流
任务流支持任务推荐
分布式训练支持gpu和rdma,拉取秘钥等信息传递
全面修改国内网络源的使用
新增ib卡的监控
修复gpu显存占用率和gpu利用率bug
标准化ml server配置格式和接口格式
支持统一镜像服务下多仓库秘钥配置
新增各类型特征处理模板
新增时间序列算法模板
aihub修改统一前缀/aihub/$name/和/aihub/$name/api
前后端支持国际化
支持数据集一键探索功能
删除冗余前端代码
支持ipvs 的k8s网络模型
支持分布式训练时单机调试分布式worker镜像
支持ssh隧道联动notebook sshd
添加内网离线环境部署打包的修正方法
全面升级python基础包
支持centos8和ubuntu22.04部署
支持sqllab,菜单,可配置化
添加datax,sqllab,维表对接postgres的示例
增加数据库结构说明
增加登录验证,强密码,远程用户,登录频率限制,密码密文传输等
支持gpt4对话
整体资源页面,支持管理员批量删除
增加修改和删除,清理等操作的历史记录
修正智能聊天在特殊返回值下内容显示不全的问题
修正后端错别字,中英文和非必要的冗余代码
添加任务流导入模板
删除任务时,删除相同run-id的service
修正任务超时的配置
去除frameworkcontroller组件,nni组件不再依赖
添加跳过功能
workflow pod人性化展示以及中文显示
修正整体资源界面,vgpu调度显示

v2023.08.01

19 Oct 06:00
Compare
Choose a tag to compare

1、全面替换基础组件的版本,基础组件基本支持arm64算力系统
2、修改初始化配置,兼容更多k8s部署工具。
3、替换基础部署k8s版本为1.21
4、升级优化各类型job模板
5、添加nfs的基础部署,添加harbor的基础部署,去除kube-batch
6、修正部分错别字和代码风格优化

v2023.04.01

11 Apr 10:07
Compare
Choose a tag to compare

基础架构

  • 支持到1.18~1.25 k8s版本
  • 支持最小化部署
  • 增加alluxio+minio分布式缓存
  • 增加efki日志系统
  • 增加harbor私有仓库部署
  • 去除kubeflow-pipeline依赖,添加argo独立部署
  • 添加gpu机器配置和内网域名解析配置

平台:

  • 基础环境更新为python3.9
  • celery更新为5.1.2版本
  • 添加数据集导入模板,模型导入模板,模型注册模板
  • 增加sqllab功能
  • 推理服务单台滚动发布
  • 添加资源汇总页面
  • 支持用户密码修改
  • 增加可选notebook基础镜像
  • 添加认证信息多平台授权
  • 添加数据集版本,权限管理,上传下载

其他:

  • 支持任务结果可视化
  • 支持数据集预览,模型指标预览
  • 支持血缘链路,字段、表、任务、看板关联
  • 支持sdk数据集上传下载,大数据量媒体文件数据处理。
  • 支持sdk 发起训练部署和推理
  • 支持gpu虚拟化
  • 支持分布式任务模板
  • 支持传统机器学习算法模板
  • 支持推广搜算法模板
  • 支持模型压缩,格式转换模板
  • 支持大模型模板
  • 支持400+aihub模型应用
  • 支持aihub转notebook开发,pipeline微调,web手机端和pc端推理体验
  • 支持国产芯片部署
  • 支持边缘集群模式
  • 支持标注平台与特征平台,以及特征处理sdk
  • 支持大模型微调,私有知识库,人机对话数字人

v2022.09

12 Nov 08:54
Compare
Choose a tag to compare

1、部署:
简化istio部署模式/prometheus部署、修正istio gateway部署端口重复问题,
合并部署tfjob/pytorchjob/mpijob/mxnetjob,
减少部署镜像,
支持k8s 1.20,1.21,1.22等版本

2、平台:
优化前端ui风格,修正前端构建方法
支持前后端独立部署方式,
新增离线表/指标/维表/数据集/数据etl/模型管理功能,
修改水印和pipeline跳转链接,
禁用jupyter的xsrf和网关请求大小限制,
支持非80端口的网关入口,
支持k8s共享内存的自动挂载。
补充coredns的配置,支持内网特殊dns解析
添加全局用户pod的监控,添加用户任务资源占用监控,修正部分监控页面打开bug,
添加推理服务sidecar功能,支持ip端口形式的流量监控。
添加服务的帮助链接,
添加bug report链接,
支持多集群下,不同泛域名,
支持右侧菜单自定义配置,
添加支持bigdata machinelearning deeplearning版本jupyter,支持ssh直连notebook,支持notebook中hadoop,spark,flink数据分析
添加支持服务部署中内外双网卡和单域名模式,
添加支持密码修改,支持跨域共享cookie认证,和ifram嵌入跨域问题,
增加任务跳过功能,增加项目组切换后,挂载自动补充
添加数据集/模型/推理/内部服务/模板/pipeline示例,
添加chatbot/cartoonize/openpose/face/yolo/wenet等内部服务示例,
添加triton/tfserving/torchserver镜像构建和推理demo
添加mpi/spark-serverless/horovod/paddle/mxnet/tfjob-k8s/分布式训练,
添加hadoop模板,支持spark任务提交
添加ner中文实体识别模板,修正模板的使用说明和参数说明,
github补充wiki和英文版说明,
代码规范升级,修正数个isues bug

3、aihub:
平台添加aihub 应用市场查看,
开源aihub python sdk,
深度学习,添加算法模型animegan,ddddocr,deoldify,detectron2,face-paint,gfpgan,humanseg,paddleocr,panoptic,stable-diffusion,yolov3
传统机器学习,添加算法示例AdaBoost,Bayesian,CRF,CatBoost,FM,HMM,LDA,MCMC,MEM,PCA,SVD,SVM,decision_tree,gbdt,kmean,knn,lightGBM,linear_regression,logistic_regression,neural_networks,random_forest,xgboost,关联分析,最小生成树,极大似然估计,聚类,集成学习

v2022.08

31 Aug 06:14
Compare
Choose a tag to compare

1、部署:修正istio/prometheus部署、独立部署istio/tfjob/pytorchjob/mpijob/mxnetjob,简化部署镜像
2、平台:优化前端ui,添加前后端分类部署方式,新增hive离线表/指标/维表/数据集/数据etl/模型管理功能,修改水印和pipeline跳转链接,禁用jupyter的xsrf和网关请求大小限制,支持非80端口的网关入口,更新k8s共享内存的自动挂载。补充coredns的配置,添加全局用户pod的监控,添加推理服务sidecar功能,支持端口形式的请求监控。添加服务的帮助链接,前端添加retry_info能力。
3、模板:添加mpi/spark-serverless/horovod/paddle/mxnet/tfjob-k8s/分布式训练,hadoop模板,ner中文实体识别模板,修正模板的使用说明和参数说明
4、example:添加数据集/模型/推理/内部服务/模板/pipeline示例,添加chatbot/cartoonize/openpose/face/yolo/wenet等内部服务示例,添加triton/tfserving/torchserver镜像构建和推理demo
5、github补充wiki和英文版说明

v2022.07

31 Jul 08:06
Compare
Choose a tag to compare

1、部署:修改仓库地址、修正istio prometheus部署、独立部署istio、独立部署tfjob/pytorchjob/mpijob/mxnetjob、添加prometheus持久化
2、镜像:添加新gpu构建镜像、添加推理服务的构建镜像
3、功能:添加pipeline/service/job-template初始化方法,pipeline自动排版,添加支持拉取策略为IfNotPresent、修复边缘模式下jupyter打不开的问题
4、模板:添加mpi-operator/spark-operator、添加horovod分布式、spark-serverless分布式、tfjob-k8s、替换stern为in cluster模式、
5、demo:添加chatbot/cartoonize/openpose/face/yolo/wenet等推理服务示例、添加人脸识别web镜像、模板demo示例