厂家:无问芯穹
简介:
无问芯穹目前提供两个与AI相关的平台:
1、一站式AI平台:
无问芯穹一站式 AI 平台(AIStudio)是面向机器学习开发者,提供开发机、任务等功能的企业级开发平台,支持从数据托管、代码开发、模型训练、模型部署的全生命周期工作流。
2、大模型服务平台:
无问芯穹大模型服务平台(GenStudio)基于无问芯穹的智算云平台,针对生成式大模型的应用落地的多种场景需求,为应用开发者提供高性能、易上手、安全可靠的大模型服务,覆盖从大模型开发到大模型服务化部署的全流程。
一、一站式AI平台
1、产品优势
一站式:涵盖 AI 开发全流程,包含数据管理、模型开发、训练、推理。
高性价比:提供高性价比的预付费计算资源,额外提供辅助功能帮助提升资源利用率。
开发调试工具:平台内置多种主流机器学习框架的镜像,极大提升开发和调试环境一致性。
分布式训练:预置多种分布式框架,可稳定、高效运行超大规模的分布式训练任务。
高性能推理:部署多种框架的模型到异构硬件,提供高吞吐、低延时、实时扩缩容、容错等特性。
2、开发体验
一站式 AI 平台旨在为人工智能应用开发者提供出色的开发体验。
开发机:为开发者提供的在线编译、调试代码和模型开发的模块,可在开发机内部启动 Docker 容器。
任务:预置了 PyTorchDDP、MPI 多种分布式训练框架,用户无需关心底层机器调度和运维,上传代码和填写适量的参数即可快速发起分布式训练任务。
镜像:平台预置了 CUDA、Pytorch、DeepSpeed、NGC、Ubuntu 等基础镜像,支持基于预置镜像、开发机、Dockerfile 构建自定义镜像。
推理服务:可选择基于平台或自定义的推理服务镜像,配置合适的资源,将模型部署为推理服务。
3、使用场景
数据上云
为 AI 开发环境提供安全、稳定、高速的数据托管与消费能力。数据可分层管理,供授权的云平台产品访问。模型、数据集、代码可通过命令行、专线等传输至云平台。
一站式AI开发
全流程 AI 研发支持,推动人工智能应用快速落地。云平台 AI 资产管理模块负责镜像、模型、数据集管理。开发机用于代码调试、模型开发;任务模块内置容错能力,支持分布式模型训练,确保训练过程平稳高速运行。
二、大模型服务平台
1、产品优势
多种大模型:预置多种来源和参数规模的大模型。
微调服务:微调预置大模型,支持全量参数微调(SFT)以及高效参数微调(LoRA)方式,配置简单,更贴合落地需求。
适配异构芯片:针对英伟达、AMD 以及多种国产芯片在训练、推理场景适配和优化。
评测对比工具:提供多种大模型评测对比工具,可随时调试。
多种访问方式:Web UI 支持即来即用;简单易用的 API、SDK 便于快速集成。
2、使用场景
调用预置大模型
GenStudio 提供开箱即用的推理 API 服务。模型广场集中展示了平台预置的多种大模型。用户选型后可至体验中心,通过 UI 调整参数,体验对话效果。无需手动发起模型部署,通过 API 接口与专属 API Key 即可轻松集成大模型服务。
微调大模型
GenStudio 帮助您轻松实现大模型微调,契合业务个性化需求。您可以选择预置的基础大模型,提供业务知识数据集,通过配置训练方式和训练参数,发起微调任务。平台将自动为您进行模型的微调训练。定制后的大模型也可一键部署为在线服务。
目前上述平台支持Baichuan2、ChatGLM2、ChatGLM3、ChatGLM3闭源模型、Llama2、Qwen、Qwen1.5系列等共20多个模型,以及AMD、壁仞、寒武纪、燧原、天数智芯、沐曦、摩尔线程、NVIDIA等10余种计算卡,支持多模型与多芯片之间的软硬件联合优化和统一部署。
更多内容,请查看该网站的文档部分。
自2024年3月31日起,支持全量开放注册。