未来几年，终端业务面临的一大挑战是生成式AI带来的不确定性。搞清楚业界都在用大模型干什么，可以为我们提供一些参考。 未来几年，终端业务面临的一大挑战是生成式AI带来的不确定性。虽然现在还不太好确切地回答这个不确定性在哪里，但是搞清楚业界都在用大模型干什么，可以为我们提供一些参考。 首先看创业公司，他们的业务方向都经过了投资者真金白银的筛选，具备极高的参考价值。根据CB Insights发...

实验要求使用Google Gemini API或者ChatGPT (OpenAI API)搭建自己的应用。 1. 准备工作 学会使用Google Colab写代码，并使用Gradio来托管App。 详见课程Slides 2. 获取API key 可选的API有： Google Gemini API：免费； ChatGPT (OpenAI API)：有5美元的免费额度； ...

C++调用Python3 使用python提供给C/C++的API 链接到Python调用库 在CMakeLists.txt添加头文件和动态库位置 find_package(Python3 COMPONENTS Interpreter Development REQUIRED) add_executable(TestC__ main.cpp) include_directories(...

预备知识 点估计 vs 区域估计 点估计和区域估计都是统计学中常用的估计方法。 点估计：通过样本数据来估计总体参数的值，得到一个具体的数值作为总体参数的估计值。例如，通过样本数据估计总体均值、总体方差等参数。 区域估计：通过样本数据来估计总体参数的值，并给出一个区间作为总体参数的估计值。例如，通过样本数据估计总体均值的置信区间，可以得到一个区间，这个区间内的值有一定的概率包含总体均值。 ...

术语辨析 ​SMAC：​即Sequential Model-based Algorithm Configuration算法的实现，实现了一种基于随机森林的贝叶斯优化。这里的SMAC库是最初设计用于Auto-WEKA的java版本。 ​SMAC3：​SMAC3是SMAC的Python实现，用于Auto-sklearn中的超参优化。 预备知识 Ray Tune / SMAC3对比 都是...

概述 Ray是一个用于扩展AI和Python应用程序的统一框架。Ray由核心分布式运行时和一组用于简化ML计算的AI库组成: 其中，Tune作为Ray AI Libraries的应用之一，是可扩展的超参数调优工具。 作用 Tune可用于任何规模的实验执行和超参数调优，目前兼容PyTorch, XGBoost, Scikit-Learn, TensorFlow和Keras等框架。 ...

环境准备 使用双节点（90.91.33.64，90.91.33.65）训练，需在每个节点上部署相同的环境。 环境 CUDA=11.3 Python = 3.9.17 Pytorch = 1.11.0 创建虚拟环境 conda create -n colossal-AI python=3.9 安装Pytorch conda install pytorch==1.11.0 to...

Calculon介绍 什么是Calculon? Calulon是LLM的参数化分析性能模型，用于指导high-level算法架构协同设计研究。 Calculon的性能 可以在大约1毫秒内估计给定LLM、系统配置和软件执行策略的时间和资源使用情况，允许探索具有数十亿这样的配置的大型设计空间。 Calculon使用什么技术？ Calculon使用张量并行(TP)、管道并行(PP)和数...

Ceph是一个对象（Object）式存储系统，它把每一个待管理的数据流（例如一个文件）切分为一到多个固定大小的对象数据，并以其为原子单元完成数据存取。 Ceph架构 RADOS： 对象数据的底层存储服务，是由多个主机（host）组成的存储集群； LIBRADOS：是RADOS存储集群的API，它支持C、C++、Java、Python、Ruby和PH...

Ceph介绍 Ceph存储简介 Ceph是一个可靠、自动均衡、自动恢复的分布式存储系统，通常可用于对象存储，块设备存储和文件系统存储。 Ceph在存储的时候充分利用存储节点的计算能力，在存储每一个数据时都会通过计算得出该数据的位置，尽量的分布均衡。 Ceph存储组件 Ceph核心组件包括： OSD Monitor MDS OSD：英文全称为Object Stora...