中端:deepx的aispace与func体系

[miaobyte]

概述

deepx通过提供aispace与func体系，定义了一套自己的深度学习的程序设计与运行规则，实现通过简易的控制面程序，来驱动庞大复杂、追求性能的计算面程序。

aispace:kv寻址体系的AI计算底座

aispace-agent把所有gpumem、主机mem、存储（文件系统、对象）注册自身的容量、leaffunc信息到aispace。从而容许aispace上的func自行通过name来set和del对应的value内存。

func体系

deepx的func定义如下

funcname(r param[])->(w param[])

• 函数名
• 只读参数列表
• 可写参数列表

funcbody则是由func串组成，func串可以通过编译分析，进行并行优化。

其中，可被executer直接解释执行的func为leaffunc。
leaffunc分4大类

• tensor计算func
• 控制流func，如for、while、ifelse
• 调度类，condition

deepx的发展现状

前端控制面

py库deepx

后端执行

executer目前包括了cpu、cuda两个

中端

正在设计开发

[miaobyte]

一个具体的func例子

key=def funca, body=def funca(t:tensor)->(t2:tensor)
key=def funca+(1,0) ,body=add(t2,t)->(t2)
key=def funca+(2,0) ,body=print(t)

等同于下面的py代码

def funca(t:tensor)->(t2:tensor):
   t2=t2+t
   print(t)

我们可以通过aispace的keys * prefix前缀查询，来获取aispace存储的代码串，来执行一些等价替换，hook操作

[miaobyte]

aispace中，既存储deepx的def func，也存储deepx 的所有var的、以及tensor的meta信息

而tensor的data，则下沉到具体的executer（如cuda管理的显存）中存储

[miaobyte]

从deepx func 到ptx

https://docs.nvidia.com/cuda/parallel-thread-execution/

[miaobyte]

deepx考虑走实时编译JIT的方式。而不是py侧代码全文到后端的编译（AOT）。

py侧， 依然解释执行，依次发送func/func内的指令序列

中端第一遍收到funca时，先record一遍然后尝试编译替换

第二遍再次收到funca的指令序列时，如果不是debug模式，那么就直接调用编译过的funca_jit版本，实现性能提升