-
Notifications
You must be signed in to change notification settings - Fork 647
sqllab自定义后端数据库类型
栾鹏 edited this page Jun 25, 2024
·
1 revision
用户提交sql,选定计算引擎,cube-studio根据选定的计算引擎和用户提交的sql,发起异步任务,正式的执行在worker中,结果保存在分布式存储csv中
要求: sqllab只能对接查询引擎,通过网络请求,发送sql,并不能作为driver端,无法监听端口。所以无法作为spark的driver端,只能对接clickhouse,presto,imapa等查询网关。
view_sqllab.py中sqllab_config 接口,表征了sqllab界面配配置参数,可以用于配置可用的计算引擎。
对接计算引擎需要实现对接中的 submit_task 提交sql查询任务 check_task 任务信息查询 get_result 获取任务结果 download_url 获取下载地址 stop 关闭任务几个功能
派生Base_Impl类,实现具体计算引擎的实现逻辑