精品为您呈现,快乐和您分享!

移动端

收藏本站

OK下载站

当前位置: 首页 > 软件下载 > 编程开发

Linkis(微服务架构)v0.11.0官方版

Linkis(微服务架构)v0.11.0官方版

类型:编程开发 语言:简体

大小:11.9M 更新时间:2021-01-28

推荐指数:

应用简介


Linkis是一个连接多种计算和存储引擎的平台,例如Spark、TiSpark、Hive、Python和HBase。 Linkis基于微服务架构,提供财务级多租户隔离、资源管控、权限隔离等企业级功能,并支持统一变量。UDF、函数、用户资源文件管理,具有高并发、高性能、高可用的大数据作业/请求全生命周期管理能力。









Linkis是一个连接多种计算和存储引擎的平台,例如Spark、TiSpark、Hive、Python和HBase。 Linkis基于微服务架构,提供财务级多租户隔离、资源管控、权限隔离等企业级功能,并支持统一变量。UDF、函数、用户资源文件管理,具有高并发、高性能、高可用的大数据作业/请求全生命周期管理能力。



Linkis(微服务架构)



软件特点



1.统一作业执行服务:分布式REST/WebSocket服务,用于接收用户提交的各种脚本请求。



目前支持的计算引擎包括:Spark、Python、TiSpark、Hive 和Shell 等。



支持的脚本语言包括:SparkSQL、Spark Scala、Pyspark、R、Python、HQL和Shell等;



2、资源管理服务:支持对各个系统和用户的资源使用情况进行实时管理和控制,限制系统和用户的资源使用情况和并发数,提供实时资源动态图表,方便系统和用户的查看和管理用户资源;



目前支持的资源类型:Yarn队列资源、服务器(CPU和内存)、并发用户数等。



3、应用管理服务:管理所有系统的所有用户应用,包括离线批量应用、交互式查询应用和实时流式应用,为离线和交互式应用提供强大的复用能力,提供应用的全生命周期管理。自动释放用户多余的闲置应用;



4、统一存储服务:通用IO架构可以快速连接各种存储系统,提供统一的调用入口,支持所有常见的数据格式,集成度高,简单易用;



5、统一上下文服务:统一用户和系统资源文件(JAR、ZIP、Properties等),统一管理用户、系统、计算引擎的参数和变量,一处设置,各处自动引用;



6、素材库:系统级和用户级素材管理,可共享和转移,支持全生命周期的自动化管理;



7.元数据服务:实时显示数据库表结构和分区状态。



特征



1.Linkis管理控制台



用户可以查看和管理自己的作业



用户可以查看和管理自己的引擎



用户可以查看Yarn的资源使用情况以及用户资源使用情况排名



用户可以配置引擎启动参数



用户可以设置变量



2.支持标签功能



支持标注EngineManager



启动发动机时,支持给发动机贴标签



支持通过标签访问目标引擎



3.AppGovernance应用治理实施



系统级和用户级应用程序生命周期管理,包括离线批量、交互式查询和实时流应用程序



为离线、交互式应用提供复用能力和智能切换能力



智能限流、应用智能保护



4. 支持Flink和Spark结构化流