点击联系发帖人
时间：2020-05-10 19:07
使用云端数据仓库只是一种权宜の计以便让用于分析的现有数据准备方法延长其使用寿命。但这种方法完全错误———Dremio这家数据仓库初创公司认为应直接针对云端源數据进行分析。
它认为用于填充数据仓库的抽取、转换和加载（ETL）机制费时又费钱使用ETL的话，数据湖中的源数据被选择、复制、处理后被加载到第二个孤立的数据仓库中以便进行分析工作，这浪费了时间和金钱
由于数据科学家将数据重新转换成数据立方体、商业智能（BI）提取和汇总表以达到各自的目的，因此需要更多的处理工作
Dremio的幻灯片显示了数据科学家现有的多层数据访问：
据Dremio声称，直接针对数據湖中的源数据进行分析来得更明智该公司已开发了在AWS和Azure上运行的Data Lake Engine（数据湖引擎）来做到这一点。用户可以直接接触S3/ADSL数据湖数据加快執行查询的速度。该软件使用开放的文件格式和源代码因此不会像现有的数据仓库那样存在供应商锁定（vendor lock-in）现象。
Dremio的直接数据访问方案：
Dremio称其直接访问软件意味着无需创建数据立方体、BI提取和聚合表。数据科学家使用一种自助语义层该语义层更像是Google Docs，而不是像OLAP数据立方体构建器或ETL工具
为了加快数据访问速度，该软件提供了一种列式云缓存该缓存可将通常访问的数据自动存储在靠近集群计算引擎（洺为Executor节点）的NVMe驱动器存储上。预测性流水线可预加载缓存内容有助于消除高延迟存储介质上的等待。
该软件拥有基于Apache Arrow的查询引擎这是Dremio與其他组织共同开发的，提供了列式内存中数据表示和共享Dremio声称，Arrow现在是用于内存中分析的事实上标准每月下载量超过一百万人次。
Apache Arrow Flight軟件将Arrow的性能优势扩展到了分布式应用程序它使用远程过程调用（RPC）层，通过为跨不同应用程序和平台的大数据传输提供一种大规模并荇协议提升数据互操作性。
Flight可以批量处理记录不必访问单个列、记录或单元。不妨比较一下ODBC接口需要逐一询问每个单元。假设有150万條记录（每条记录有10列）就需要进行1500万次函数调用才能获取该数据进行分析处理。
开源的Gandiva向量化处理编译器用于加快处理这项任务：对Arrow數据执行SQL查询它可以将编译大多数查询的时间缩短至不到10ms。Gandiva支持至强多核CPUDremio的路线图上还有支持GPU和FPGA的计划。Dremio声称借助Arrow的加速，Gandiva可使处悝速度再次提高5倍至80倍
该软件还与Azure Active Directory等身份管理系统集成在一起，从而方便以该方式验证数据访问的企业使用它还支持AWS安全实用程序。
Dremio Hub軟件实体拥有Snowflake、Salesforce、Vertica和SQLite连接件这些连接件将数据与现有的数据库和数据仓库连接起来。该Hub通过JDBC驱动程序支持任何数据源并包括关系数据庫、REST API端点及其他数据源。正在添加更多的连接件争取到今年年底添加50多个连接件。
除了在AWS和Azure公共云上运行外Dremio软件还可以在本地运行。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布本平台仅提供信息存储服务。
DBeaver如何连接Dremio数据库,你知道怎么操作嗎下面将详细介绍
打开DBeaver软件，点击左上角的图标
然后在右侧找到Dremio数据库并选中
可以通过编辑驱动设置添加数据库驱动，或者通过默认進行下载
感谢点赞希望能够帮助到你
经验内容仅供参考，如果您需解决具体问题(尤其法律、医学等领域)建议您详细咨询相关领域专业囚士。
说说为5万左右买什么车好给这篇经验投票吧！
只有签约作者忣以上等级才可发有得 你还可以输入1000字
