2019年15大数据工具

作者: 数据分析小生 | 来源:发表于2019-01-04 10:39 被阅读82次

    今天的市场充斥着一系列大数据工具。它们将成本效率,更好的时间管理带入数据分析任务。以下是最佳大数据工具列表及其主要功能和下载链接。

    1Hadoop


    Apache的Hadoop的软件库是一个大数据框架。它允许跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机。

    特征:

              使用HTTP代理服务器时的身份验证改进

              Hadoop兼容文件系统工作规范

              支持POSIX样式的文件系统扩展属性

              它提供了强大的生态系统,非常适合满足开发人员的分析需求

              它带来了数据处理的灵活性

              它允许更快的数据处理

    下载链接:https ://hadoop.apache.org/releases.html

    2HPCC


    HPCC是LexisNexis Risk Solution开发的大数据工具。它提供单一平台,单一架构和单一编程语言,用于数据处理。

    特征:

              使用更少的代码高效地完成大数据任务。

              提供高冗余和可用性

              它既可以用于Thor集群上的复杂数据处理

              图形化IDE,用于简化开发,测试和调试

              它自动优化并行处理的代码

              提供增强的可扩展性和性能

              ECL代码编译成优化的C ++,它也可以使用C ++库进行扩展

    下载链接: https ://hpccsystems.com/try-now

    3)风暴:


    Storm是一个免费的开源大数据计算系统。它提供分布式实时,容错处理系统。具有实时计算功能。

    特征:

            它基准测试为每个节点每秒处理100万个100字节消息

            它使用跨机器集群运行的并行计算

             如果节点死亡,它将自动重启。该工作程序将在另一个节点上重新启动

            Storm保证每个数据单元至少处理一次或完全一次

            一旦部署,Storm肯定是Bigdata分析最简单的工具

    下载链接:http ://storm.apache.org/downloads.html 

    4Qubole


    Qubole Data是自主大数据管理平台。它是一种自我管理的自我优化工具,允许数据团队专注于业务成果。

    特征:

            适用于每个用例的单一平台

            开源引擎,针对云进行了优化

            全面的安全性,治理和合规性

            提供可操作的警报,见解和建议,以优化可靠性,性能和成本

            自动制定策略以避免执行重复的手动操作

    下载链接:https ://www.qubole.com/

    5)卡珊德拉:


    Apache的卡桑德拉数据库今天广泛地用于提供大量数据的有效管理。

    特征:

            通过为用户提供更低的延迟,支持跨多个数据中心进行复制

            数据会自动复制到多个节点以实现容错

            它最适合不能丢失数据的应用程序,即使整个数据中心停机也是如此

            Cassandra提供支持合同和服务,可从第三方获得

    下载链接: http ://cassandra.apache.org/download/

    6Statwing


    Statwing是一种易于使用的统计工具。它是由大数据分析师构建的。其现代界面自动选择统计测试。

    特征:

            在几秒钟内探索任何数据

            Statwing有助于在几分钟内清理数据,探索关系并创建图表

            它允许创建导出到Excel或PowerPoint的直方图,散点图,热图和条形图

            它还将结果翻译成普通英语,因此分析师不熟悉统计分析

    下载链接: https ://www.statwing.com/

    7CouchDB


    CouchDB将数据存储在JSON文档中,可以使用JavaScript访问Web或查询。它提供具有容错存储的分布式扩展。它允许通过定义Couch复制协议来访问数据。

    特征:

            CouchDB是一个单节点数据库,可以像任何其他数据库一样工作

            它允许在任意数量的服务器上运行单个逻辑数据库服务器

             它利用了无处不在的HTTP协议和JSON数据格式

             跨多个服务器实例轻松复制数据库

            简单的文档插入,更新,检索和删除界面

            基于JSON的文档格式可以跨不同语言进行翻译

    下载链接: http ://couchdb.apache.org/

    8Pentaho


    Pentaho提供大数据工具来提取,准备和混合数据。它提供可视化和分析,可以改变运营任何业务的方式。这个大数据工具可以将大数据转化为重要的见解。

    特征:

              数据访问和集成,实现有效的数据可视化

              它使用户能够在源头构建大数据并将其流式传输以进行准确分析

              无缝切换或组合数据处理与集群内执行,以获得最大程度的处理

             允许通过轻松访问分析来检查数据,包括图表,可视化和报告

    ·         通过提供独特的功能支持各种大数据源

    下载链接: http ://www.pentaho.com/download

    9Flink


    Apache Flink是一个开源流处理大数据工具。它是分布式,高性能,始终可用且准确的数据流应用程序。

    特征:

             提供准确的结果,即使对于无序或迟到的数据也是如此

             它具有状态和容错能力,可以从故障中恢复

             它可以在大规模上运行,在数千个节点上运行

             具有良好的吞吐量和延迟特性

             这个大数据工具支持使用事件时间语义的流处理和窗口化

             它支持基于数据驱动窗口的时间,计数或会话的灵活窗口

             它支持各种用于数据源和接收器的第三方系统连接器

    下载链接:https ://flink.apache.org/

    10Cloudera: 


    Cloudera是最快,最简单,最安全的现代大数据平台。它允许任何人在单个可扩展平台内的任何环境中获取任何数据。

    特征:

             高性能分析

    ·        它提供多云服务

              跨AWS,Microsoft Azure和Google Cloud Platform部署和管理Cloudera Enterprise

              启动和终止集群,只需在需要时支付所需的费用

              开发和培训数据模型

              报告,探索和自助服务商业智能

              提供监控和检测的实时洞察

              进行准确的模型评分和服务

    下载链接: https ://www.cloudera.com/

    11)亿信BI


    亿信BI是一种大数据分析工具。深耕大数据应用每个环节,专为中国式复杂报表量身打造。亿信BI内置数十种可视化元素和图形,还原事件场景掌握动态数据信息。能够快速发现问题,解决问题,找到原因,发现内在关系。真正释放企业数据力量,辅导领导决策,驱使企业不断进步

    特征:

             基于B/S架构、零安装,友好的WEB操作界面、零编程交互式分析,一键更换报表皮肤,异构数据库一键迁移。

             广泛的数据源支持,轻松应对中国式复杂报表,纯WEB打印、多语言切换、报表订阅、计划任务。

             智能分析引擎、多线程并行计算、路径自动规划、支持大数据、支持集群部署。

             丰富的自定义拓展,开放的集成接口,二次开发平台,灵活兼容多种数据模型,轻松构建更多应用。

    下载链接: https ://www.esensoft.com

    12Rapidminer


    RapidMiner是一个开源的大数据工具。它用于数据准备,机器学习和模型部署。它提供了一套产品来构建新的数据挖掘流程和设置预测分析。

    特征:

             允许多种数据管理方法

             GUI或批处理

             与内部数据库集成

             交互式,可共享的仪表板

             大数据预测分析

             远程分析处理

             数据过滤,合并,加入和聚合

             构建,培训和验证预测模型

             将流数据存储到众多数据库中

             报告和触发的通知

    下载链接: https ://my.rapidminer.com/nexus/account/index.html#downloads

    13DataCleaner


    DataCleaner是一个数据质量分析应用程序和解决方案平台。它具有强大的数据分析引擎。它是可扩展的,从而增加了数据清理,转换,匹配和合并。

    特征:

              交互式和探索性数据分析

              模糊重复记录检测

              数据转换和标准化

              数据验证和报告

              使用参考数据清理数据

              掌握Hadoop数据湖中的数据提取管道

              在用户花费在处理上的时间之前,确保有关数据的规则是正确的

              查找异常值和其他恶魔细节,以排除或修复不正确的数据

    下载链接: http ://datacleaner.org/

    14Kaggle


    Kaggle是世界上最大的大数据社区。它帮助组织和研究人员发布他们的数据和统计数据。它是无缝分析数据的最佳位置。

    特征:

              发现和无缝分析开放数据的最佳位置

              搜索框以查找打开的数据集

              有助于开放数据移动并与其他数据爱好者联系

    下载链接:https ://www.kaggle.com/

    15)蜂巢:


    Hive也是一个开源软件大数据。它允许程序员在Hadoop上分析大型数据集。它有助于快速查询和管理大型数据集。

    特征:

              它支持SQL,如用于交互和数据建模的查询语言

              它使用两个主要任务map和reducer编译语言

              它允许使用Java或Python定义这些任务

              Hive专为管理和查询结构化数据而设计

              Hive的SQL语言将用户与Map Reduce编程的复杂性区分开来

              它提供Java数据库连接(JDBC)接口

    下载链接: https ://hive.apache.org/downloads.html

    相关文章

      网友评论

        本文标题:2019年15大数据工具

        本文链接:https://www.haomeiwen.com/subject/sveqrqtx.html