介绍
大数据平台是一系列技术平台，用于收集，存储，计算，计算和分析大规模结构化，非结构化和半机构化数据。大数据平台处理的数据量通常为太字节，甚至是PB或EB级数据，传统数据仓库工具无法处理这些数据。涉及的技术包括分布式计算，高并发处理，高可用性处理和群集。实时计算等汇集了当前IT领域中最流行的技术。
本文组织了一些大数据平台常用的开源工具，并根据其主要功能对它们进行分类，以便大数据学习者和用户可以快速查找和引用它们。
大数据平台常用的一些工具
大数据平台常见的开源工具亮点，看看大家都知道
主要包括：语言工具，数据收集工具，ETL工具，数据存储工具，分析计算，查询应用程序以及操作和维护监视工具。以下是每个工具的简要说明。
首先是语言工具
1.Java编程技术
Java编程技术是最广泛使用的网络编程语言之一，也是大数据学习的基础。 Java具有简单，面向对象，分布式，健壮性，安全性，平台独立性和可移植性，多线程，动态等特点。它具有非常高的跨平台能力，是一种可以编写桌面的强类型语言。应用程序，Web应用程序，分布式系统和嵌入式系统应用程序是大数据工程师最喜欢的编程工具。最重要的是，Hadoop和其他大数据处理技术大多是Java。因此，我想学好。掌握Java基础的大数据至关重要。
2.Linux命令
对于大数据开发，它通常在Linux环境下执行。与Linux操作系统相比，Windows操作系统是一个封闭的操作系统。开源大数据软件非常有限。因此，如果要进行大数据开发，则需要掌握Linux基本操作命令。
斯卡拉
Scala是一种多范式编程语言。一方面，它继承了许多语言的优秀特性。一方面，它并没有放弃Java的强大平台。大数据开发的重要框架是用Scala语言设计的。 Spark框架，拥有Scala基础是必不可少的，因此，大数据开发需要掌握Scala编程的基础知识！4.Python与数据分析
Python的是面向对象的编程语言，拥有丰富的库，使用简单，应用广泛，在大数据领域也有所应用，主要可用于数据采集，数据分析以及数据可视化等，因此，大数据开发需学习一定的蟒蛇知识。
二，数据采集类工具
Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。大数据的采集需要掌握的Nutch与Scrapy爬虫技术。
三，ETL工具
1.Sqoop
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库（如MySQL，Oracle）导入数据到Hadoop HDFS，并从Hadoop文件系统导出到关系数据库，学习使用Sqoop对关系型数据库数据和Hadoop的之间的导入有很大的帮助。
2.Kettle
水壶是一个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。作为Pentaho的的一个重要组成部分，现在在国内项目应用上逐渐增多。其数据抽取高效稳定。
四，数据存储类工具
1.Hadoop分布式存储与计算
XX
Hadoop实现了一个分布式文件系统（Hadoop分布式文件系统），简称HDFS.Hadoop的框架最核心的设计就是：HDFS和MapReduce.HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握的Hadoop集群，Hadoop的集群管理，纱以及Hadoop的高级管理等相关技术与操作！
2.Hive
蜂巢是基于Hadoop的的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce的任务进行运行。相对于用Java的代码编写的MapReduce来说，蜂房的优势明显：快速开发，人员成本低，可扩展性（自由扩展集群规模），延展性（支持自定义函数）十分适合数据仓库的统计分析对于蜂巢需掌握其安装，应用及高级操作等。
XX3.ZooKeeper
ZooKeeper是一个开源的分布式协调服务，是Hadoop和HBase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护，域名服务，分布式同步，组件服务等，在大数据开发中要掌握的ZooKeeper的常用命令及功能的实现方法。
4.HBase
HBase的是一个分布式的，面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性，高性能，面向列，可伸缩的分布式存储系统，大数据开发需掌握HBase的基础知识，应用，架构以及高级用法等。
5.Redis
Redis的是一个键值存储系统，其出现很大程度补偿了Memcached的这类键/值存储的不足，在部分场合可以对关系数据库起到很好的补充作用，它提供了Java和C/C ++， C＃，PHP，JavaScript中，Perl中，对象-C，Python和Ruby，二郎等客户端，使用很方便，大数据开发需掌握的Redis的安装，配置及相关使用方法。
6.Kafka
卡夫卡是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握卡夫卡架构原理及各组件的作用和使用方法及相关功能的实现。
7.Neo4j
XX
Neo4j是一个高性能的NoSQL图形数据库，具有大规模处理网络分析功能，可处理数百万个T级节点和边缘。它是一个嵌入式，基于磁盘的Java持久性引擎，具有完整的事务功能，但它将结构化数据存储在网络上（数学上称为图形）而不是表格。 Neo4j因其嵌入式，高性能和轻巧的优势而受到越来越多的关注。
8.Cassandra
Cassandra是一个混合的非关系数据库，类似于Google的BigTable，它具有比Dynamo（分布式键值存储系统）更多的功能。最初由Facebook开发，这个NoSQL数据库已被超过1,500个组织使用，包括Apple，欧洲核研究组织（CERN），Comcast，eBay，GitHub，GoDaddy，Hulu，Instagram，Intuit，Netflix，Reddit等。它是一种流行的分布式结构化数据存储解决方9.SSM
SSM框架是三个开源框架的组合，Spring，Spring MVC和MyBatis。它通常用作具有数据源的更简单Web项目的框架。大数据开发需要掌握Spring，Spring MVC和MyBatis的三个框架，然后使用SSM进行集成操作。
五，分析计算工具
1.Spark
Spark是一种快速且通用的计算引擎，专为大规模数据处理而设计。它为管理大数据处理需求的数据处理和数据源提供了一个全面统一的框架。大数据开发需要Master Spark基础知识，SparkJob，Spark RDD部署和资源分配，Spark Shuffle，Spark内存管理，Spark广播变量，Spark SQL，Spark Streaming和Spark ML。
2.Storm
Storm是一个免费的开源软件，一个分布式，容错的实时计算系统，可以处理大量数据流，具有很高的可靠性，可以处理来自Hadoop的批量数据。 Storm支持许多编程语言，并有许多应用领域：实时分析，在线机器学习，不间断计算，分布式RPC（远程进程调用协议，通过网络从远程计算机程序请求服务）， ETL等等。 Storm的处理速度惊人：经过测试，每个节点每秒可处理100万个数据元组。
3.Mahout
Mahout旨在“创建一个快速创建可扩展的高性能机器学习应用程序的环境”，具有可扩展算法的可扩展环境，Scala/Spark/H2O/Flink和Samsara的新算法（类似于R的矢量数学环境，它还包括许多用于MapReduce数据挖掘的算法。
4.Pentaho
Pentaho是世界上最流行的开源商务智能软件，以工作流为核心的，强调面向解决方案而非工具组件的，基于Java平台的BI套件。包括一个Web服务器平台和几个工具软件：报表，分析，图表，数据集成，数据挖掘等，可以说包括了商务智能的方方面面.Pentaho的工具可以连接到的NoSQL数据库。大数据开发需了解其使用方法。
六，查询应用类工具
1.Avro与的Protobuf
Avro公司与的Protobuf均是数据序列化系统，可以提供丰富的数据结构类型，十分适合做数据存储，还可进行不同语言之间相互通信的数据交换格式，学习大数据，需掌握其具体用法。
XX2.Phoenix
Phoenix是用Java编写的基于JDBC API操作HBase的开源SQL引擎，其具有动态列，散列加载，查询服务器，追踪，事务，用户自定义函数，二级索引，命名空间映射，数据收集，时间戳列，分页查询，跳跃查询，视图以及多租户的特性，大数据开发需掌握其原理和使用方法。
3.Kylin
麒麟是一个开源的分布式分析引擎，提供了基于Hadoop的的超大型数据集（TB/PB级别）的SQL接口以及多维度的OLAP分布式联机分析。最初由eBay的开发并贡献至开源社区它能。在亚秒内查询巨大的蜂巢表。
4.Zeppelin
Zeppelin是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的，可交互且可协作的精美文档，并且支持多种语言，包括Scala（使用Apache Spark），Python（Apache Spark） ，SparkSQL，Hive，Markdown，Shell等。
5.ElasticSearch
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式，支持多用户的全文搜索引擎，基于RESTful Web接口.ElasticSearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
6.Solr
XX
Solr基于Apache Lucene，是一种高度可靠，高度扩展的企业搜索平台，是一款非常优秀的全文搜索引擎。知名用户包括eHarmony，西尔斯，StubHub，Zappos，百思买，AT＆amp； T，Instagram，Netflix ，彭博社和，立即。大数据开发需了解其基本原理和使用方法。
七，数据管理类工具
1.Azkaban
Azkaban是由链接开源的一个批量工作流任务调度器，它是由三个部分组成：Azkaban Web Server（管理服务器），Azkaban Executor Server（执行管理器）和MySQL（关系数据库），可用于在一个工作流内以一个特定的顺序运行一组工作和流程，可以利用阿兹卡班来完成大数据的任务调度，大数据开发需掌握阿兹卡班的相关配置及语法规则。
XX2.Mesos
Mesos是一种开源集群管理软件，最初由加州大学伯克利分校的AMPLab开发，支持Hadoop，ElasticSearch，Spark，Storm和Kafka等架构。对于数据中心，它就像一个资源池，可以从物理或虚拟机中删除CPU，内存，存储和其他计算资源，从而可以轻松构建和高效运行具有容错和弹性的分布式系统。
3.Sentry
Sentry是一个开源的实时错误报告工具，支持Web前端，移动应用程序和游戏，支持主流编程语言和框架，如Python，OC，Java，Go，Node，Django，RoR，以及提供GitHub，Slack，Trello等常用开发工具的集成。使用Sentry对数据安全管理非常有用。
八，操作和维护监控工具
Flume是一个高度可用，高度可靠的分布式系统，用于大规模日志收集，聚合和传输。 Flume支持在日志系统中定制各种数据发送器以收集数据。同时，Flume提供简单的数据处理。并写入各种数据收件人的能力（可自定义）。大数据开发需要掌握其安装，配置和相关使用方法。

• 上一篇: 蓝盟IT外包，元宇宙：四梁八柱是什么
  下一篇: 微软正在尝试干掉Windows 10的传统密码

• 分享到：