大数据平台罕见开源东西

开辟技能 2019/4/11

大数据平台是对海量布局化、非布局化、半机构化数据举行收罗、存储、盘算、统计、剖析处置的一系列技能平台。大数据平台处置的数据量通常是TB级，乃至是PB或EB级的数据，这是传统数据堆栈东西无法处置完成的，其触及的技能有散布式盘算、高并发处置、高可用途理、集群、及时性盘算等，搜集了以后IT范畴抢手盛行的各种技能。

此片文章整理出了大数据平台罕见的一些开源东西，而且根据其次要功效举行分类，以便大数据学习者及使用者疾速查找和参考。

大数据平台罕见的一些东西搜集

【智云数据】大数据平台罕见开源东西

次要包括：言语东西类、数据收罗东西、ETL东西、数据存储东西、剖析盘算、盘问使用及运维监控东西等。以下对各东西作为扼要的阐明。

一、言语东西类

1、Java编程技能

Java编程技能是现在利用最为普遍的网络编程言语之一,是大数据学习的底子。Java具有复杂性、面向工具、散布式、强健性、宁静性、平台独立与可移植性、多线程、静态性等特点，拥有极高的跨平台才能，是一种强范例言语，可以编写桌面使用步伐、Web使用步伐、散布式体系和嵌入式体系使用步伐等，是大数据工程师最喜好的编程东西，最紧张的是，Hadoop以及其他大数据处置技能许多都是用Java，因而，想学好大数据，掌握Java底子是必不行少的。

2、Linux下令

关于大数据开辟通常是在Linux情况下举行的，相比Linux操纵体系，Windows操纵体系是关闭的操纵体系，开源的大数据软件很受限定，因而，想从事大数据开辟相干事情，还需掌握Linux底子操纵下令。

3、Scala

Scala是一门多范式的编程言语，一方面吸取承继了多种言语中的良好特征，一方面又没有丢弃 Java 这个壮大的平台，大数据开辟紧张框架Spark是接纳Scala言语设计的，想要学好Spark框架，拥有Scala底子是必不行少的，因而，大数据开辟需掌握Scala编程底子知识!

4、Python与数据剖析

Python是面向工具的编程言语，拥有丰厚的库，利用复杂，使用普遍，在大数据范畴也有所使用，次要可用于数据收罗、数据剖析以及数据可视化等，因而，大数据开辟需学习肯定的Python知识。

二、数据收罗类东西

1)Nutch是一个开源Java 完成的搜刮引擎。它提供了j9九游运转本人的搜刮引擎所需的所有东西，包罗全文搜刮和Web爬虫。

2)Scrapy是一个为了爬取网站数据，提取布局性数据而编写的使用框架，可以使用在数据发掘，信息处置或存储汗青数据等一系列的步伐中。大数据的收罗必要掌握Nutch与Scrapy爬虫技能。

三、ETL东西

1、Sqoop

Sqoop是一个用于在Hadoop和干系数据库办事器之间传输数据的东西。它用于从干系数据库(如MySQL，Oracle)导入数据到Hadoop HDFS，并从Hadoop文件体系导出到干系数据库,学习利用Sqoop对干系型数据库数据和Hadoop之间的导入有很大的协助。

2、Kettle

Kettle是一个ETL东西集，它容许你办理来自差别数据库的数据，经过提供一个图形化的用户情况来形貌你想做什么，而不是你想怎样做。作为Pentaho的一个紧张构成局部，如今在国际项目使用上渐渐增多。其数据抽取高效波动。

四数据存储类东西

1、Hadoop散布式存储与盘算

Hadoop完成了一个散布式文件体系(Hadoop Distributed File System)，简称HDFS。Hadoop的框架最中心的设计便是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了盘算，因而，必要重点掌握，除此之外，还必要掌握Hadoop集群、Hadoop集群办理、YARN以及Hadoop初级办理等相干技能与操纵!

2、Hive

Hive是基于Hadoop的一个数据堆栈东西，可以将布局化的数据文件映射为一张数据库表，并提供复杂的SQL盘问功效，可以将SQL语句转换为MapReduce义务举行运转。绝对于用Java代码编写MapReduce来说，Hive的上风分明：疾速开辟，职员本钱低，可扩展性(自在扩展集群范围)，延展性(支持自界说函数)。非常合适数据堆栈的统计剖析。关于Hive需掌握其安置、使用及初级操纵等。

3、ZooKeeper

ZooKeeper 是一个开源的散布式和谐办事，是Hadoop和HBase的紧张组件，是一个为散布式使用提供分歧性办事的软件，提供的功效包罗：设置装备摆设维护、域名办事、散布式同步、组件办事等，在大数据开辟中要掌握ZooKeeper的常用下令及功效的完成办法。

4、HBase

HBase是一个散布式的、面向列的开源数据库，它差别于一样平常的干系数据库，更合适于非布局化数据存储的数据库，是一个高牢靠性、高功能、面向列、可伸缩的散布式存储体系，大数据开辟需掌握HBase底子知识、使用、架构以及初级用法等。

5、Redis

Redis是一个Key-Value存储体系，其呈现很大水平赔偿了Memcached这类Key/Value存储的不敷，在局部场所可以对干系数据库起到很好的增补作用，它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，利用很利便，大数据开辟需掌握Redis的安置、设置装备摆设及相干利用办法。

6、Kafka

Kafka是一种高吞吐量的散布式公布订阅音讯体系，其在大数据开辟使用上的目标是经过Hadoop的并行加载机制来一致线上和离线的音讯处置，也是为了经过集群来提供及时的音讯。大数据开辟需掌握Kafka架构原理及各组件的作用和利用办法及相干功效的完成。

7、Neo4j

Neo4j是一个高功能的,NoSQL图形数据库，具有处置百万和T级节点和边的大标准处置网络剖析才能。它是一个嵌入式的、基于磁盘的、具有完全的事件特征的Java耐久化引擎，但它将布局化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j因其嵌入式、高功能、轻量级等上风，越来越遭到存眷。

8、Cassandra

Cassandra是一个混淆型的非干系的数据库，相似于Google的BigTable，其次要功效比Dynamo(散布式的Key-Value存储体系)更丰厚。这种NoSQL数据库最后由Facebook开辟，现已被1500多家企业构造利用，包罗苹果、欧洲原子核研讨构造(CERN)、康卡斯特、电子港湾、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netflix、Reddit等。是一种盛行的散布式布局化数据存储方案。

9、SSM

SSM框架是由Spring、Spring MVC、MyBatis三个开源框架整合而成，常作为数据源较复杂的Web项目标框架。大数据开辟需辨别掌握Spring、Spring MVC、MyBatis三种框架的同时，再利用SSM举行整合操纵。

五、剖析盘算类东西

1、Spark

Spark是专为大范围数据处置而设计的疾速通用的盘算引擎，其提供了一个片面、一致的框架用于办理种种差别性子的数据集和数据源的大数据处置的需求，大数据开辟需掌握Spark底子、SparkJob、Spark RDD摆设与资源分派、Spark Shuffle、Spark内存办理、Spark播送变量、Spark SQL、Spark Streaming以及Spark ML等相干知识。

2、Storm

Storm 是自在的开源软件，一个散布式的、容错的及时盘算体系，可以十分牢靠的处置巨大的数据流，用于处置Hadoop的批量数据。Storm支持很多种编程言语，而且有很多使用范畴：及时剖析、在线呆板学习、不绝顿的盘算、散布式RPC(远历程挪用协议，一种经过网路从近程盘算机步伐上哀求办事)、ETL等等。Storm的处置速率惊人：经测试，每个节点每秒钟可以处置100万个数据元组。

3、Mahout

Mahout目标是"为疾速创立可扩展、高功能的呆板学习使用步伐而打造一个情况"，次要特点是为可伸缩的算法提供可扩展情况、面向Scala/Spark/H2O/Flink的新鲜算法、Samsara(相似R的矢量数学情况)，它还包罗了用于在MapReduce上举行数据发掘的浩繁算法。

4、Pentaho

Pentaho是天下上最盛行的开源商务智能软件，以事情流为中心的、夸大面向办理方案而非东西组件的、基于Java平台的BI套件。包罗一个Web Server平台和几个东西软件：报表、剖析、图表、数据集成、数据发掘等，可以说包罗了商务智能的方方面面。Pentaho的东西可以毗连到NoSQL数据库。大数据开辟需理解其利用办法。

5、HAWQ

HAWQ是Hadoop原生SQL盘问引擎，为用户提供了一个完备的、切合尺度的SQL接口，数据存储在HDFS上，散布式运转，可以盘问PB级以上的数据，盘问功能高、低耽误、高可用，关于OLAP剖析是个不错的选择。

六、盘问使用类东西

1、Avro与Protobuf

Avro与Protobuf均是数据序列化体系，可以提供丰厚的数据布局范例，非常合适做数据存储，还可举行差别言语之间互相通讯的数据互换款式，学习大数据，需掌握其详细用法。

2、Phoenix

Phoenix是用Java编写的基于JDBC API操纵HBase的开源SQL引擎，其具有静态列、散列加载、盘问办事器、追踪、事件、用户自界说函数、二级索引、定名空间映射、数据搜集、工夫戳列、分页盘问、腾跃盘问、视图以及多租户的特征，大数据开辟需掌握其原理和利用办法。

3、Kylin

Kylin是一个开源的散布式剖析引擎，提供了基于Hadoop的超大型数据集(TB/PB级别)的SQL接口以及多维度的OLAP散布式联机剖析。最后由eBay开辟并奉献至开源社区。它能在亚秒外调询宏大的Hive表。

4、Zeppelin

Zeppelin是一个提供交互数据剖析且基于Web的条记本。利便你做出可数据驱动的、可交互且可协作的精巧文档，而且支持多种言语，包罗 Scala(利用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。

5、ElasticSearch

ElasticSearch是一个基于Lucene的搜刮办事器。它提供了一个散布式、支持多用户的全文搜刮引擎，基于RESTful Web接口。ElasticSearch是用Java开辟的，并作为Apache允许条款下的开放源码公布，是以后盛行的企业级搜刮引擎。设计用于云盘算中，可以到达及时搜刮、波动、牢靠、疾速、安置利用利便。

6、Solr

Solr基于Apache Lucene，是一种高度牢靠、高度扩展的企业搜刮平台, 是一款十分良好的全文搜刮引擎。着名用户包罗eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。大数据开辟需理解其根本原理和利用办法。

七、数据办理类东西

1、Azkaban

Azkaban是由linked开源的一个批量事情流义务调理器，它是由三个局部构成：Azkaban Web Server(办理办事器)、Azkaban Executor Server(实行办理器)和MySQL(干系数据库)，可用于在一个事情流内以一个特定的次序运转一组事情和流程，可以使用Azkaban来完成大数据的义务调理，大数据开辟需掌握Azkaban的相干设置装备摆设及语法例则。

2、Mesos

Mesos 是由加州大学伯克利分校的AMPLab起首开辟的一款开源集群办理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构。对数据中心而言它就像一个单一的资源池，从物理或假造呆板中抽离了CPU、内存、存储以及别的盘算资源，很容易创建和无效运转具有容错性和弹性的散布式体系。

3、Sentry

Sentry 是一个开源的及时错误陈诉东西，支持 Web 前后端、挪动使用以及游戏，支持 Python、OC、Java、Go、Node、Django、RoR 等主流编程言语和框架 ，还提供了 GitHub、Slack、Trello 等罕见开辟东西的集成。利用Sentry对数据宁静办理很有协助。

八、运维监控类东西

Flume是一款高可用、高牢靠、散布式的海量日记收罗、聚合和传输的体系，Flume支持在日记体系中定制各种数据发送方，用于搜集数据;同时，Flume提供对数据举行复杂处置，并写到种种数据承受方(可定制)的才能。大数据开辟需掌握其安置、设置装备摆设以及相干利用办法。