大数据技术指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

1、Avro与Protobuf

Avro与Protobuf均是数据序列化系统，可以提供丰富的数据结构类型，十分适合做数据存储，还可进行不同语言之间相互通信的数据交换格式，学习大数据，需掌握其具体用法。

2、Cassandra

Apache Cassandra是一个高性能，可扩展性和高线性可用的数据库，可以运行在服务器或云基础设施上，为关键任务数据提供完美的平台，。 Cassandra支持多个数据中心之间复制是同类产品中最好，为用户提供更低的延迟，甚至不惧怕停电。 Cassandra的数据模型提供了便利的列索引，高性能试图和强大的内置缓存。

3、Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现！

4、Chukwa

是一个开源大型分布式系统的数据采集监视系统。它是建立在Hadoop分布式文件系统（HDFS）和Map/ Reduce框架之上，并继承了Hadoop的可伸缩性和健壮性。 Chukwa还包括一个灵活而强大的工具包，用于显示，监测和分析结果，以便做出最佳地使用所收集的数据。

5、Flume

Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。大数据开发需掌握其安装、配置以及相关使用方法。