大数据技术涉及:数据收集、预处理和分布式存储，以及数据仓库、机器学习、并行计算和可视化。
对于大数据技术，以hadoop和spark为核心的生态系统被广泛应用。hadoop提供稳定的共享存储和分析系统，存储由hdfs实现，分析由mapreduce实现。
1.hdfs:hadoop分布式文件系统，运行在大型商业计算机集群上。
hdfs是gfs的开源实现，在廉价的服务器集群中提供大规模分布式文件存储的能力。
2.hbase:分布式列存储数据库。hbase以hdfs为底层存储，支持mapreduce的批量计算和点查询(随机读取)。
hbase是基于hdfs的面向列的nosql数据库。可用于快速读写大量数据，是一种高可靠、高并发读写、高性能、列定向、可扩展、易构建的分布式存储系统。hbase具有海量数据存储、快速随机存取和大量写操作的特点。
在kudu出现之前，hadoop生态环境的存储主要依靠hdfs和hbase。在高吞吐量、批量处理的场景下，使用hdfs，在低延迟、随机读取的场景下，使用hbase，kudu正好兼容两者。
3.批量计算的基石:mapreduce
批量计算主要解决大规模数据的批量处理问题，是日常数据分析中常见的数据处理需求。业内常用的大数据批处理框架有mapreducesparktezpig等。其中，mapdeduce是一个颇具影响力和代表性的大数据批量计算框架。可以并发执行大规模数据处理任务，即用于大规模数据集(1tb以上)的并行计算。mapreduc:分布式数据仓库，管理存储在hdfs中的数据，并提供基于sql的查询语言来查询数据。
我们平时会用到各种各样的网站，有些可能真的很实用，真的能给你的工作带来很多便利；今天分享的五个网站也是这样的实用网站。
1:v视频助手
在线下载视频的网站。支持下载腾讯视频、秒拍视频、微博视频、今日s头条、阳光宽带网、aauto快一点、、百度视频、梨视频、西瓜视频等。
下载方法也很简单。只需复制想要下载的视频链接，然后直接回车，就可以下载结果了。
2.库马搜索书籍
一个在线搜索书籍的网站。支持搜索电子书籍、小说、名著等书籍，只需输入你要找的电子书的名字，然后按回车键就能找到你需要的结果。
并提供下载保存，良心功能。
3:
在线录制屏幕的网站。是的，你没有。;我不需要任何电脑软件。只需点击网站上的开始录制按钮，就可以开始录制画面了。
让你减少使用各种软件的麻烦，非常方便实用的网站。
4.歌曲全集
在线下载歌曲的网站。使用方法很简单。直接点击网站上的搜索按钮，然后选择相应的搜索源，输入想要下载的音乐名称，就可以直接试听下载了。
一个非常实用的全网免费下载音乐的网站。
5:随便。
一个网站相当于几十个甚至上百个网站。一个网站可以实现几十种甚至上百种不同的功能，包括生活查询、交通、理财、教育学习、健康养生、在线工具等等。
一个网站可以代替很多网站，非常实用。
