常见的大数据分析工具有哪些？

大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。1、MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。2、SQL Server的最新版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。1、Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;2、SPSS软件：当前版本是18，名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。1、PowerPoint软件：大部分人都是用PPT写报告。2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件;3、Swiff Chart软件：制作图表的软件，生成的是Flash

HadoopHadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。HPCCHPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。StormStorm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。Apache Drill为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。RapidMinerRapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。FineBI一款成熟的数据分析产品。内置丰富图表，不需要代码调用，可直接拖拽生成，包括一些数据挖掘模型也是。可用于业务数据的快速分析，制作dashboard，也可构建可视化大屏。从内置的ETL功能以及数据处理方式上看出，侧重业务数据的快速分析以及可视化展现。可与大数据平台，各类多维数据库结合，所以在企业级BI应用上广泛，个人使用免费，可视化效果很棒。

第一种，Excel，简单的数据分析不在话下第二种，BI工具，国外Tableau，国内亿信华辰ABI第三种，编程类，Python，R语言 追答 第一种，Excel，简单的数据分析不在话下第二种，BI工具，国外Tableau，国内亿信华辰ABI第三种，编程类，Python，R语言

未至科技魔方是一款大数据模型平台，是一款基于服务总线与分布式云计算两大技术架构的一款数据分析、挖掘的工具平台，其采用分布式文件系统对数据进行存储，支持海量数据的处理。采用多种的数据采集技术，支持结构化数据及非结构化数据的采集。通过图形化的模型搭建工具，支持流程化的模型配置。通过第三方插件技术，很容易将其他工具及服务集成到平台中去。数据分析研判平台就是海量信息的采集，数据模型的搭建，数据的挖掘、分析最后形成知识服务于实战、服务于决策的过程，平台主要包括数据采集部分，模型配置部分，模型执行部分及成果展示部分等。 本回答被网友采纳

国内较为知名的大数据分析软件：亿信华辰ABI、神策分析、smartbi、润乾报表，永洪BI等等。其中亿信华辰一站式数据分析平台ABI做的比较好，亿信ABI是一款全能型产品，融合了数据源适配、ETL数据处理、数据建模、数据分析、数据填报、工作流、门户、移动应用等核心功能。采用轻量级SOA架构设计、B/S模式，各模块间无缝集成。使用了新一代的3D引擎技术，大屏展示炫酷。支持广泛的数据源接入。数据整合模块支持可视化的定义ETL过程，完成对数据的清洗、装换、处理。数据集模块支持数据库、文件、接口等多方式的数据建模。数据分析模块支持报表分析、敏捷看板、即席报告、幻灯片、酷屏、数据填报、数据挖掘等多种分析手段对数据进行分析、展现、应用。

目前市场上的数据分析工具还是比较多的，国内跟国外都有，我就介绍几款主流的给楼主。国外：Tableau：自身定位是一款可视化工具，与Qlikview的定位差不多，可视化功能很强大，对计算机的硬件要求较高，部署较复杂。目前移动端只支持IOS系统。Qlikview:最大的竞争者是Tableau，同Tableau和国内众多BI一样，是属于新一代的轻量化BI产品，体现在建模、部署和使用上。只能运行在windows系统，C／S的产品架构。采用内存动态计算，数据量小时，速度很快；数据量大时，吃内存很厉害性能偏慢。Cognos：传统BI工具中最被广泛使用的，已被IBM收购。拥有强大的数据库平台、在数据管理、数据整合以及中间件领域专业功底深厚。偏操作型，手工建模，一旦需求变化需要 重新建模，学习要求较高。国内：FineBI:帆软旗下的自助性BI产品，轻量化的BI工具，部署方便，走多维分析方向。后期采用jar包升级换代，维护方便，最具性价比。永洪BI:敏捷BI软件，产品稳定性较高。利用sql处理数据，不支持程序接口，实施交由第三方外包。

基本常用的就是远观数据，不少的500强的企业在用的，有50多种图表类型，轻量无缝对接的，自助式分析普通业务员就能操作，可以获得实时数据分析，一键点击就能钻取联动，所以才这么多企业用。 本回答被提问者采纳

1、SPSS：主要用于数据建模工作，功能稳定且强大，能够满足中小企业在业务模型建立过程中的需求。2、BitDeliBitDeli是今年11月份在旧金山成立的一家初创公司。它能衡量出任何使用Python脚本的应用程序的指标，联合创始人兼CEO Ville Tuulos告诉Derrick，脚本可以很简单，也可以很复杂——甚至未来可以延伸到机器学习。不过和“重量级选手”Hadoop相比，BitDeli自认为是一个轻量级的Ruby。3. ContinuuityContinuuity是前Yahoo首席云架构师Todd Papaioannou和Facebook HBase的工程师Jonathan Gray的心血结晶，Continuuity想让所有的公司都能像Yahoo、Facebook一样运营。该团队创建了一个大数据工具，它可以简化Hadoop以及HBase集群的复杂性，而且包含一系列开发套件，旨在帮助程序员开发大数据应用，该平台采用Hadoop技术，允许开发者在防火墙内外对大数据应用软件进行部署、扩展和管理。公司联合创始人兼首席执行官Todd Papaioannou表示，作为一家初创企业，Continuuity正在试图掀起下一波大数据应用软件的浪潮，公司所提供的工具能够大大提高处于开发状态的软件不同部分与阶段的扩展性。4. FlurryFlurry是移动应用统计分析领域里的标杆，正因为在行业内独特的优势，它每年的营收高达一亿美元。Flurry拥有非常全面的功能，不仅仅只是帮助开发者构建移动应用，它还帮助开发者分析所有的数据，进而产生更大的效益。其实数据也支撑了该公司的广告网络，他们通过数据分析可以帮助开发者推送准确的广告到需要的用户面前。不过单纯从移动应用的数据统计功能来看，Flurry绝对是处于领先地位。其功能模块设置合理，分析维度全面，分析流程也易于理解。

目前市场上的数据分析工具还是比较多的，国内跟国外都有，我就介绍几款主流的给楼主。国外：Tableau：自身定位是一款可视化工具，与Qlikview的定位差不多，可视化功能很强大，对计算机的硬件要求较高，部署较复杂。目前移动端只支持IOS系统。Qlikview:最大的竞争者是Tableau，同Tableau和国内众多BI一样，是属于新一代的轻量化BI产品，体现在建模、部署和使用上。只能运行在windows系统，C／S的产品架构。采用内存动态计算，数据量小时，速度很快；数据量大时，吃内存很厉害性能偏慢。Cognos：传统BI工具中最被广泛使用的，已被IBM收购。拥有强大的数据库平台、在数据管理、数据整合以及中间件领域专业功底深厚。偏操作型，手工建模，一旦需求变化需要 重新建模，学习要求较高。国内：FineBI:帆软旗下的自助性BI产品，轻量化的BI工具，部署方便，走多维分析方向。后期采用jar包升级换代，维护方便，最具性价比。永洪BI:敏捷BI软件，产品稳定性较高。利用sql处理数据，不支持程序接口，实施交由第三方外包。 本回答由提问者推荐

国内的还有一款开源私有化部署的APP数据统计分析工具Cobub Razor也挺好的，开源地址 https://github.com/cobub/razor

题主问的是哪“些”，那么我就推荐几个。我自己在用的有BDP个人版https://me.bdp.cn/home.html，这个是在线免费的，可视化这方面很牛。SPSS这个有压缩包，有需要的可以私信我datahoop，这个需要付费的，但是可视化图表效果不好，在数据挖掘上不错。

大数据是宝藏，人工智能是工匠。大数据给了我们前所未有的收集海量信息的可能，因为数据交互广阔，存储空间近乎无限，所以我们再也不用因“没地方放”而不得弃掉那些“看似无用”的数据。在浩瀚的数据中，如果放置这些数据，不去分析整理，那就相当于一堆废的数据，对我们的发展没有任何意义。今天给大家分享的就是：大数据分析工具的介绍和使用。工具一：Pentaho BIPentaho BI和传统的一些BI产品不一样，这个框架以流程作为中心，再面向Solution(解决方案)。Pentaho BI的主要目的是集成一系列API、开源软件以及企业级别的BI产品，便于商务智能的应用开发。自从Pentaho BI出现后，它使得Quartz、Jfree等面向商务智能的这些独立产品，有效的集成一起，再构成完整且复杂的一项项商务智能的解决方案。工具二：RapidMiner在世界范围内，RapidMiner是比较好用的一个数据挖掘的解决方案。很大程度上，RapidMiner有比较先进的技术。RapidMiner数据挖掘的任务涉及了很多的范围，主要包括可以简化数据挖掘的过程中一些设计以及评价，还有各类数据艺术。工具三：StormStorm这个实时的计算机系统，它有分布式以及容错的特点，还是开源软件。Storm可以对非常庞大的一些数据流进行处理，还可以运用在Hadoop批量数据的处理。Storm支持各类编程语言，而且很简单，使用它时相当有趣。像阿里巴巴、支付宝、淘宝等都是它的应用企业。工具四：HPCC某个国家为了实施信息高速路施行了一个计划，那就是HPCC。这个计划总共花费百亿美元，主要目的是开发可扩展的一些计算机系统及软件，以此来开发千兆比特的网络技术，还有支持太位级网络的传输性能，进而拓展研究同教育机构与网络连接的能力。工具五：HadoopHadoop这个软件框架主要是可伸缩、高效且可靠的进行分布式的处理大量数据。Hadoop相当可靠，它假设了计算元素以及存储可能失败，基于此，它为了保证可以重新分布处理失败的节点，维护很多工作数据的副本。Hadoop可伸缩，是因为它可以对PB级数据进行处理。当数据变得多多益善，当移动设备、穿戴设备以及其他一切设备都变成了数据收集的“接口”，我们便可以尽可能的让数据的海洋变得浩瀚无垠，因为那里面“全都是宝”。

1.国外厂商tableau，这是一种几乎是数据分析师人人会提的工具，内置常用的分析图表，和一些数据分析模型，可以快速的探索式数据分析，制作数据分析报告。 因为是商业智能，解决的问题更偏向商业分析，用 Tableau可以快速地做出动态交互图，并且图表和配色也非常拿得出手。2.国内厂商帆软，性价比很高，自助式BI工具，也是一款成熟的数据分析产品。内置丰富图表，不需要代码调用，可直接拖拽生成，包括一些数据挖掘模型也是。可用于业务数据的快速分析，制作dashboard，也可构建可视化大屏。他是tableau的平价替代，有别于Tableau的是，企业级数据分析的功能更多。从内置的ETL功能以及数据处理方式上看出，侧重业务数据的快速分析以及可视化展现。可与大数据平台，各类多维数据库结合，所以在企业级BI应用上广泛，个人使用免费。

千锋大数据课上用的，分析工具SPSS、SAS都是用于统计分析，还有R语言等。 本回答被提问者采纳

一般做大数据分析，首先会使用到大数据数据库，比如MongoDB、GBase等数据库。其次会用数据仓库工具，对数据进行清洗、转换、处理，得到有价值的数据。然后使用数据建模工具进行建模。最后使用大数据工具，进行可视化分析。根据以上的描述，我们按过程对用到的工具进行讨论。1、 大数据工具：数据存储和管理工具大数据完全始于数据存储，也就是说始于大数据框架Hadoop。它是Apache基金会运行的一种开源软件框架，用于在大众化计算机集群上分布式存储非常大的数据集。由于大数据需要大量的信息，存储至关重要。但除了存储外，还需要某种方式将所有这些数据汇集成某种格式化/治理结构，从而获得洞察力。2、 大数据工具：数据清理工具使用数据仓库工具-Hive。Hive是基于Hadoop分布式文件系统的，它的数据存储在HDFS中。Hive本身是没有专门的数据存储格式，也没有为数据建立索引，只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符，Hive就可以解析数据。 3、 大数据工具：数据建模工具SPSS：主要用于数据建模工作，功能稳定且强大，能够满足中小企业在业务模型建立过程中的需求。4、 大数据工具：数据可视化分析工具亿信华辰一站式数据分析平台ABI，对上述所说的工具，在该平台上都有。亿信ABI提供ETL数据处理、数据建模以及一系列的数据分析服务，提供的数据分析工具丰富：除了中国式复杂报表、dashboard、大屏报表外，ABI还支持自助式分析，包括拖拽式多维分析、看板和看板集，业务用户通过简单拖拽即可随心所欲的进行探索式自助分析。同时，类word即席报告、幻灯片报告，让汇报展示更加出彩。

未至科技魔方是一款大数据模型平台，是一款基于服务总线与分布式云计算两大技术架构的一款数据分析、挖掘的工具平台，其采用分布式文件系统对数据进行存储，支持海量数据的处理。采用多种的数据采集技术，支持结构化数据及非结构化数据的采集。通过图形化的模型搭建工具，支持流程化的模型配置。通过第三方插件技术，很容易将其他工具及服务集成到平台中去。数据分析研判平台就是海量信息的采集，数据模型的搭建，数据的挖掘、分析最后形成知识服务于实战、服务于决策的过程，平台主要包括数据采集部分，模型配置部分，模型执行部分及成果展示部分等。未至科技小蜜蜂网络信息雷达是一款网络信息定向采集产品，它能够对用户设置的网站进行数据采集和更新，实现灵活的网络数据采集目标，为互联网数据分析提供基础。未至科技泵站是一款大数据平台数据抽取工具，实现db到hdfs数据导入功能，借助Hadoop提供高效的集群分布式并行处理能力，可以采用数据库分区、按字段分区、分页方式并行批处理抽取db数据到hdfs文件系统中，能有效解决大数据传统抽取导致的作业负载过大抽取时间过长的问题，为大数据仓库提供传输管道。未至科技云计算数据中心以先进的中文数据处理和海量数据支撑为技术基础，并在各个环节辅以人工服务，使得数据中心能够安全、高效运行。根据云计算数据中心的不同环节，我们专门配备了系统管理和维护人员、数据加工和编撰人员、数据采集维护人员、平台系统管理员、机构管理员、舆情监测和分析人员等，满足各个环节的需要。面向用户我们提供面向政府和面向企业的解决方案。未至科技显微镜是一款大数据文本挖掘工具，是指从文本数据中抽取有价值的信息和知识的计算机处理技术, 包括文本分类、文本聚类、信息抽取、实体识别、关键词标引、摘要等。基于Hadoop MapReduce的文本挖掘软件能够实现海量文本的挖掘分析。CKM的一个重要应用领域为智能比对, 在专利新颖性评价、科技查新、文档查重、版权保护、稿件溯源等领域都有着广泛的应用。未至科技数据立方是一款大数据可视化关系挖掘工具，展现方式包括关系图、时间轴、分析图表、列表等多种表达方式，为使用者提供全方位的信息展现方式。 本回答被网友采纳

大数据工具特别广泛了，数据建模、数据分析挖掘、数据采集、数据展示等都有不同工具，目前我能说得上的是软件机器人小帮数据采集工具，对于CS、BS架构的软件都能兼容，更适合大数据这个范畴，不过，采集数据只是第一步，整个大数据工具的话，是个更系统的概念了。

大数据是互联网发展的方向，大数据人才是未来的高薪贵族。随着大数据人才的供不应求，大数据人才的薪资待遇也在不断提升。大数据时代，中国IT环境也将面临重新洗牌，不仅仅是企业，更是程序员们转型可遇而不可求的机遇。综合以下是10家专门从事大数据构建或相关业务的企业所提供的应用程序，有需要的可以直接收藏了！1. DomoOmniture公司前首席执行官Josh James于2010年创立了Domo公司，为企业提供了一种方法，可以从不同来源、不同的孤岛中查看数据。它自动从电子表格、社交媒体、内部存储、数据库，基于云的应用程序，以及数据仓库中提取数据，并在可定制仪表板上显示信息。它以其易用性以及几乎任何人都可以建立和使用它而闻名，而不仅仅是数据科学家采用。它配备了许多预加载的图表和数据源设计，可以快速移动。2. Teradata Database从Teradata Database 15开始，该公司增加了Teradata统一数据架构等新的大数据功能，使企业能够跨多个系统访问和处理分析查询，其中包括从Hadoop导入和导出双向数据。它还添加了地理空间数据的3D显示和处理，以及增强的工作负载管理和系统可用性。支持AWS和Azure的基于云计算的版本称为Teradata Everywhere，它在基于公共云的数据和本地部署的数据之间提供了大规模的并行处理分析。3. Hitachi VantaraHitachi Vantara的大数据产品是建立一些流行的开源工具基础上。Hitachi Vantara成立于2017年，是日立数据系统公司的存储和数据中心基础设施业务部门，是由Hitachi Insight集团物联网业务和日立Pentaho大数据业务组合成的一家合资公司。 Pentaho基于Apache Spark内存计算框架和Apache Kafka消息系统。Pentaho 8.0还增加了对Apache Knox Gateway的支持，以对用户进行身份验证，并强制访问大数据存储库的访问规则。它还增加了对依靠Docker容器构建分析应用程序的支持。4. TIBCO公司的StatisticaTIBCO公司的Statistica是针对各种规模企业的预测分析软件，使用Hadoop技术对结构化和非结构化数据执行数据挖掘，解决物联网数据，能够在全球任何地方的设备和网关上部署分析，并支持数据库内分析来自Apache Hive、MySQL、Oracle、Teradata等平台的功能。它使用模板来设计完整的分析，因此只有较少的技术用户可以进行自己的分析，并且可以将模型从电脑导出到其他设备。5. PanoplyPanoply公司依靠使用人工智能来销售所谓的智能云数据仓库，以消除转换、集成和管理数据所需的开发和编码。该公司声称，其智能云数据仓库实质上提供了数据管理即服务，能够在无需任何干预的情况下消费和处理高达1PB的数据。其机器学习算法可以检查来自任何数据源的数据，并对该数据执行查询和可视化。6. IBM Watson AnalyticsWatson Analytics是IBM公司的基于云计算的分析服务。当用户将数据上传到Watson时，它会根据数据分析向用户提供可帮助回答的问题，并立即提供关键数据可视化。它还可以进行简单分析、预测分析、智能数据发现，并提供各种自助服务仪表板。IBM公司还有另一种分析产品SPSS，可用于从数据中发现模式，并查找数据点之间的关联。7. SAS Visual AnalyticsStatistical Analysis System (SAS)创建于1976年，比大数据的创建还要早，就是为了处理大量数据。它可以从各种来源中挖掘、更改、管理和检索数据，并对所述数据执行统计分析，然后将其呈现在一系列方法中，如统计数据、图表等，或将数据写入其他文件。它支持所有类型的数据预测和分析要点，并附带预测工具来分析和预测流程。8. Sisense商业智能软件Sisense公司声称其提供了唯一的商业智能软件，使用户可以依靠从商品服务器硬件上的多个源进行来准备、分析和可视化复杂数据。Sisense的片上高性能数据引擎可以在一秒钟内完成对TB级数据的查询，并且为不同行业提供了一批模板。9. Talend的大数据工作室Talend一直专注于为Hadoop生成干净的原生代码，无需手动编写所有代码。它为各种大数据存储库提供接口，如Cloudera，MapR，Hortonworks和Amazon EMR。它近期添加了一个数据准备应用程序，可以让客户创建一个通用字典，并使用机器学习，自动执行数据清理过程，以便在更短的时间内为数据处理准备好数据。10. ClouderaApache Hadoop公司是很受欢迎的提供商和支持者，它与戴尔、英特尔、甲骨文、SAS、德勤和凯捷等公司都有合作关系。它由五个主要应用程序组成：核心数据管理平台Cloudera Essentials，数据管理平台Cloudera Enterprise Data Hub，用于商业智能和基于SQL的分析的Cloudera Analytic DB; 高度可扩展的NoSQL数据库Cloudera Operational DB，以及Cloudera Data Science and Engineering，在Core Essentials平台上运行的数据处理、数据科学和机器学习。

大数据分析是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据分析产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。一、HadoopHadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，即使计算元素和存储会失败，它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，它采用并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。Hadoop是轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：1、高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。2、高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。3、高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。4、高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。二、HPCCHPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了"重大挑战项目：高性能计算与通信"的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。该项目主要由五部分组成：1、高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;2、先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;3、国家科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;4、基本研究与人类资源(BRHR)，内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支持这些调查和研究活动;5、信息基础结构技术和应用(IITA )，目的在于保证美国在先进信息技术开发方面的领先地位。三、StormStorm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。四、Apache Drill为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为"Drill"的开源项目。Apache Drill 实现了Google’s Dremel。"Drill"已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而"Drill"将有助于Hadoop用户实现更快查询海量数据集的目的。"Drill"项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。通过开发"Drill"Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。五、RapidMinerRapidMiner提供机器学习程序。而数据挖掘，包括数据可视化，处理，统计建模和预测分析。RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。功能和特点免费提供数据挖掘技术和库；100%用Java代码(可运行在操作系统)；数据挖掘过程简单，强大和直观；内部XML保证了标准化的格式来表示交换数据挖掘过程；可以用简单脚本语言自动进行大规模进程；多层次的数据视图，确保有效和透明的数据；图形用户界面的互动原型；命令行(批处理模式)自动大规模应用；Java API(应用编程接口)；简单的插件和推广机制；强大的可视化引擎，许多尖端的高维数据的可视化建模；400多个数据挖掘运营商支持；耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。RapidMiner的局限性；RapidMiner 在行数方面存在大小限制；对于RapidMiner，您需要比ODM和SAS更多的硬件资源。六、Pentaho BIPentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。Pentaho BI 平台，Pentaho Open BI 套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行，主要以Pentaho SDK的形式进行。Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。七、DruidDruid是实时数据分析存储系统，Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。八、Ambari大数据平台搭建、监控利器;类似的还有CDH1、提供Hadoop集群Ambari为在任意数量的主机上安装Hadoop服务提供了一个逐步向导。Ambari处理集群Hadoop服务的配置。2、管理Hadoop集群Ambari为整个集群提供启动、停止和重新配置Hadoop服务的中央管理。3、监视Hadoop集群Ambari为监视Hadoop集群的健康状况和状态提供了一个仪表板。九、Spark大规模数据处理框架(可以应付企业中常见的三种数据处理场景：复杂的批量数据处理(batch data processing);基于历史数据的交互式查询;基于实时数据流的数据处理，Ceph:Linux分布式文件系统。十、Tableau Public1、什么是Tableau Public - 大数据分析工具这是一个简单直观的工具。因为它通过数据可视化提供了有趣的见解。Tableau Public的百万行限制。因为它比数据分析市场中的大多数其他玩家更容易使用票价。使用Tableau的视觉效果，您可以调查一个假设。此外，浏览数据，并交叉核对您的见解。2、Tableau Public的使用您可以免费将交互式数据可视化发布到Web;无需编程技能;发布到Tableau Public的可视化可以嵌入到博客中。此外，还可以通过电子邮件或社交媒体分享网页。共享的内容可以进行有效硫的下载。这使其成为最佳的大数据分析工具。大数据分析工程师DE职能要求3、Tableau Public的限制所有数据都是公开的，并且限制访问的范围很小;数据大小限制;无法连接到[R ;读取的唯一方法是通过OData源，是Excel或txt。十一、OpenRefine1、什么是OpenRefine - 数据分析工具以前称为GoogleRefine的数据清理软件。因为它可以帮助您清理数据以进行分析。它对一行数据进行操作。此外，将列放在列下，与关系数据库表非常相似。2、OpenRefine的使用清理凌乱的数据;数据转换;从网站解析数据;通过从Web服务获取数据将数据添加到数据集。例如，OpenRefine可用于将地址地理编码到地理坐标。3、OpenRefine的局限性Open Refine不适用于大型数据集;精炼对大数据不起作用十二、KNIME1、什么是KNIME - 数据分析工具KNIME通过可视化编程帮助您操作，分析和建模数据。它用于集成各种组件，用于数据挖掘和机器学习。2、KNIME的用途不要写代码块。相反，您必须在活动之间删除和拖动连接点;该数据分析工具支持编程语言;事实上，分析工具，例如可扩展运行化学数据，文本挖掘，蟒蛇，和[R 。3、KNIME的限制数据可视化不佳十三、Google Fusion Tables1、什么是Google Fusion Tables对于数据工具，我们有更酷，更大版本的Google Spreadsheets。一个令人难以置信的数据分析，映射和大型数据集可视化工具。此外，Google Fusion Tables可以添加到业务分析工具列表中。这也是最好的大数据分析工具之一。2、使用Google Fusion Tables在线可视化更大的表格数据;跨越数十万行进行过滤和总结;将表与Web上的其他数据组合在一起；您可以合并两个或三个表以生成包含数据集的单个可视化;3、Google Fusion Tables的限制表中只有前100,000行数据包含在查询结果中或已映射;在一次API调用中发送的数据总大小不能超过1MB。大数据分析科学家DS职能要求十四、NodeXL1、什么是NodeXL它是关系和网络的可视化和分析软件。NodeXL提供精确的计算。它是一个免费的(不是专业的)和开源网络分析和可视化软件。NodeXL是用于数据分析的最佳统计工具之一。其中包括高级网络指标。此外，访问社交媒体网络数据导入程序和自动化。2、NodeXL的用途这是Excel中的一种数据分析工具，可帮助实现以下方面：数据导入;图形可视化;图形分析;数据表示;该软件集成到Microsoft Excel 2007,2010,2013和2016中。它作为工作簿打开，包含各种包含图形结构元素的工作表。这就像节点和边缘;该软件可以导入各种图形格式。这种邻接矩阵，Pajek .net，UCINet .dl，GraphML和边缘列表。3、NodeXL的局限性您需要为特定问题使用多个种子术语;在稍微不同的时间运行数据提取。十五、Wolfram Alpha1、什么是Wolfram Alpha它是Stephen Wolfram创建的计算知识引擎或应答引擎。2、Wolfram Alpha的使用是Apple的Siri的附加组件;提供技术搜索的详细响应并解决微积分问题;帮助业务用户获取信息图表和图形。并有助于创建主题概述，商品信息和高级定价历史记录。3、Wolfram Alpha的局限性Wolfram Alpha只能处理公开数字和事实，而不能处理观点;它限制了每个查询的计算时间;这些数据分析统计工具有何疑问?十六、Google搜索运营商1、什么是Google搜索运营商它是一种强大的资源，可帮助您过滤Google结果。这立即得到最相关和有用的信息。2、Google搜索运算符的使用更快速地过滤Google搜索结果;Google强大的数据分析工具可以帮助发现新信息。十七、Excel解算器1、什么是Excel解算器Solver加载项是Microsoft Office Excel加载项程序。此外，它在您安装Microsoft Excel或Office时可用。它是excel中的线性编程和优化工具。这允许您设置约束。它是一种先进的优化工具，有助于快速解决问题。2、求解器的使用Solver找到的最终值是相互关系和决策的解决方案;它采用了多种方法，来自非线性优化。还有线性规划到进化算法和遗传算法，以找到解决方案。3、求解器的局限性不良扩展是Excel Solver缺乏的领域之一;它会影响解决方案的时间和质量;求解器会影响模型的内在可解性;十八、Dataiku DSS1、什么是Dataiku DSS这是一个协作数据科学软件平台。此外，它还有助于团队构建，原型和探索。虽然，它可以更有效地提供自己的数据产品。2、Dataiku DSS的使用Dataiku DSS - 数据分析工具提供交互式可视化界面。因此，他们可以构建，单击，指向或使用SQL等语言。3、Dataiku DSS的局限性有限的可视化功能;UI障碍：重新加载代码/数据集;无法轻松地将整个代码编译到单个文档/笔记本中;仍然需要与SPARK集成以上的工具只是大数据分析所用的部分工具，小编就不一一列举了，下面把部分工具的用途进行分类：1、前端展现用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。用于展现分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft Power BI, Oracle,Microstrategy,QlikView、 Tableau 。国内的有BDP，国云数据(大数据分析魔镜)，思迈特，FineBI等等。2、数据仓库有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。3、数据集市有QlikView、 Tableau 、Style Intelligence等等。相关推荐：《剖析大数据分析就业前景》、《大数据分析是什么》、《大数据分析12大就业方向》、《大数据分析十八般工具》