大数据分析技术有哪些：分类与选型

大数据分析技术有哪些，主流分为描述性分析、诊断性分析、预测性分析、规范性分析四大类，配套包含数据采集、数据清洗、数据存储、数据挖掘、可视化、流式计算相关技术；描述性分析适合业务报表、历史数据复盘，诊断性分析用于定位异常成因，预测性分析用来预估未来指标波动，规范性分析输出可执行决策方案，单条分析链路里，你需要先完成数据预处理，再匹配对应分析技术，该整套技术体系更适合数据量十万行以上、多源异构数据混杂的业务场景，小样本结构化表格直接使用传统统计工具即可，不需要部署大数据组件。

大数据分析技术：基础支撑类

数据采集技术负责从不同渠道抓取原始数据，常见包含日志采集、数据库同步、接口拉取三类，日志采集常用Flume，数据库同步多用Canal，接口拉取适合业务系统定时推送结构化数据。采集后的数据会进入数据清洗环节，这一步依靠ETL技术完成去重、补空、格式统一，Spark是当下使用较多的分布式ETL引擎，能够并行处理TB级别的杂乱数据。

存储技术决定数据读取速度，分布式文件系统HDFS适合存放非结构化原始数据，Hive依托HDFS提供类SQL查询能力，适合离线批量分析；HBase属于列式数据库，针对高频单点查询场景，读取延迟更低。

大数据分析技术：核心分析算法类

关联规则算法可以挖掘变量之间的相关性，典型应用是商品组合推荐，它不会直接判定因果，只输出共同出现的概率，你拿到结果后还需要结合业务逻辑核验，避免误把巧合当成规律。时序算法专门处理带有时间戳的数据，能够识别周期趋势，适合监控类指标的长期研判。

规范分析是分析链路里复杂度偏高的一类，它不会只输出预估结果，而是在给定约束条件下给出多套行动方案，约束条件可以是成本上限、资源总量、时间窗口，在供应链资源调配场景落地较多。

大数据分析技术：实时计算与可视化类

流式计算技术专门处理不间断流入的实时数据，Flink和SparkStreaming是主流实现，Flink支持事件时间，对乱序数据的容错能力更强，多用于实时风控、实时大屏，延迟可以控制在秒级。离线计算则是攒够一批数据再统一运算，适合T+1的业务统计，延迟通常在小时级别。

可视化技术把分析结果转化为图表、仪表盘，它本身不做计算，用来降低结论的理解门槛，常用工具包含Superset、ECharts，你可以直接对接数仓，配置自动刷新，方便业务人员自主查看指标。

算法依赖算力。

国内大数据人才培养相关内容可参考工信部2024年发布的大数据工程技术人员就业发展报告，报告梳理了各类技术在企业项目中的落地占比，其中离线分析技术在中小企业落地占比明显高于实时分析。

流式计算技术对服务器资源要求更高，单节点很难支撑高并发数据流，在业务流量波动大的场景，需要搭配弹性扩缩容机制，否则容易出现数据堆积、计算延迟持续上涨的问题。