下载AG百家乐 到底是什么是“数据湖仓”?
之前写了数据仓库和数据湖：下载AG百家乐
到底是什么是“数据湖仓”？
到底什么是“数据湖”？
今天是大数据专题的临了一篇，来讲讲数据湖仓。
█ 为什么会有“数据湖仓”？
前边咱们提到，数据仓库出现于1990年代，主要基于MPP（Massively Parallel Processing，大范畴并行处理）或者干系型数据库完结，用于企业作念数据存储、处理和分析，发展数据看板、BI（交易智能）等用途。
而数据湖，出现于2010年代，主要基于大数据本事（Hadoop等）生态，用于复旧万般化的数据存储，及时性更强，顺应舒服批处理、流式谋划等业务场景。
数据仓库的特色是，先作念数据处理，搞得范例整王人之后，存起来。用的时候就胜利用。它主要存的是结构化（行列）数据。
数据湖的特色是，什么数据（结构化、非结构化、半结构化）都能存，不作念预处理，先一起都存起来，等要用的时候，再处理。
两种本事，各有优症结：
从资本的角度来看，数据湖的起步资本很低，但跟着数据体量的增大，资本会赶快飙升。而数据仓库碰巧相背，前期缔造开支很大，后期资本增多趋缓。
数据仓库和数据湖，都是基于数据进行价值挖掘，仅仅侧要点不同。对于企业来说，两者都有价值，是以，会聘请同期缔造。
很赫然，这不仅导致了昂贵的缔造投资资本，也使得数据存在冗余和重迭。
基于以上种种原因，业界就驱动想考：是不是不错将数据仓库和数据湖进行招引，充分阐扬两者的上风，弥补各自的劣势呢？
于是，就有一些管事商，驱动询查如何将两者的智商进行“买通”。
主要想路包括两种：一种是让数据仓库支合手对数据湖的拜访。还有一种，是让数据湖具备数据仓库的一些智商。
前者比拟有代表性的，是2017年Redshift推出的Redshift Spectrum。它支合手Redsift数据仓库用户拜访AWS S3数据湖的数据。
后者有代表性的比拟多，包括2017年Hortonworks孵化出的Apache Atlas和Ranger名堂，2018年Nexflix开源的里面增强版块元数据管事系统Iceberg。2018-2019年，Uber和Databricks接踵推出了Apache Hudi和DeltaLake，推出增量文献花式，用以支合手Update/Insert、事务等数据仓库功能。
扫数这些尝试和辛勤，都多若干少存在一些劣势（数据仓库和数据湖存在本色的区别，整合难度很大），并不算收效。
2020年，数据智能独角兽企业Databricks（没错，等于提议Delta Lake的阿谁公司，数据湖的代表企业）崇敬提议了数据湖仓（Data Lakehouse）意见。
Databricks集合独创东说念主兼首席履行官阿里·戈德西（Ali Ghodsi）示意：
“从长久来看，所稀有据仓库都将被纳入数据湖仓，这不会在整夜之间发生——这些东西会共存一段时候——在价钱和性能上，数据湖仓完胜数据仓库。”
数据湖仓，也被称为湖仓一体。
2021年，“湖仓一体”初次被写入Gartner数据管制范畴老练度说明。2023年6月，大数据本事尺度鼓舞委员会发布了《湖仓一体本事与产业询查说明（2023年）》。这一年的6月26日，“湖仓一体”在中国大数据产业发展大会上收效入选“2023大数据十大环节词”。
█ 数据湖仓的主要特色
数据湖仓（湖仓一体），说白了，等于一种将数据仓库和数据湖买通的新式盛开式架构。它既具备数据湖的机动性，也具备数据仓库的高性能及管忠良商，为企业进行数据治理带来了更大的便利和更高的成果。
在数据湖仓的底层，支合手多种数据类型并存，能完结数据间的互相分享。
在数据湖仓的表层，不错通过和解接口进行拜访，可同期支合手及时查询和分析。
数据仓库和数据湖这两套体系互相买通之后，数据不错在两者之间解放流动。
也等于说，数据湖里的“崭新”数据（热数据），不错流到数据仓库里，胜利被数据仓库使用。
而数据仓库里的“不崭新”数据（冷数据），也不错流到数据湖里，低资本长久保存，供改日使用。
数据湖仓的特色，其实等于数据仓库的优点+数据湖的优点。
在数据存储方面，ag百家乐在线给与了数据湖的上风，支合手万般化数据，且以HDFS或云对象存储为基础，完结了低资本、高可用。数据以原始花式或盛开文献花式（如 Parquet、ORC）存储，具备高效的压缩比与列存储脾性，便捷查找。
盛开文献花式，也保险了数据在不同谋划引擎间的通用性。
数据湖仓相似支合手Iceberg、Hudi、Delta Lake等盛开表花式。它们不仅支合手数据的近及时更新、高效的快顾问制，还兼容 SQL 尺度，使得数据既不错像传统数据库表一样进行事务性操作，又能充分把握数据湖的漫衍式存储与弹性谋划上风。
在谋划引擎方面（收受存算分离架构），整合了Spark、Flink、Presto、Doris等万般的谋划引擎。通过和解的治愈与资源管制，不同引擎不错分享存储资源，协同处理复杂的数据责任流，舒服企业从及时监控到深度分析的全方向谋划需求。
阿里云数据湖仓架构（来自阿里云官网）
在数据一致性方面，提供ACID（原子性、一致性、进击性、合手久性）保证，确保数据写入的一致性，保证了多方同期读取或写入数据时的数据准确性。
在数据管制方面，数据湖仓完结了和解的元数据管制，支合手全链路血统，提供和解的定名空间、全局的数据目次。不管数据存储在那边，使用何种谋划引擎，用户都能通过和解的API进行快速检索、健硕与拜访数据。数据治理，变得相称高效。
在数据安全方面，数据湖仓一般还支合手多佃户和库表列级数据权限，大略很好地进行佃户进击和数据权限管控，确保了数据的安全性和隐秘性。
虽然了，数据湖仓也不是莫得症结。
算作一项会通的本事架构，它的复杂性比拟高，需要很高的本事门槛。何况，它的早期投资比拟大，对企业来说有一定的资本压力。
数据湖仓的性能优化、数据治理以及安全防卫，也存在一定的挑战。这些门槛和挑战，通常会让企业用户谢绝三舍。
█ 数据湖仓的参考架构
数据湖仓出身于今的时候并不是很长。从最驱动的仓和湖独处缔造，到其后，迟缓变成了“湖上建仓”与“仓外挂湖”两种推行旅途。
湖上建仓，是指基于数据湖架构，或者以数据湖算作数据存储中间层，完结多源异构数据的和解存储。然后，以和解调用接口方式调用谋划引擎，最终完结高下结构的湖仓一体架构。
仓外挂湖，是指以MPP数据库为基础，使用可插拔架构，通过盛开接口对接外部存储，完结和解存储。
跟着时候的推移，也有企业驱动推出两种架构的深远会通。
现在，在数据湖仓范畴比拟有代表性的管事商，包括国外的AWS（亚马逊云科技）、微软Azure 、Databricks、Snowflake，以及国内的阿里云、腾讯云、华为云、星环科技等。
各大管事商的架构有较差的相反，但基本上都包括存储层、元数据管制层、谋划引擎层、管事与治理层等。
以下是几个比拟有代表性的架构，供参考。
科杰的数据湖仓架构：
Azure的数据湖仓架构：
AWS的数据湖仓（他们叫智能湖仓）架构：
图片来自“特大号”
基于Apache Doris的湖仓一体架构：
█ 临了的话
现在来看，数据湖仓正在加快成为企业伏击的政策性基础圭表，用于永恒的数据价值挖掘，以及发展AI应用。
左证毕马威的说明清晰，86%的国际企业谋划和解其分析数据，以支合手AI业务的斥地。国内亦然如斯。举例腾讯、B站、小红书等头部互联网企业，都收受了数据湖仓架构，用于不同历程的AI应用。
数据湖仓在及时流处理与机器学习方面发达出色，大略很好地舒服大模子的覆按需求，治服改日几年会获取更好的发展。
好啦，以上等于对于数据湖仓的先容。鲜枣课堂大数据专题系列到此放置。感谢公共的耐性不雅看！
参考文献：
1、《数据库、数据湖、数据仓库、湖仓一体、智能湖仓，区分都是什么鬼》，特大号；
2、《从数据湖到湖仓一体：和解数据架构演进之路》，Light Gao，知乎；
3、《数据仓库、数据湖、湖仓一体，究竟有什么区别？》，SelectDB，知乎；
4、《什么是湖仓一体？湖仓一体搞定了什么问题？》，帆软；
5、《2024大数据“打假”：什么才是真湖仓一体？》，张友东；大数据在线；
6、《大数据架构系列：如何健硕湖仓一体？》，叶强项，腾讯云斥地者社区；
7、百度百科下载AG百家乐，维基百科，各大管事商官网。