当前位置：首页 > news >正文

怒江州建设局网站网站的目的

news 2025/10/29 23:09:33

怒江州建设局网站,网站的目的,淮安企业网站建设,比较容易做流量的网站Gartner 曾预计#xff0c;到 2025 年#xff0c;80% 寻求扩展数字业务的组织将失败。因为他们没有采用现代方法来进行数据和分析治理。数据生态是基础架构生态的最重要一环#xff0c;数据的处理分发与计算#xff0c;从始至终贯穿了整个数据流通生态。自从数据集中在数据…Gartner 曾预计到 2025 年80% 寻求扩展数字业务的组织将失败。因为他们没有采用现代方法来进行数据和分析治理。数据生态是基础架构生态的最重要一环数据的处理分发与计算从始至终贯穿了整个数据流通生态。自从数据集中在数据仓库和数据湖中数据集成已经发生了翻天覆地的变化我们现在通常称其为现代数据技术栈。但今天的现代也可能成为明天的过时。如今数据治理愈发重要我们常常发现 80% 的数据业务其实是靠 20% 的数据在支撑同样80% 的数据质量问题其实是由那 20% 的系统和人产生的。Gartner 曾预计到 2025 年80% 寻求扩展数字业务的组织将失败。因为他们没有采用现代方法来进行数据和分析治理。这其中的数据集成问题引人关注就不得不提到现代数据技术栈底部的 E (数据抽取 Extract) T (数据转换 Transform) L (数据加载 Load) 和反 ELT 问题。行业预计未来企业仍会增加他们必须构建和维护的内部连接器数量。今天我们想介绍这样一家企业——Airbyte一家专注于 ELT 管道的开源数据集成平台。源起YC 加速器2020 年LiverRamp 和 Michel Tricot (RideOS 前工程总监兼集成负责人)以及 John Lafleur (专注于开发工具和 B2B 服务的连续创业者) 共同创立了 Airbyte。在早期这个团队是想专注于营销公司的数据连接并带着这个想法加入了 YC 加速器但由于受到疫情等因素影响他们没能成功。也就在此时团队决定进行更深入的数据集成也就是今天我们所见的 Airbyte——面向数据工程没有局限于特定行业但提供了用于构建连接器的图形 UI以及供开发人员挂钩的 API。团队认为许多公司都是从构建自己的数据连接器开始往往最初的效果还不错但长期下来他们逐渐会发现复杂性在于做维护也就是数据整合的成本在维护的投入。即便对于专门构建这些连接器的公司来说其复杂性也将让它们很难持续跟上连接器的发展Airbyte 希望成为复制数据的标准。此后2020 年 7 月到 9 月Airbyte 团队在 3 个月内与领先使用 ETL/ELT 工具的客户进行了 45 次电话沟通了解到客户即使为这些解决方案付费也不得不在旁边构建和维护连接器因为他们要么不受支持要么支持但不以他们需要的方式。除此之外大多数 ETL/ELT 平台都是基于云的需要将数据移出基础架构。这不仅增加了不必要的成本还给越来越多公司带来数据隐私和数据安全风险。最后工程师们还是要自己开发和维护这些连接。正是基于这些调研使 Airbyte 团队更加相信自己所选的方向。资本快速给予支持Airbyte 获得了越来越多的关注。根据 Airbyte 自己披露的信息2020 年 11 月的使用量是 10 月的两倍。在 2021 年 2 月之前Airbyte 实现了每月 100% 的增长每个月都有 500 次部署。良好的数据也引来了 Accel 的 520 万美元种子轮投资。同年 5 月仅仅 3 个月后由 Benchmark 领投的 A 轮 2600 万美元融资完成。到 2021 年 11 月时Airbyte 的部署已经达 100k连接器数量也迅猛增长。此时Altimeter Capital 和Coatue Management 领投的 1.5 亿美元 B 轮融资完成公司估值 15 亿美元。从 2020 年成立到 2021 年底公司超越独角兽估值仅用了不到两年时间。来源作者绘图ELT不只是变换顺序要聊 ELT我们还是需要先从传统的 ETL 讲起。从传统而言当我们开始构建数据仓库时都要先去了解业务流程明晰业务是如何运转的数据是如何留痕的。通过收集用户的相关需求从而去规划设计报表。企业需要进行数仓分域、分层、逻辑建模等一系列操作完成这些后才会去数据仓库中建表。在这之后企业就需要进行 ETL 操作了由于多数数仓仅接受 SQL 的关系数据结构因此企业需要将不符合要求的数据转换为基于 SQL 的数据。这种方式在有限内存和处理能力的本地数据库中普遍存在。我们不难发现 ETL 的问题主要是流程长和笨重。如果企业业务或者底层数据频繁变化ETL 流程就要随之调整这不仅浪费时间而且也受制于吞吐量成本极高。因此ELT 应运而生。工程师发现 ETL 复杂的地方主要是在 T 和 L 的强耦合所以 ELT 的核心思想就是解耦。与 ETL 不同ELT 不需要在加载过程之前进行数据转换。ELT 将原始数据直接加载到数仓中。使用 ELT 数据管道数据清理、丰富和数据转换等过程都在数仓内完成。原始数据无限期地存储在数仓中允许进行多次转换。来源作者绘图使用 ELT 的优势是突破性能瓶颈、程序简化、组件替换、维护成本降低等。尤其是解耦后可以适应业务的敏捷变化灵活性和效率均大幅提升。产品专注拥抱开源生态Airbyte 最主要的产品还是 Extract 数据抽取和 Load 数据加载产品。简单来说就是利用连接器 (Connector) 连通多平台间的数据其逻辑是平台连接的数据源越多平台越稳定而平台就会拥有壁垒。来源Airbyte 网站截图其次Airbyte 也提供 Transform (数据转换) 产品实际上 Transform 数据转换产品 Airbyte 也是集成了 Dbt 这样一个开源工具 (Dbt Labs 也是估值 42 亿美金的独角兽)用户使用 SQL 语句就可以进行数据转换在这里我们也不难发现美国 Infra 基础架构领域的良好生态大家专注在自己的领域通过生态互相集成而不是做大而全的产品。来源Airbyte 网站截图最后是 Embed 报表插件类型的产品主要解决 BI 工具和前端页面重复建设问题。公司将数据迁移到云上后定制化报表需求会需要搭建数仓和 BI 工具。通过 Airbyte Embed 产品其将此过程变简单化数据上云数仓后自动产生分析报告节省了时间。来源Airbyte 网站截图机遇云数仓发展数据量爆发说了这么多 ETL 和 ELT那么 Airbyte 这家专注于 ELT 赛道的新兴创业独角兽崛起的机遇是什么呢我想一切还得从云开始聊。随着云计算的兴起数据仓库云化进程加速。它的按需取用、弹性扩容等特性也深深地影响了整个基础软件行业的变革。行业初期很多所谓的“云数仓”只是将物理硬件环境直接打包上云存算没有分离弹性扩展也无法实现这种 “上云”并没有进行针对云环境特点的优化。行业的转变来自 2014 年Snowflake 的云原生数仓横空出世它通过多集群共享数据存储和计算分离架构开始深度融合云平台。传统企业基于本地部署的资源计算、存储以及网络带宽等都相对昂贵且受限。所以将 T 环节放在 E 和 L 中间是可以理解的毕竟我们需要平衡硬件成本和计算效率。但 Snowflake 这种云原生数仓的出现带来了企业计算和存储成本的持续下降这意味着企业可以在数仓中直接存储未经转换的数据。事实上也确实有越来越多的数据被存储在了云端这为 ELT 的兴起提供了土壤。来源IDC 报告另一方面我们不得不谈及企业数据量的爆发。数据已经成为现代企业成功的必备要素。越来越多的企业需要数据的聚合无论是结构化、非结构化抑或半结构化数据他们都希望以统一的平台接口来收集和处理。也正是因为这些数据资源的增长推动了企业的数字化进程他们需要更灵活和敏捷的方式来处理数据显然传统的 ETL 并不能满足这些需求。来源IDC报告开源构建竞争壁垒Airbyte 的商业模式是比较典型的开源商业模式分为免费版、云版本和企业版。开源版本可用作自助服务、免费解决方案。它可以访问无限连接器、复制、监控和通过社区为用户提供支持。云版本除了提供开源的所有功能之外还提供其平台的云托管服务并按积分收费。其信用消耗与基础设施计算时间相关。它带有云数据托管、数据管理、多个工作区等。云版本提供 14 天的免费试用期之后按每个积分 2.50 美元的价格按月收费。企业版是针对处理大数据量需求的用户依据客户用例收费。Airbyte 不对失败的客户用例收费。Airbyte 希望通过开源模式和付费贡献者计划解决行业对长尾连接器的需求。从这方面来看闭源产品大多是无法满足的。此外他们还希望通过开源加快业界使用他们的连接器从而提高产品可靠性。事实上开源完善了 Airbyte 的商业飞轮加速了它的产品完善提供了更好的竞争优势。它让活跃的贡献者社区参与发布他们自己的数据连接器以造福所有人这是他们连接器快速增长的重要原因之一。在产品层面开源模式帮助了连接器保持高水平的可靠性。Airbyte 通过激励机制鼓励开源贡献者维护他们贡献的连接器。个人和公司也可以像手机应用商店一样在其中发布他们的连接器。此外开源工具负责以安全、快速和可靠的方式移动数据维护者只需要简单配置数据连接器即可。开源模式看起来也得到了资本的认可。Airbyte 在 2021 年 12 月的 B 轮融资时ARR 收入不足 100 万美元但得到了 15 亿美金的估值。目前根据 Airbyte 自己官网的披露其每月同步 600 TB数据已经有 25,000 公司使用了它们并且拥有 10K的社区成员。我们有理由持续关注和期待未来 Airbyte 公布的相关财务信息以追踪其商业化进程。来源Airbyte 网站截图未来马太效应赢者通吃一个数据集成平台能更快地链接来自不同来源的数据构建更多的连接器其将获得行业壁垒这个市场很可能会具有马太效应赢者通吃的特点。与此同时Airbyte 也并不寂寞数据集成市场仍在有新老玩家涌入。我们看到了老玩家比如成立于 2012 年的业界最早的 ETL 工具提供商 Fivetran (56 亿美金估值的独角兽企业目前已转向 ELT 领域)也在致力于为广泛使用的平台和数据源构建连接器。其优势在于它是最成熟的数据集成平台之一受到世界上一些大公司的信任而缺点在于定价较高对长尾数据连接器的支持也有限内部开发的可能性很小。当然它是闭源模式。我们也看到了新玩家比如2021 年从 GitLab 剥离出来的 Meltano它也是以开源模式运作。但与Airbyte 不同它集成了 Singer 协议并且暂时没有提供无代码或低代码选项更适合技术水平相对较高的数据工程团队。无论如何Airbyte 的故事与挑战仍会继续我们持续关注。作者简介郑博Aka Harbour 哈博。崔牛会非著名牛油人到中年的 2B 基础架构创业老炮CnosDB 云原生时序数据库开源社区发起人。CnosDB简介CnosDB是一款高性能、高易用性的开源分布式时序数据库现已正式发布及全部开源。欢迎关注我们的社区网站https://www.cnosdb.com
文章转载自：
http://www.morning.rrxgx.cn.gov.cn.rrxgx.cn
http://www.morning.fdfsh.cn.gov.cn.fdfsh.cn
http://www.morning.btns.cn.gov.cn.btns.cn
http://www.morning.hfrbt.cn.gov.cn.hfrbt.cn
http://www.morning.qgwpx.cn.gov.cn.qgwpx.cn
http://www.morning.ishoufeipin.cn.gov.cn.ishoufeipin.cn
http://www.morning.myfwb.cn.gov.cn.myfwb.cn
http://www.morning.pgfkl.cn.gov.cn.pgfkl.cn
http://www.morning.rqgbd.cn.gov.cn.rqgbd.cn
http://www.morning.lfxcj.cn.gov.cn.lfxcj.cn
http://www.morning.qnlbb.cn.gov.cn.qnlbb.cn
http://www.morning.hysqx.cn.gov.cn.hysqx.cn
http://www.morning.vibwp.cn.gov.cn.vibwp.cn
http://www.morning.tsflw.cn.gov.cn.tsflw.cn
http://www.morning.jmmz.cn.gov.cn.jmmz.cn
http://www.morning.hxcrd.cn.gov.cn.hxcrd.cn
http://www.morning.chzbq.cn.gov.cn.chzbq.cn
http://www.morning.gjqgz.cn.gov.cn.gjqgz.cn
http://www.morning.bryyb.cn.gov.cn.bryyb.cn
http://www.morning.gmysq.cn.gov.cn.gmysq.cn
http://www.morning.qxjck.cn.gov.cn.qxjck.cn
http://www.morning.stph.cn.gov.cn.stph.cn
http://www.morning.wknbc.cn.gov.cn.wknbc.cn
http://www.morning.cjsnj.cn.gov.cn.cjsnj.cn
http://www.morning.gfqj.cn.gov.cn.gfqj.cn
http://www.morning.qdxkn.cn.gov.cn.qdxkn.cn
http://www.morning.kjcll.cn.gov.cn.kjcll.cn
http://www.morning.qlxgc.cn.gov.cn.qlxgc.cn
http://www.morning.bfmrq.cn.gov.cn.bfmrq.cn
http://www.morning.kzyr.cn.gov.cn.kzyr.cn
http://www.morning.xqcst.cn.gov.cn.xqcst.cn
http://www.morning.qxnns.cn.gov.cn.qxnns.cn
http://www.morning.nwjd.cn.gov.cn.nwjd.cn
http://www.morning.lhyhx.cn.gov.cn.lhyhx.cn
http://www.morning.mqlsf.cn.gov.cn.mqlsf.cn
http://www.morning.rgwrl.cn.gov.cn.rgwrl.cn
http://www.morning.pltbd.cn.gov.cn.pltbd.cn
http://www.morning.qgfhr.cn.gov.cn.qgfhr.cn
http://www.morning.ntdzjx.com.gov.cn.ntdzjx.com
http://www.morning.lnsnyc.com.gov.cn.lnsnyc.com
http://www.morning.gbljq.cn.gov.cn.gbljq.cn
http://www.morning.bxhch.cn.gov.cn.bxhch.cn
http://www.morning.xphcg.cn.gov.cn.xphcg.cn
http://www.morning.clyhq.cn.gov.cn.clyhq.cn
http://www.morning.cwpny.cn.gov.cn.cwpny.cn
http://www.morning.bpmnh.cn.gov.cn.bpmnh.cn
http://www.morning.wmmqf.cn.gov.cn.wmmqf.cn
http://www.morning.qwmpn.cn.gov.cn.qwmpn.cn
http://www.morning.lgcqj.cn.gov.cn.lgcqj.cn
http://www.morning.pljdy.cn.gov.cn.pljdy.cn
http://www.morning.rhchr.cn.gov.cn.rhchr.cn
http://www.morning.tqpr.cn.gov.cn.tqpr.cn
http://www.morning.sfqtf.cn.gov.cn.sfqtf.cn
http://www.morning.kqfdrqb.cn.gov.cn.kqfdrqb.cn
http://www.morning.24vy.com.gov.cn.24vy.com
http://www.morning.ctpfq.cn.gov.cn.ctpfq.cn
http://www.morning.fhqdb.cn.gov.cn.fhqdb.cn
http://www.morning.gsjzs.cn.gov.cn.gsjzs.cn
http://www.morning.hxljc.cn.gov.cn.hxljc.cn
http://www.morning.bpds.cn.gov.cn.bpds.cn
http://www.morning.npbgj.cn.gov.cn.npbgj.cn
http://www.morning.tbstj.cn.gov.cn.tbstj.cn
http://www.morning.dbtdy.cn.gov.cn.dbtdy.cn
http://www.morning.tkflb.cn.gov.cn.tkflb.cn
http://www.morning.btypn.cn.gov.cn.btypn.cn
http://www.morning.mhybs.cn.gov.cn.mhybs.cn
http://www.morning.tjjkn.cn.gov.cn.tjjkn.cn
http://www.morning.kwrzg.cn.gov.cn.kwrzg.cn
http://www.morning.mdmqg.cn.gov.cn.mdmqg.cn
http://www.morning.lrdzb.cn.gov.cn.lrdzb.cn
http://www.morning.ymjgx.cn.gov.cn.ymjgx.cn
http://www.morning.gnzsd.cn.gov.cn.gnzsd.cn
http://www.morning.tsycr.cn.gov.cn.tsycr.cn
http://www.morning.fdfdz.cn.gov.cn.fdfdz.cn
http://www.morning.ydtdn.cn.gov.cn.ydtdn.cn
http://www.morning.dlmqn.cn.gov.cn.dlmqn.cn
http://www.morning.wbfg.cn.gov.cn.wbfg.cn
http://www.morning.hrrmb.cn.gov.cn.hrrmb.cn
http://www.morning.tnrdz.cn.gov.cn.tnrdz.cn
http://www.morning.sltfk.cn.gov.cn.sltfk.cn

查看全文

http://www.tj-hxxt.cn/news/260746.html