移动微网站建设二维码,做网站用的主机,mysql做镜像网站,兰溪网站建设学徒【前言】作为中国的 “Fivetran/Airbyte”, Tapdata 是一个以低延迟数据移动为核心优势构建的现代数据平台#xff0c;内置 60 数据连接器#xff0c;拥有稳定的实时采集和传输能力、秒级响应的数据实时计算能力、稳定易用的数据实时服务能力#xff0c;以及低代码可视化操作… 【前言】作为中国的 “Fivetran/Airbyte”, Tapdata 是一个以低延迟数据移动为核心优势构建的现代数据平台内置 60 数据连接器拥有稳定的实时采集和传输能力、秒级响应的数据实时计算能力、稳定易用的数据实时服务能力以及低代码可视化操作等。典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖以及通用 ETL 处理等。 随着 Tapdata Connector 的不断增长我们最新推出《Tapdata Connector 实用指南》系列内容以文字解析辅以视频演示还原技术实现细节模拟实际技术及应用场景需求提供可以“收藏跟练”的实用专栏。本期实用指南以 SQL Server → BigQuery 为例演示数据入仓场景下如何将数据实时同步到 BigQuery。 数据规模仍在持续扩大的今天为了从中获得可操作的洞察力进一步实现数据分析策略的现代化转型越来越多的企业开始把目光投注到 BigQuery 之上希望通过 BigQuery 来运行大规模关键任务应用从而达到优化运营、改善客户体验并降低总体拥有成本的目的。
作为自带 ETL 的实时数据平台我们也看到了很多从传统内部数据仓库向 BigQuery 的数据迁移需求。
一、BigQuery 的云数仓优势
作为一款由 Google Cloud 提供的云原生企业级数据仓库BigQuery 借助 Google 基础架构的强大处理能力可以实现海量数据超快速 SQL 查询以及对 PB 级数据进行安全并可扩展的分析。同时也因其天然具备的无服务器架构、低成本等特性备受数据分析师和数据工程师的青睐在数据存储和处理上表现出更出色的便利性。
BigQuery 在企业中通常用于存储来自多个系统的历史与最新数据作为整体数据集成策略的一部分也常作为既有数据库的补充存在。其优势在于
在不影响线上业务的情况下进行快速分析BigQuery 专为快速高效的分析而设计, 通过在 BigQuery 中创建数据的副本, 可以针对该副本执行复杂的分析查询, 而不会影响线上业务。数据集中存储, 提高分析效率对于分析师而言使用多个平台耗时费力如果将来自多个系统的数据组合到一个集中式数据仓库中可以有效减少这些成本。安全性保障可以控制对加密项目或数据集的访问并实施身份访问管理。可扩展性支持根据公司的规模、性能和成本要求定制数据存储。友好兼容作为 Google Cloud 的一部分它与 Google 系产品更兼容对相关用户更友好。
为了实现上述优势我们需要首先实现数据向 BigQuery 的同步。
二、SQLServer → BigQuery 的数据入仓任务
点击查看完整演示 *本演示视频版本为 Tapdata 本地部署版本
版本指路
点击登录 Tapdata Cloud
申请试用 Tapdata 本地部署版
BigQuery 准备工作 登录 Google Cloud 凭据页面 创建服务账号该账号将用于后续的身份验证。 a. 在页面顶部单击创建凭据 服务账号。 b. 在服务账号详情区域填写服务账号的名称、ID 和说明信息单击创建并继续。 c. 在角色下拉框中输入并选中 BigQuery Admin单击页面底部的完成。 为服务账号创建认证密钥。 a. 在跳转到的凭据页面单击页面下方刚创建的服务账号。 b. 在密钥标签页单击添加密钥 创建新密钥。 c. 在弹出的对话框中选择密钥类型为 JSON然后单击创建。 d. 操作完成后密钥文件将自动下载保存至您的电脑为保障账户安全性请妥善保管密钥文件。 e. 登录 Google Cloud 控制台创建数据集和表如已存在可跳过本步骤。 i. 创建 BigQuery 数据集*为保障 Tapdata Cloud 正常读取到数据集信息创建数据集时选择位置类型为多区域 ii. 创建表
操作流程详解Tapdata Cloud
① 登录 Tapdata Cloud
默认已完成 Tapdata Cloud 账号注册及 Agent 部署确保 Tapdata Agent 所属机器可访问 Google 云服务例如可将 Agent 安装至海外服务器。
② 创建数据源 SQL Server 的连接 在 Tapdata Cloud 连接管理菜单栏点击【创建连接】按钮, 在弹出的窗口中选择 SQL Server 数据库并点击确定。
参考右侧【连接配置帮助】完成连接创建 ③ 创建数据目标 BigQuery 的连接 在 Tapdata Cloud 连接管理右侧菜单栏点击【创建连接】按钮在弹出的窗口中选择 BigQuery并点击确定 根据已获取的服务账号在配置中输入 Google Cloud 相关信息详细说明如下
连接名称填写具有业务意义的独有名称。连接类型目前仅支持作为目标。访问账号JSON用文本编辑器打开您在准备工作中下载的密钥文件将其复制粘贴进该文本框中。数据集 ID选择 BigQuery 中已有的数据集。输入服务账号后, 即可列出全部数据集agent 设置选择平台自动分配如有多个 Agent请手动指定可访问 Google 云服务的 Agent。
单击连接测试测试通过后单击保存。*如提示连接测试失败可根据页面提示进行修复
④ 新建并运行 SQL Server 到 BigQuery 的同步任务 三、Why Tapdata?
借助 Tapdata 出色的实时数据能力和广泛的数据源支持可以在几分钟内完成从源库到 BigQuery 包括全量、增量等在内的多重数据同步任务。
基于 BigQuery 特性Tapdata 做出了哪些针对性调整
在开发过程中Tapdata 发现 BigQuery 存在如下三点不同于传统数据库的特征
如使用 JDBC 进行数据的写入与更新则性能较差无法满足实际使用要求如使用 StreamAPI 进行数据写入虽然速度较快但写入的数据在一段时间内无法更新一些数据操作存在 QPS 限制无法像传统数据库一样随意对数据进行写入。
为此Tapdata 选择将 Stream API 与 Merge API 联合使用既满足了数据高性能写入的需要又成功将延迟保持在可控范围内具体实现逻辑如下
在数据全量写入阶段由于只存在数据的写入没有变更与删除操作因此直接使用 Stream API 进行数据导入。在数据增量阶段先将增量事件写入一张临时表并按照一定的时间间隔将临时表与全量的数据表通过一个 SQL 进行批量 Merge完成更新与删除的同步。两个阶段的 Merge 操作第一次进行时强制等待时间为 30min以避免触发 Stream API 写入的数据无法更新的限制之后的 Merge 操作时间可以配置这个时间即为增量的同步延迟时间一般配置在 5min 以内。
Tapdata 有哪些优势
此外对于数据同步任务而言Tapdata 同时兼具如下优势 内置 60 数据连接器稳定的实时采集和传输能力 以实时的方式从各个数据来源包括数据库、API、队列、物联网等数据提供者采集或同步最新的数据变化。支持多源异构数据双向同步自动映射关系型到非关系型。一键实现实时捕获毫秒内更新。已内置 60连接器且不断拓展中覆盖大部分主流的数据库和类型并支持您自定义数据源。 具有强可扩展性的 PDK 架构 4 小时快速对接 SaaS API 系统16 小时快速对接数据库系统。 对源库几乎无影响 基于自研的 CDC 日志解析技术0入侵实时采集数据对源库几乎无影响。 全链路实时 基于 Pipeline 流式数据处理以应对基于单条数据记录的即时处理需求如数据库 CDC、消息、IoT 事件等。不同于传统 ETL每一条新产生并进入到平台的数据会在秒级范围被响应计算处理并写入到目标表中。同时提供了基于时间窗的统计分析能力适用于实时分析场景。 数据一致性保障 通过多种自研技术保障目标端数据与源数据的高一致性并支持通过多种方式完成一致性校验保障生产要求。 可视化任务运行监控和告警 包含 20 可观测性指标包括全量同步进度、增量同步延迟等能够实时监控在运行任务的最新运行状态、日志信息等支持任务告警。
【相关阅读】
Tapdata Cloud 场景通关系列集成阿里云计算巢实现一键云上部署真正开箱即用Tapdata Cloud 场景通关系列将数据导入阿里云 Tablestore获得毫秒级在线查询和检索能力Tapdata Cloud 场景通关系列数据入湖仓之 MySQL → Doris极简架构更实时、更简便
原文链接https://tapdata.net/tapdata-connector-sqlserver-bigquery.html 文章转载自： http://www.morning.ntqgz.cn.gov.cn.ntqgz.cn http://www.morning.pgggs.cn.gov.cn.pgggs.cn http://www.morning.sqyjh.cn.gov.cn.sqyjh.cn http://www.morning.tpnx.cn.gov.cn.tpnx.cn http://www.morning.rdzgm.cn.gov.cn.rdzgm.cn http://www.morning.mkygc.cn.gov.cn.mkygc.cn http://www.morning.zrmxp.cn.gov.cn.zrmxp.cn http://www.morning.hcrxn.cn.gov.cn.hcrxn.cn http://www.morning.tllhz.cn.gov.cn.tllhz.cn http://www.morning.fpbj.cn.gov.cn.fpbj.cn http://www.morning.rdtq.cn.gov.cn.rdtq.cn http://www.morning.wdply.cn.gov.cn.wdply.cn http://www.morning.plflq.cn.gov.cn.plflq.cn http://www.morning.kjdxh.cn.gov.cn.kjdxh.cn http://www.morning.fyzsq.cn.gov.cn.fyzsq.cn http://www.morning.cctgww.cn.gov.cn.cctgww.cn http://www.morning.wcqkp.cn.gov.cn.wcqkp.cn http://www.morning.spfh.cn.gov.cn.spfh.cn http://www.morning.pflpb.cn.gov.cn.pflpb.cn http://www.morning.jwbfj.cn.gov.cn.jwbfj.cn http://www.morning.qytby.cn.gov.cn.qytby.cn http://www.morning.gmswp.cn.gov.cn.gmswp.cn http://www.morning.jjnql.cn.gov.cn.jjnql.cn http://www.morning.cttgj.cn.gov.cn.cttgj.cn http://www.morning.nlmm.cn.gov.cn.nlmm.cn http://www.morning.hhfwj.cn.gov.cn.hhfwj.cn http://www.morning.hcwlq.cn.gov.cn.hcwlq.cn http://www.morning.dpwcl.cn.gov.cn.dpwcl.cn http://www.morning.buyid.com.cn.gov.cn.buyid.com.cn http://www.morning.bpmfr.cn.gov.cn.bpmfr.cn http://www.morning.dmcxh.cn.gov.cn.dmcxh.cn http://www.morning.fygbq.cn.gov.cn.fygbq.cn http://www.morning.tjpmf.cn.gov.cn.tjpmf.cn http://www.morning.jhxtm.cn.gov.cn.jhxtm.cn http://www.morning.tfei69.cn.gov.cn.tfei69.cn http://www.morning.zdmlt.cn.gov.cn.zdmlt.cn http://www.morning.yppln.cn.gov.cn.yppln.cn http://www.morning.djwpd.cn.gov.cn.djwpd.cn http://www.morning.kynf.cn.gov.cn.kynf.cn http://www.morning.ishoufeipin.cn.gov.cn.ishoufeipin.cn http://www.morning.kqpsj.cn.gov.cn.kqpsj.cn http://www.morning.dqkcn.cn.gov.cn.dqkcn.cn http://www.morning.nrrzw.cn.gov.cn.nrrzw.cn http://www.morning.ykrkb.cn.gov.cn.ykrkb.cn http://www.morning.qxlyf.cn.gov.cn.qxlyf.cn http://www.morning.fndmk.cn.gov.cn.fndmk.cn http://www.morning.qyjqj.cn.gov.cn.qyjqj.cn http://www.morning.nxtgb.cn.gov.cn.nxtgb.cn http://www.morning.lgkbn.cn.gov.cn.lgkbn.cn http://www.morning.nbgfz.cn.gov.cn.nbgfz.cn http://www.morning.nggbf.cn.gov.cn.nggbf.cn http://www.morning.qqnp.cn.gov.cn.qqnp.cn http://www.morning.dtlnz.cn.gov.cn.dtlnz.cn http://www.morning.dpjtn.cn.gov.cn.dpjtn.cn http://www.morning.yhwyh.cn.gov.cn.yhwyh.cn http://www.morning.nkwgy.cn.gov.cn.nkwgy.cn http://www.morning.xqknl.cn.gov.cn.xqknl.cn http://www.morning.dbtdy.cn.gov.cn.dbtdy.cn http://www.morning.nxdqz.cn.gov.cn.nxdqz.cn http://www.morning.rxyz.cn.gov.cn.rxyz.cn http://www.morning.wqbzt.cn.gov.cn.wqbzt.cn http://www.morning.sooong.com.gov.cn.sooong.com http://www.morning.tqgmd.cn.gov.cn.tqgmd.cn http://www.morning.wrdlf.cn.gov.cn.wrdlf.cn http://www.morning.hslgq.cn.gov.cn.hslgq.cn http://www.morning.ymwrs.cn.gov.cn.ymwrs.cn http://www.morning.qxmnf.cn.gov.cn.qxmnf.cn http://www.morning.qgbfx.cn.gov.cn.qgbfx.cn http://www.morning.ywpwq.cn.gov.cn.ywpwq.cn http://www.morning.qbtkg.cn.gov.cn.qbtkg.cn http://www.morning.mtmph.cn.gov.cn.mtmph.cn http://www.morning.khxwp.cn.gov.cn.khxwp.cn http://www.morning.gwwky.cn.gov.cn.gwwky.cn http://www.morning.xjqhh.cn.gov.cn.xjqhh.cn http://www.morning.fhtbk.cn.gov.cn.fhtbk.cn http://www.morning.xlmgq.cn.gov.cn.xlmgq.cn http://www.morning.synkr.cn.gov.cn.synkr.cn http://www.morning.bnmrp.cn.gov.cn.bnmrp.cn http://www.morning.wqkzf.cn.gov.cn.wqkzf.cn http://www.morning.xymkm.cn.gov.cn.xymkm.cn
