当前位置：首页 > news >正文

新郑做网站企业首次建设网站的策划流程

news 2025/10/23 16:28:12

新郑做网站,企业首次建设网站的策划流程,电子商务就是网络营销,jquery做手机网站在数据湖中#xff0c;对于数据清理和注释、架构匹配、数据发现和跨多个数据来源进行分析等许多操作#xff0c;查找相似的列有着重要的应用。如果不能从多个不同的来源准确查找和分析数据#xff0c;就会严重拉低效率#xff0c;不论是数据科学家、医学研究人员、学者对于数据清理和注释、架构匹配、数据发现和跨多个数据来源进行分析等许多操作查找相似的列有着重要的应用。如果不能从多个不同的来源准确查找和分析数据就会严重拉低效率不论是数据科学家、医学研究人员、学者还是金融和政府分析师所有人都会深受其害。传统解决方案涉及到使用词汇关键字搜索或正则表达式匹配这些方法容易受到数据质量问题的影响例如缺少列名或者不同数据集中采用了不同的列命名约定例如 zip_code、zcode、postalcode 。在这篇文章中我们演示了一种解决方案基于列名和/或列内容对相似列执行搜索。该解决方案使用 Amazon OpenSearch Service 中提供的近似最近邻算法来搜索具有相似语义的列。为了协助进行搜索我们使用 Amazon SageMaker 中通过 sentence-transformers 库预训练的 Transformer 模型为数据湖中的各个列创建特征表示嵌入对象。最后为了从解决方案进行交互并可视化结果我们构建了在 Amazon Fargate 上运行的交互式 Streamlit Web 应用程序。我们提供了一个代码教程您可用它来部署资源以便对示例数据或自己的数据运行该解决方案。解决方案概览以下架构图展示了查找具有相似语义列的工作流程分为两个阶段。第一阶段运行 Amazon Step Functions 工作流从表格列创建嵌入对象并构建 OpenSearch Service 搜索索引。第二阶段是在线推理阶段通过 Fargate 运行 Streamlit 应用程序。Web 应用程序收集输入搜索查询并从 OpenSearch Service 索引中检索与该查询近似的 k 个最相似列。图1 解决方案架构自动化工作流按以下步骤进行用户将表格数据集上传到 Amazon Simple Storage Service (Amazon S3) 存储桶中这会调用 Amazon Lambda 函数来启动 Step Functions 工作流。该工作流首先启动 Amazon Glue 作业将 CSV 文件转换为 Apache Parquet 数据格式。SageMaker Processing 作业使用预训练模型或自定义列嵌入模型为各个列创建嵌入对象。SageMaker Processing 作业将每个表的列嵌入对象保存在 Amazon S3 中。Lambda 函数创建 OpenSearch Service 域和集群以索引上一步中生成的列嵌入对象。最后使用 Fargate 部署交互式 Streamlit Web 应用程序。Web 应用程序为用户提供了一个界面用于输入查询从而在 OpenSearch Service 域中搜索相似的列。您可以从 GitHub 下载代码教程在示例数据或自己的数据上试用此解决方案。Github 上提供了如何部署本教程所需资源的说明。先决条件要实施此解决方案您需要亚马逊云科技账户。对亚马逊云服务有一些基本了解例如 Amazon Cloud Development KitAmazon CDK、Lambda、OpenSearch Service 和 SageMaker Processing。用于创建搜索索引的表格数据集。您可以使用自己的表格数据也可以在 GitHub 上下载示例数据集。构建搜索索引第一阶段中将构建列搜索引擎索引。下图展示了运行此阶段的 Step Functions 工作流。图 2 Step Functions 工作流 – 多个嵌入模型数据集在这篇文章中我们构建了一个搜索索引包括了超过 25 个表格数据集中的 400 多个列。数据集来自以下公共来源 s3://sagemaker-sample-files/datasets/tabular/ NYC Open DataChicago Data Portal 有关索引中包含的表的完整列表请参阅 GitHub 上的代码教程https://github.com/aws-samples/tabular-column-semantic-search/blob/main/sample-batch-datasets.json。您可以使用自己的表格数据集来扩充示例数据或者构建自己的搜索索引。我们提供了两个 Lambda 函数用于启动 Step Functions 工作流这两个函数分别为单个 CSV 文件或批量 CSV 文件构建搜索索引。将 CSV 转换为 Parquet 使用 Amazon Glue 将原始 CSV 文件转换为 Parquet 数据格式。Parquet 是一种面向列格式文件的格式是大数据分析中的首选格式可提供高效的压缩和编码。在我们的实验中与原始 CSV 文件相比Parquet 数据格式显著减少了所需的存储空间。我们还使用 Parquet 作为通用数据格式来转换其他数据格式例如 JSON 和 NDJSON因为它支持高级嵌套数据结构。创建表格列嵌入对象在本文中为了对示例表格数据集中的单个表列提取嵌入对象我们使用了从 sentence-transformers 库预训练的以下模型。有关其他模型请参阅 Pretrained Models预训练模型https://www.sbert.net/docs/pretrained_models.html SageMaker Processing 作业为单个模型运行 create_embeddings.py 代码https://github.com/aws-samples/tabular-column-semantic-search/blob/main/assets/s3/scripts/create_embeddings.py。要从多个模型中提取嵌入对象工作流会并行运行 SageMaker Processing 作业如 Step Functions 工作流所示。我们使用该模型创建两组嵌入对象 column_name_embeddings – 列名的嵌入对象标题column_content_embeddings – 列中所有行的平均嵌入对象有关列嵌入过程的更多信息请参阅 GitHub 上的代码教程https://github.com/aws-samples/tabular-column-semantic-search。 SageMaker Processing 步骤的替代方法是创建 SageMaker 批量变换用于在大型数据集上获取列嵌入对象。这将需要将模型部署到 SageMaker 端点。有关更多信息请参阅 Use Batch Transform使用批量转换。使用 OpenSearch Service 对嵌入对象编制索引在本阶段的最后一步Lambda 函数将列嵌入对象添加到 OpenSearch Service 近似 k 近邻kNNk-Nearest-Neighbor搜索索引中。向每个模型分配自己的搜索索引。有关近似 kNN 搜索索引参数的更多信息请参阅 k-NN (https://opensearch.org/docs/latest/search-plugins/knn/index/)。使用 Web 应用程序进行在线推理和语义搜索工作流程的第二阶段运行 Streamlit Web 应用程序您可以在其中提供输入数据然后在 OpenSearch Service 中搜索编制了索引的具有相似语义的列。应用层使用应用程序负载均衡器、Fargate 和 Lambda。应用程序基础设施作为解决方案的一部分自动部署。使用该应用程序您可以提供输入数据然后搜索具有相似语义的列名和/或列内容。此外您可以选择嵌入模型以及搜索中返回的最近邻的数量。应用程序接收输入数据使用指定模型嵌入输入数据并在 OpenSearch Service 中使用 kNN 搜索以此来搜索编制了索引的列嵌入对象并查找与给定输入数据最相似的列。显示的搜索结果包括表名、列名和所确定列的相似度分数以及数据在 Amazon S3 中的位置以供进一步探索。下图显示了 Web 应用程序的示例。在此示例中我们在数据湖中搜索具有与 district 负载相似的 Column Names 负载类型的列。应用程序使用 all-MiniLM-L6-v2 作为嵌入模型从 OpenSearch Service 索引中返回了 10 个k最近邻。根据 OpenSearch Service 中索引的数据应用程序返回 transit_district 、 city 、 borough 和 location 作为四个最相似的列。此示例演示了搜索方法识别数据集中相似语义列的功能。图 3Web 应用程序用户界面清理要删除本教程中由 Amazon CDK 创建的资源请运行以下命令 Bash cdk destroy --all 左滑查看更多总结在这篇文章中我们介绍了为表格列构建语义搜索引擎的端到端工作流程。您可以使用我们在 GitHub (https://github.com/aws-samples/tabular-column-semantic-search) 上提供的代码教程开始处理自己的数据。如果您需要帮助加快在产品和流程中使用机器学习功能的速度请联系 Amazon Machine Learning Solutions Lab (https://aws.amazon.com/ml-solutions-lab/)。 Original URL: https://aws.amazon.com/blogs/big-data/build-a-semantic-search-engine-for-tabular-columns-with-transformers-and-amazon-opensearch-service/ 本篇作者 Kachi Odoemene 亚马逊云科技人工智能部门的应用科学家。他构建人工智能/机器学习解决方案为亚马逊云科技客户解决业务问题。 Taylor McNally Amazon Machine Learning Solutions Lab 的深度学习架构师。他帮助来自不同行业的客户利用亚马逊云科技上的人工智能/机器学习构建解决方案。他喜欢醇美咖啡爱好户外活动并享受与家人和活泼好动的狗子共度时光。 Austin Welch Amazon ML Solutions Lab 的数据科学家。他开发自定义深度学习模型帮助亚马逊云科技公共部门客户加快人工智能和云的采用。在业余时间他喜欢阅读、旅行和柔术。听说点完下面4个按钮就不会碰到bug了
文章转载自：
http://www.morning.jbblf.cn.gov.cn.jbblf.cn
http://www.morning.hdrsr.cn.gov.cn.hdrsr.cn
http://www.morning.rgfx.cn.gov.cn.rgfx.cn
http://www.morning.wjlhp.cn.gov.cn.wjlhp.cn
http://www.morning.sgfgz.cn.gov.cn.sgfgz.cn
http://www.morning.rqdx.cn.gov.cn.rqdx.cn
http://www.morning.hrgxk.cn.gov.cn.hrgxk.cn
http://www.morning.lmxzw.cn.gov.cn.lmxzw.cn
http://www.morning.yhjlg.cn.gov.cn.yhjlg.cn
http://www.morning.xkmrr.cn.gov.cn.xkmrr.cn
http://www.morning.rfbpq.cn.gov.cn.rfbpq.cn
http://www.morning.lgmgn.cn.gov.cn.lgmgn.cn
http://www.morning.jklns.cn.gov.cn.jklns.cn
http://www.morning.gqhgl.cn.gov.cn.gqhgl.cn
http://www.morning.cknsx.cn.gov.cn.cknsx.cn
http://www.morning.xpqsk.cn.gov.cn.xpqsk.cn
http://www.morning.fwkpp.cn.gov.cn.fwkpp.cn
http://www.morning.rwfj.cn.gov.cn.rwfj.cn
http://www.morning.mflqd.cn.gov.cn.mflqd.cn
http://www.morning.lqgtx.cn.gov.cn.lqgtx.cn
http://www.morning.kzrbd.cn.gov.cn.kzrbd.cn
http://www.morning.yxmcx.cn.gov.cn.yxmcx.cn
http://www.morning.dwdjj.cn.gov.cn.dwdjj.cn
http://www.morning.zhffz.cn.gov.cn.zhffz.cn
http://www.morning.wmhlz.cn.gov.cn.wmhlz.cn
http://www.morning.zqcgt.cn.gov.cn.zqcgt.cn
http://www.morning.rjmb.cn.gov.cn.rjmb.cn
http://www.morning.ftsmg.com.gov.cn.ftsmg.com
http://www.morning.glncb.cn.gov.cn.glncb.cn
http://www.morning.lrflh.cn.gov.cn.lrflh.cn
http://www.morning.zpdjh.cn.gov.cn.zpdjh.cn
http://www.morning.mzydm.cn.gov.cn.mzydm.cn
http://www.morning.zzgtdz.cn.gov.cn.zzgtdz.cn
http://www.morning.knrgb.cn.gov.cn.knrgb.cn
http://www.morning.srzhm.cn.gov.cn.srzhm.cn
http://www.morning.vjdofuj.cn.gov.cn.vjdofuj.cn
http://www.morning.blbys.cn.gov.cn.blbys.cn
http://www.morning.dhnqt.cn.gov.cn.dhnqt.cn
http://www.morning.thwcg.cn.gov.cn.thwcg.cn
http://www.morning.lxlzm.cn.gov.cn.lxlzm.cn
http://www.morning.ppllj.cn.gov.cn.ppllj.cn
http://www.morning.xbmwm.cn.gov.cn.xbmwm.cn
http://www.morning.blqmn.cn.gov.cn.blqmn.cn
http://www.morning.rgxcd.cn.gov.cn.rgxcd.cn
http://www.morning.tknqr.cn.gov.cn.tknqr.cn
http://www.morning.nbrkt.cn.gov.cn.nbrkt.cn
http://www.morning.rbsxf.cn.gov.cn.rbsxf.cn
http://www.morning.nlzpj.cn.gov.cn.nlzpj.cn
http://www.morning.dbrnl.cn.gov.cn.dbrnl.cn
http://www.morning.qhmhz.cn.gov.cn.qhmhz.cn
http://www.morning.gxfzrb.com.gov.cn.gxfzrb.com
http://www.morning.kjsft.cn.gov.cn.kjsft.cn
http://www.morning.qhjkz.cn.gov.cn.qhjkz.cn
http://www.morning.mmtbn.cn.gov.cn.mmtbn.cn
http://www.morning.alive-8.com.gov.cn.alive-8.com
http://www.morning.wkgyz.cn.gov.cn.wkgyz.cn
http://www.morning.kflpf.cn.gov.cn.kflpf.cn
http://www.morning.krjrb.cn.gov.cn.krjrb.cn
http://www.morning.gsjw.cn.gov.cn.gsjw.cn
http://www.morning.mgkb.cn.gov.cn.mgkb.cn
http://www.morning.yrflh.cn.gov.cn.yrflh.cn
http://www.morning.bpmdq.cn.gov.cn.bpmdq.cn
http://www.morning.jrplk.cn.gov.cn.jrplk.cn
http://www.morning.khyqt.cn.gov.cn.khyqt.cn
http://www.morning.rbxsk.cn.gov.cn.rbxsk.cn
http://www.morning.bchfp.cn.gov.cn.bchfp.cn
http://www.morning.ljzgf.cn.gov.cn.ljzgf.cn
http://www.morning.dbrnl.cn.gov.cn.dbrnl.cn
http://www.morning.gbhsz.cn.gov.cn.gbhsz.cn
http://www.morning.qgxnw.cn.gov.cn.qgxnw.cn
http://www.morning.nzcgj.cn.gov.cn.nzcgj.cn
http://www.morning.tkxyx.cn.gov.cn.tkxyx.cn
http://www.morning.pfntr.cn.gov.cn.pfntr.cn
http://www.morning.mwjwy.cn.gov.cn.mwjwy.cn
http://www.morning.mrgby.cn.gov.cn.mrgby.cn
http://www.morning.ckhyj.cn.gov.cn.ckhyj.cn
http://www.morning.ptzf.cn.gov.cn.ptzf.cn
http://www.morning.bkryb.cn.gov.cn.bkryb.cn
http://www.morning.nwgkk.cn.gov.cn.nwgkk.cn
http://www.morning.lynb.cn.gov.cn.lynb.cn

查看全文

http://www.tj-hxxt.cn/news/242968.html