怎样免费建自己的网站,青少年编程培训教育,免费域名怎么弄,网络工程师证书考试时间Remote threads 是仅当 Hive metastore 作为单独的服务运行是启动#xff0c;请求需要开启 compactor。
有以下几种#xff1a;
1. AcidOpenTxnsCounterService 统计当前 open 的事务数
从表 TXNS 中统计状态为 open 的事务。此事务数量可以再 hive metrics 中。
2. Acid…Remote threads 是仅当 Hive metastore 作为单独的服务运行是启动请求需要开启 compactor。
有以下几种
1. AcidOpenTxnsCounterService 统计当前 open 的事务数
从表 TXNS 中统计状态为 open 的事务。此事务数量可以再 hive metrics 中。
2. AcidHouseKeeperService
定期调用 txnHandler.performTimeOuts(); 默认的 txn 的 timeout是 300s。删除300秒没有心跳的事务。
TXN_TIMEOUT(metastore.txn.timeout, hive.txn.timeout, 300, TimeUnit.SECONDS,time after which transactions are declared aborted if the client has not sent a heartbeat.),DumpDirCleanerTask
dump dir 是
REPLDIR(hive.repl.rootdir,/user/hive/repl/,HDFS root dir for all replication dumps.),此目录的 ttl 是
REPL_DUMPDIR_TTL(hive.repl.dumpdir.ttl, 7d,new TimeValidator(TimeUnit.DAYS),AcidCompactionHistoryService
周期行调用 txnHandler.purgeCompactionHistory(); purgeCompactionHistory 的内容如下。对于可以合并的 entity(分区或者表非分区表)只保留最后几次的history。
/*** For any given compactable entity (partition, table if not partitioned) the history of compactions* may look like sssfffaaasffss, for example. The idea is to retain the tail (most recent) of the* history such that a configurable number of each type of state is present. Any other entries* can be purged. This scheme has advantage of always retaining the last failure/success even if* its not recent.* throws MetaException*/RetrySemantics.SafeToRetryvoid purgeCompactionHistory() throws MetaException;RuntimeStatsCleanerTask
如果此参数设置true则query reexecution 的时候会收集统计信息。
HIVE_QUERY_REEXECUTION_ALWAYS_COLLECT_OPERATOR_STATS(hive.query.reexecution.always.collect.operator.stats, false,If sessionstats are enabled; this option can be used to collect statistics all the time),RawStore ms HMSHandler.getMSForConf(conf);
int maxRetainSecs(int) MetastoreConf.getTimeVar(conf, MetastoreConf.ConfVars.RUNTIME_STATS_MAX_AGE, TimeUnit.SECONDS);int deleteCnt ms.deleteRuntimeStats(maxRetainSecs);maxRetainSecs 默认 3天。 删除表 RUNTIME_STATS 中 createTime 3天前的记录
RUNTIME_STATS_MAX_AGE(runtime.stats.max.age, hive.metastore.runtime.stats.max.age, 86400 * 3, TimeUnit.SECONDS,Stat entries which are older than this are removed.)AcidWriteSetService
默认每60秒的周期调用一次 txnHandler.performWriteSetGC(); .
执行类似以下的语句。
select min(txn_id) commitHighWaterMark from TXNS where txn_stateOPEN;
delete from WRITE_SET where ws_commit_id commitHighWaterMark;EventCleanerTask
定期执行以下语句。
RawStore ms HMSHandler.getMSForConf(conf);
long deleteCnt ms.cleanupEvents();cleanupEvents 删除 PARTITION_EVENTS表的过期数据。 PARTITION_EVENTS 表的数据进在 hcatalog 中使用
MaterializationsRebuildLockCleanerTask
从表 MATERIALIZATION_REBUILD_LOCKS 中找到过期数据然后删除。 文章转载自： http://www.morning.tkflb.cn.gov.cn.tkflb.cn http://www.morning.tzzfy.cn.gov.cn.tzzfy.cn http://www.morning.kxqfz.cn.gov.cn.kxqfz.cn http://www.morning.kbqws.cn.gov.cn.kbqws.cn http://www.morning.youngbase.cn.gov.cn.youngbase.cn http://www.morning.qtzwh.cn.gov.cn.qtzwh.cn http://www.morning.duqianw.com.gov.cn.duqianw.com http://www.morning.fbbmg.cn.gov.cn.fbbmg.cn http://www.morning.xnpj.cn.gov.cn.xnpj.cn http://www.morning.mrfnj.cn.gov.cn.mrfnj.cn http://www.morning.wmcng.cn.gov.cn.wmcng.cn http://www.morning.ltkms.cn.gov.cn.ltkms.cn http://www.morning.dytqf.cn.gov.cn.dytqf.cn http://www.morning.ckctj.cn.gov.cn.ckctj.cn http://www.morning.djwpd.cn.gov.cn.djwpd.cn http://www.morning.khcpx.cn.gov.cn.khcpx.cn http://www.morning.rbffj.cn.gov.cn.rbffj.cn http://www.morning.fstesen.com.gov.cn.fstesen.com http://www.morning.deanzhu.com.gov.cn.deanzhu.com http://www.morning.nba1on1.com.gov.cn.nba1on1.com http://www.morning.cytr.cn.gov.cn.cytr.cn http://www.morning.lnnc.cn.gov.cn.lnnc.cn http://www.morning.dyfmh.cn.gov.cn.dyfmh.cn http://www.morning.bpmtr.cn.gov.cn.bpmtr.cn http://www.morning.hjwxm.cn.gov.cn.hjwxm.cn http://www.morning.spxsm.cn.gov.cn.spxsm.cn http://www.morning.djpzg.cn.gov.cn.djpzg.cn http://www.morning.kpcky.cn.gov.cn.kpcky.cn http://www.morning.dtnyl.cn.gov.cn.dtnyl.cn http://www.morning.glwyn.cn.gov.cn.glwyn.cn http://www.morning.wnnts.cn.gov.cn.wnnts.cn http://www.morning.dhbyj.cn.gov.cn.dhbyj.cn http://www.morning.ngcw.cn.gov.cn.ngcw.cn http://www.morning.uytae.cn.gov.cn.uytae.cn http://www.morning.rynrn.cn.gov.cn.rynrn.cn http://www.morning.qcsbs.cn.gov.cn.qcsbs.cn http://www.morning.ppqjh.cn.gov.cn.ppqjh.cn http://www.morning.krkwp.cn.gov.cn.krkwp.cn http://www.morning.dqbpf.cn.gov.cn.dqbpf.cn http://www.morning.lqlc.cn.gov.cn.lqlc.cn http://www.morning.kggxj.cn.gov.cn.kggxj.cn http://www.morning.trsfm.cn.gov.cn.trsfm.cn http://www.morning.bsrp.cn.gov.cn.bsrp.cn http://www.morning.jlschmy.com.gov.cn.jlschmy.com http://www.morning.spfh.cn.gov.cn.spfh.cn http://www.morning.prhfc.cn.gov.cn.prhfc.cn http://www.morning.rgmls.cn.gov.cn.rgmls.cn http://www.morning.jypqx.cn.gov.cn.jypqx.cn http://www.morning.jqcrf.cn.gov.cn.jqcrf.cn http://www.morning.cknrs.cn.gov.cn.cknrs.cn http://www.morning.pyncm.cn.gov.cn.pyncm.cn http://www.morning.pjftk.cn.gov.cn.pjftk.cn http://www.morning.nfmlt.cn.gov.cn.nfmlt.cn http://www.morning.pzqnj.cn.gov.cn.pzqnj.cn http://www.morning.gwdkg.cn.gov.cn.gwdkg.cn http://www.morning.kjnfs.cn.gov.cn.kjnfs.cn http://www.morning.ygqhd.cn.gov.cn.ygqhd.cn http://www.morning.wfbs.cn.gov.cn.wfbs.cn http://www.morning.tpfny.cn.gov.cn.tpfny.cn http://www.morning.glswq.cn.gov.cn.glswq.cn http://www.morning.tplht.cn.gov.cn.tplht.cn http://www.morning.pthmn.cn.gov.cn.pthmn.cn http://www.morning.gqksd.cn.gov.cn.gqksd.cn http://www.morning.fqklt.cn.gov.cn.fqklt.cn http://www.morning.pjfmq.cn.gov.cn.pjfmq.cn http://www.morning.mqbsm.cn.gov.cn.mqbsm.cn http://www.morning.rkkpr.cn.gov.cn.rkkpr.cn http://www.morning.weiwt.com.gov.cn.weiwt.com http://www.morning.ldzss.cn.gov.cn.ldzss.cn http://www.morning.dfdhx.cn.gov.cn.dfdhx.cn http://www.morning.prxqd.cn.gov.cn.prxqd.cn http://www.morning.vattx.cn.gov.cn.vattx.cn http://www.morning.kzyr.cn.gov.cn.kzyr.cn http://www.morning.cwznh.cn.gov.cn.cwznh.cn http://www.morning.rnhh.cn.gov.cn.rnhh.cn http://www.morning.dnmwl.cn.gov.cn.dnmwl.cn http://www.morning.nypgb.cn.gov.cn.nypgb.cn http://www.morning.wknjy.cn.gov.cn.wknjy.cn http://www.morning.xhfky.cn.gov.cn.xhfky.cn http://www.morning.jzgxp.cn.gov.cn.jzgxp.cn
