數(shù)據(jù)表物理結(jié)構(gòu)Table->Partition->Tablet->Rowset->Segment Compaction 文件合并 Tablet是StarRocks中數(shù)據(jù)均衡的...
發(fā)簡(jiǎn)信
IP屬地：湖南
-
2025-11-19 starrocksCompaction 文件合并
-
在建設(shè)AI知識(shí)庫(kù)目前遇到的一些問(wèn)題隨筆
知識(shí)庫(kù)問(wèn)題是： 文檔在逐步增多之后，造成了知識(shí)交叉，很多問(wèn)題答案被污染了。如何解決。 由于文檔在創(chuàng)建時(shí)缺乏規(guī)范，導(dǎo)致無(wú)法按邏輯切分，切塊后不完整，導(dǎo)致回答內(nèi)容缺失。 該如何清...
-
2024-03-05 dify二次開(kāi)發(fā)記錄
文檔內(nèi)容增加-文件名稱在切分段內(nèi)容中。 word文檔按格式切分，無(wú)格式按語(yǔ)義切分。 文檔中表格優(yōu)化，按json格式保存，保證內(nèi)容完整連貫。 pdf文檔按語(yǔ)義切分。 文檔構(gòu)建Q...
-
分布式Alluxio配置部署alluxio 分布式 配置分布式Alluxio： 1.下載Alluxio發(fā)布版本并解壓到各個(gè)節(jié)點(diǎn)2.進(jìn)入各個(gè)節(jié)點(diǎn)的解壓后的文件夾，該文件夾中包含所有的Alluxio源文件和...
-
2023-11-13 優(yōu)化tidb寫操作
tidb集群，版本5.2 ，24個(gè)節(jié)點(diǎn)，全SSD配置，單機(jī)4個(gè)tikv實(shí)例，對(duì)應(yīng)4塊2T的SSD。 yto-bigdata-tidb-TiKV-Details/Schedul...
-
2023-11-13 測(cè)試任務(wù)并發(fā)大小對(duì)HADOOP集群的性能影響
集群使用CDH5.16.1版本。hadoop2.6.0 spark1.6 hive1.1規(guī)模290節(jié)點(diǎn) ，單臺(tái)分配384G內(nèi)存，48VCORE （內(nèi)存:CORE比 8:1）n...
-
2023-09-14 hive on spark執(zhí)行RunningTasksCount數(shù)逐漸減少問(wèn)題
目前發(fā)現(xiàn)hive on spark任務(wù)執(zhí)行時(shí)，有幾率會(huì)在執(zhí)行過(guò)程中RunningTasksCount數(shù)逐漸減少，導(dǎo)致任務(wù)執(zhí)行效率降低。通過(guò)排查資源，未發(fā)現(xiàn)資源不足，hdfs ...
-
2023-09-11 為什么在hadoop中會(huì)出現(xiàn)大量冗余塊產(chǎn)生？
為什么在hadoop中會(huì)出現(xiàn)大量冗余塊產(chǎn)生？在hive中，使用動(dòng)態(tài)分區(qū)方式在hdfs中寫入大量數(shù)據(jù)（5T），namenode出現(xiàn)service rpc線程隊(duì)列頂滿排隊(duì)，數(shù)據(jù)無(wú)...
-
2023-09-06 max process參數(shù)過(guò)小異常與hive配置文件更改
CDH 在修改了hive-site.xml中的參數(shù)后，需要在hive配置修改后，點(diǎn)擊【操作】->【部署客戶端配置】，將所有g(shù)ateway節(jié)點(diǎn)進(jìn)行同步。 在ulimit中修改了...
-
2023-05-22 presto加載多個(gè)mysql數(shù)據(jù)源
只需要在配置etc/catalog中配置多個(gè)mysql相關(guān)properties,前綴名字區(qū)分。內(nèi)部connect.name統(tǒng)一都配置mysql 使用時(shí)通過(guò)配置文件前綴進(jìn)行區(qū)分...
-
2022-11-14cdh5.16環(huán)境下使用spark3,Kyuubi 環(huán)境搭建
只記有問(wèn)題的點(diǎn)。 首先配置spark3的環(huán)境變量在$KYUUBI_HOME/conf/kyuubi-env.sh 配置$KYUUBI_HOME/conf/kyuubi-def...
-
2023-03-29 split-table
1、split-table為每個(gè) table 建立單獨(dú)的 Region。 針對(duì)創(chuàng)建表（新生數(shù)據(jù)） ：此table下的regions（多個(gè)），每個(gè)region都只保存此tabl...
-
2023-03-29參數(shù)SHARD_ROW_ID_BITS = 4
聚簇索引 (clustered index) 是 TiDB 從 v5.0 開(kāi)始支持的特性，用于控制含有主鍵的表數(shù)據(jù)的存儲(chǔ)方式。通過(guò)使用聚簇索引，TiDB 可以更好地組織數(shù)據(jù)表...
-
2023-03-16 dbeaver連接kyuubi時(shí)kerberos認(rèn)證出現(xiàn)問(wèn)題
目前我們的kyuubi提供了JDBC服務(wù)，通過(guò)dbeaver作為客戶端進(jìn)行連接。但是出現(xiàn)了無(wú)法認(rèn)證的情況，連接日志沒(méi)有到kyuubi服務(wù)端就異常了。但是如果在dbeaver上...
-
2023-03-03 Prometheus Alertmanager Webhook與釘釘結(jié)合
首先配置alertmanager.yml 其次配置alertmanager與prometheus相結(jié)合，在prometheus.yml中增加 然后還是配置prometheus...
-
2023-03-03 服務(wù)發(fā)現(xiàn)
在prometheus.yml中配置的靜態(tài)功能static_configs 來(lái)手工添加主機(jī)IP地址與端口。首先在應(yīng)用JVM中配置，例如在namenode中配置 在promet...
-
2023-02-16 tispark使用時(shí)需要注意分區(qū)裁剪問(wèn)題
tispark使用時(shí)需要注意分區(qū)裁剪問(wèn)題，在tispark中的分區(qū)裁剪只能使用在to_day方式進(jìn)行的分區(qū)表。不能用unix_timestamp限制的。而且在tidb中產(chǎn)生的...
-
2022-12-30 加載外部表
創(chuàng)建資源。StarRocks 支持創(chuàng)建以下資源：Apache Spark?、Apache Hive?、Apache Iceberg、 Apache Hudi 和 JDBC。其...
-
2022-12-22數(shù)據(jù)傾斜問(wèn)題排查explain分析Explainselect order_channel_code,order_date,rpt_date,count(seller_id) as wa...
-
2022-12-22 建表參數(shù)解析
replication_num 副本數(shù) dynamic_partition.enable 開(kāi)啟動(dòng)態(tài)分區(qū)dynamic_partition.start 動(dòng)態(tài)分區(qū)的開(kāi)始時(shí)間。以...