發(fā)簡(jiǎn)信
IP屬地：北京
-
用executemany遇到的兩個(gè)問(wèn)題
在用python的MySQLdb庫(kù)操作mysql數(shù)據(jù)庫(kù)時(shí)，使用executemany可以批量插入數(shù)據(jù)，極大的提高寫入速度。今天我在使用executemany的使用，碰到了兩個(gè)...
-
flink-cdh-parcel測(cè)試安裝先上flink-cdh-parcel測(cè)試安裝效果圖： 下載地址：https://archive.cloudera.com/csa/1.0.0.0 一：將FLINK-1.9.0...
-
文本處理(grep, sed和awk等)
-
此簡(jiǎn)書博客不再在簡(jiǎn)書更新
改版后的簡(jiǎn)書，變的越來(lái)越像 CSDN。 博客已遷移到 Github Pages - https://ohmysummer.github.io。 此地不打算再更新新的內(nèi)容。
-
就是這樣子的
使用 scopt 解析命令行參數(shù)
https://github.com/scopt/scopt 簡(jiǎn)單的 scala 命令行選項(xiàng)解析 scopt 是一個(gè)小小的命令行選項(xiàng)解析庫(kù)。 Sonatype 查看上面的 M...
-
-
Kafka擴(kuò)容節(jié)點(diǎn)和分區(qū)遷移
背景 最近工作中碰到Kafka 節(jié)點(diǎn)的網(wǎng)卡成為了性能瓶頸，為了提高整個(gè)消息隊(duì)列的輸出吞吐量，需要將數(shù)據(jù)量大的Topic 遷移到新的Kafka節(jié)點(diǎn)上。 操作步驟 1. 新建Ka...
-
@無(wú)敵超 可能得用 newAPIHadoopRDD吧
使用 Spark 讀寫 HBase 數(shù)據(jù)
Use Spark to read and write HBase data 啟動(dòng) hbase 在 HBase 中準(zhǔn)備 sample 數(shù)據(jù) 1、運(yùn)行 HBase shell ...
-
@無(wú)敵超 row key 格式很多，意思是 row key 的結(jié)構(gòu)/構(gòu)造不一樣嗎？
使用 Spark 讀寫 HBase 數(shù)據(jù)
Use Spark to read and write HBase data 啟動(dòng) hbase 在 HBase 中準(zhǔn)備 sample 數(shù)據(jù) 1、運(yùn)行 HBase shell ...
-
val parser = new OptionParser[Params]("Test") {
head("parse arguments")
opt[String]('d', "day")
.text("which day")
.action((x, c) => c.copy(day = x))
opt[Int]('p', "partition")
.text("how many partition")
.action((x, c) => c.copy(partition = x))
help("help").text("prints this usage text")
}
parser.parse(args, Params()) match {
case Some(params) =>
println(params)
case _ => sys.exit(1)
}
case class Params(day: String = "20180101", partition: Int = 5)使用 scopt 解析命令行參數(shù)
https://github.com/scopt/scopt 簡(jiǎn)單的 scala 命令行選項(xiàng)解析 scopt 是一個(gè)小小的命令行選項(xiàng)解析庫(kù)。 Sonatype 查看上面的 M...
-
Spark Structured Streaming 寫checkpoint 到HDFS 抖動(dòng)的排查問(wèn)題描述 我們最近有個(gè)項(xiàng)目，需要實(shí)時(shí)消費(fèi)訂單成單的消息，提煉完數(shù)據(jù)后把結(jié)果寫入HDFS，因此checkpointConfiguration 自然而然也采用默認(rèn)配置寫到HDFS...
-
CDH中yarn的動(dòng)態(tài)資源池的相關(guān)配置
CDH Yarn資源隊(duì)列劃分管理場(chǎng)景：根據(jù)不同項(xiàng)目或不同用戶，對(duì)yarn資源隊(duì)列進(jìn)行劃分，達(dá)到資源管控，任務(wù)管控的目的CDH版本：5.x配置：1 yarn資源隊(duì)列參數(shù)設(shè)置：(...
-
raku 版本：
for $=finish.lines -> $l {
if $l ~~ /^'>'/ ff $l !~~ /^'>'/ {
if $l.contains('>') {
print $l.subst: '>', '';
} else {
say " :" ~ $l.chars;
}
}
}
=finish
>con1
GTTCATAACTTACCATTGACTGTTCATGATTTAAACTGTGTCTTCCTGTTCTTTTAGTTGCTTTGGATACTATAAGGTCAGAACTAGAA
>con2
GGGACCAGGTGGGAAGCTGCTGCTTTCTTTTCCCTTTTGGTCTTCTTGGGCCCACCCTTCAGCTTCTGCTTTTCTTCATCTTCTCGGTTTTGAGGCCAGGAGGCAGCCAGTATCCTGGCCGCTTCTGCTTGAGAGCTGGTCCCCTCCTCT
>con3
TCCAGAGCCAGTTCCCTGACGATGCCGAGGTTTACCGGCTCATCGAGGTGACTGGCCTTGCCAGGAGCGAGATCAAGAAGTGGTTCAGTGACCACCGATATCGGTGTCAAAGGGGCATCGTCCACATCACCAG
>con4
TTTTCCTCCAAGTGTACAAGACTGATCTGGAGAAGGACATTATTTCGGACACATCTGGTGACTTCCGCA
>con5
GTTTGCATCGTCATCCAATTTTTTTTCATATGCCCCAAACCCATTCAATTTCTGATTGTGTTGTGTTCCCTGGTGTAAGATATCTCCCAGGAGAGGGCCACACATTCCCCAGAGGTGGACCTTCTTGGTACATACACCperl實(shí)戰(zhàn)練習(xí)-計(jì)算fastq文件中每條序列的長(zhǎng)度
計(jì)算FASTA文件中每條序列的長(zhǎng)度輸入文件fasta.txt 腳本如下，腳本名：get_fasta.pl 運(yùn)行腳本如下，腳本get_fasta.pl，輸入文件為fasta.t...
-
處理文本可以使用 raku 語(yǔ)言(https://raku.org)來(lái)做。Raku 語(yǔ)言之前叫 Perl 6, 已經(jīng)不是 Perl 5 的下一個(gè)版本了。
perl實(shí)戰(zhàn)練習(xí)-計(jì)算fastq文件中每條序列的長(zhǎng)度
計(jì)算FASTA文件中每條序列的長(zhǎng)度輸入文件fasta.txt 腳本如下，腳本名：get_fasta.pl 運(yùn)行腳本如下，腳本get_fasta.pl，輸入文件為fasta.t...
