• 一個文件夾下有多個文件，每個文件中有多行數據，每行數據都是key:value的格式，現(xiàn)在需要文件夾下的所有文件，將每個文本中的key作為1行，以空格隔開，整理到一個文本中。

for i in `ll kmeans |awk '{print $9}' `
cat kmeans/$i | awk '{printf $1" " }'|awk '{print $0}' |awk '{print $0"\n"}'>> result.txt

awk '{i=1; while(i<=NF){print $i; i++ } ;}' clusterd.txt
cat intent_recognition.txt|awk '{gsub(/{|}|:|"|a|b|e|s|,/,"",$0) ;print $0}'

cat keyword_datum.txt |awk '{ if (NF != 0) {printf $1",";printf $2" "} else print ""}'
1、打印不換行：使用printf
2、if else 結構：多條語句用大括號包起來，單條語句直接寫

• 刪除不足2列的行
  1、NF 代表被切割出來的列數
  2、awk 括號中的if語法是'{ if ( condition ) { code block} }'

 awk '{if(NF>1 ){print $0"\n"}  }' result.txt > r2.txt

• 按第一列統(tǒng)計出現(xiàn)的次數,uniq -c可以做這件事。

cat click_data.csv | awk -F',' '{print $1}' | uniq -c

• 按第二列排序

sort -t' ' -n -k2 click_number.csv

• redis導入數據

awk '{cmd="redis-cli --raw SADD se:cluster ""\""$0"\"";system(cmd)}' clusterd.txt

• java異常分析
  1、-F 多個連續(xù)的字符串作分隔符 -F"xsd"
  2、分割字符串中包含"["或者"]"，使用轉義符號

 cat log |grep -E ERROR|awk -F'\\] \\[' '{print $2}'|sort |uniq

sudo cat app_20881.log |grep -E ERROR|awk -F'\\] \\[' '{print $2 }'|sort|uniq |awk '{cmd="cat app_20881.log|grep '\''''"$0"'\'' |wc -l";system(echo cmd)}'
sudo cat app_20881.log |grep -E ERROR|awk -F'\\] \\[' '{print $2 }'|sort|uniq |awk '{print $0}'


awk '{cmd="cat app_20881.log|grep '\''''"$0"'\'' |wc -l";system(cmd)}'

cat app_20881.log|grep "org.springframework.web.servlet.mvc.method.annotation.ExceptionHandlerExceptionResolver] - Failed to invoke @ExceptionHandler method: public com.dmall.bigdata.domain.Result<java.util.Map<java.lang.String, java.lang.Object>> com.dmall.api.searchengine.AppConfiguration$GlobalExceptionHandler.handleException(java.lang.Exception)"|wc -l

• for循環(huán)模擬并發(fā)，記錄請求時間

for i in {1..500}; do curl -o /dev/null -s -w %{time_total}"\n" "http://192.168.2.136:8080/jian_so?w=java%E6%95%99%E7%A8%8B" ; done

cat intent_recognition.txt|awk '{gsub(/{|}|:|"|a|b|e|s|,/,"",$0) ;print $0}'