Linux文件按某列排序取top有關awk
目標:
Hive中的數據, 按照每個類目用戶的總流量大小排序.
現在需要取出每個類目的top10.
Hive中使用order by categoryId, traffic desc來對數據排序, 但沒辦法對每個categoryId取top. 因為limit是對整個最終結果產生影響, 所以不能用limit來做.
最後決定導出文本, 使用awk來取top10.
腳本:
hive -e "select category, traffic from log_table where pt=$yesterday order by category, traffic desc" | awk '{if(cate[$1] < 10){cate[$1]++;print $0}}' > result.txt
這樣就能夠按照category取top. 缺點是對數據量大小有要求, 太大可能不行, 不過是線性的.
最開始數據只是單純用select導出, 所以需要先用sort做一個大排序, 然後awk, 最後再sort一下:
sort -k 2 -r -n result.txt | awk '{if(cate[$1] < 10){cate[$1]++;print $0}}' | sort -k1 -k2 -r
因為有排序, 所以對數據量很敏感, 最後決定先在Hive中排好序再說, 於是就這樣搞了.
