跳到主要內容

精通awk系列(8)：awk劃分字段的3種方式

回到：









詳細分析awk字段分割


awk讀取每一條記錄之後，會將其賦值給$0，同時還會對這條記錄按照預定義變量FS劃分字段，將劃分好的各個字段分別賦值給$1 $2 $3 $4...$N，同時將劃分的字段數量賦值給預定義變量NF。


引用字段的方式


$N引用字段：



  • N=0：即$0，引用記錄本身

  • 0<N<=NF：引用對應字段

  • N>NF：表示引用不存在的字段，返回空字符串

  • N<0：報錯


可使用變量或計算的方式指定要獲取的字段序號。


awk '{n = 5;print $n}' a.txt
 awk '{print $(2+2)}' a.txt   # 括號必不可少，用於改變優先級
 awk '{print $(NF-3)}' a.txt

分割字段的方式


讀取record之後，將使用預定義變量FS、FIELDWIDTHS或FPAT中的一種來分割字段。分割完成之後，再進入main代碼段(所以，在main中設置FS對本次已經讀取的record是沒有影響的，但會影響下次讀取)。



劃分字段方式(一)：FS或-F


FS或者-F：字段分隔符



  • FS為單個字符時，該字符即為字段分隔符

  • FS為多個字符時，則採用正則表達式模式作為字段分隔符

  • 特殊的，也是FS默認的情況，FS為單個空格時，將以連續的空白（空格、製表符、換行符）作為字段分隔符

  • 特殊的，FS為空字符串""時，將對每個字符都進行分隔，即每個字符都作為一個字段

  • 設置預定義變量IGNORECASE為非零值，正則匹配時表示忽略大小寫(隻影響正則，所以FS為單字時無影響)

  • 如果record中無法找到FS指定的分隔符(例如將FS設置為"\n")，則整個記錄作為一個字段，即$1和$0相等


# 字段分隔符指定為單個字符
 awk -F":" '{print $1}' /etc/passwd
 awk 'BEGIN{FS=":"}{print $1}' /etc/passwd
 
 # 字段分隔符指定為正則表達式
 awk 'BEGIN{FS=" +|@"}{print $1,$2,$3,$4,$5,$6}' a.txt


劃分字段方式(二)：FIELDWIDTHS


指定預定義變量FIELDWIDTHS按字符寬度分割字段，這是gawk提供的高級功能。在處理某字段缺失時非常好用。


用法：



示例1：


# 沒取完的字符串DDD被丟棄，且NF=3
 $ awk 'BEGIN{FIELDWIDTHS="2 3 2"}{print $1,$2,$3,$4}' <<<"AABBBCCDDDD"
 AA BBB CC 
 
 # 字符串不夠長度時無視
 $ awk 'BEGIN{FIELDWIDTHS="2 3 2 100"}{print $1,$2,$3,$4"-"}' <<<"AABBBCCDDDD"
 AA BBB CC DDDD-
 
 # *號取剩餘所有，NF=3
 $ awk 'BEGIN{FIELDWIDTHS="2 3 *"}{print $1,$2,$3}' <<<"AABBBCCDDDD"      
 AA BBB CCDDDD
 
 # 字段數多了，則取完字符串即可，NF=2
 $ awk 'BEGIN{FIELDWIDTHS="2 30 *"}{print $1,$2,NF}' <<<"AABBBCCDDDD"  
 AA BBBCCDDDD 2

示例2：處理某些字段缺失的數據。


如果按照常規的FS進行字段分割，則對於缺失字段的行和沒有缺失字段的行很難統一處理，但使用FIELDWIDTHS則非常方便。


假設a.txt文本內容如下：


ID  name    gender  age  email          phone
 1   Bob     male    28   abc@qq.com     18023394012
 2   Alice   female  24   def@gmail.com  18084925203
 3   Tony    male    21   aaa@163.com    17048792503
 4   Kevin   male    21   bbb@189.com    17023929033
 5   Alex    male    18                  18185904230
 6   Andy    female  22   ddd@139.com    18923902352
 7   Jerry   female  25   exdsa@189.com  18785234906
 8   Peter   male    20   bax@qq.com     17729348758
 9   Steven  female  23   bc@sohu.com    15947893212
 10  Bruce   female  27   bcbd@139.com   13942943905

因為email字段有的是空字段，所以直接用FS劃分字段不便處理。可使用FIELDWIDTHS。


# 字段1：4字符
 # 字段2：8字符
 # 字段3：8字符
 # 字段4：2字符
 # 字段5：先跳過3字符，再讀13字符，該字段13字符
 # 字段6：先跳過2字符，再讀11字符，該字段11字符
 awk '
 BEGIN{FIELDWIDTHS="4 8 8 2 3:13 2:11"}
 NR>1{
     print "<"$1">","<"$2">","<"$3">","<"$4">","<"$5">","<"$6">"
 }' a.txt
 
 # 如果email為空，則輸出它
 awk '
 BEGIN{FIELDWIDTHS="4 8 8 2 3:13 2:11"}
 NR>1{
     if($5 ~ /^ +$/){print $0}
 }' a.txt


劃分字段方式(三)：FPAT


FS是指定字段分隔符，來取得除分隔符外的部分作為字段。


FPAT是取得匹配的字符部分作為字段。它是gawk提供的一個高級功能。


FPAT根據指定的正則來全局匹配record，然後將所有匹配成功的部分組成$1、$2...，不會修改$0。



  • awk 'BEGIN{FPAT="[0-9]+"}{print $3"-"}' a.txt

  • 之後再設置FS或FPAT，該變量將失效


FPAT常用於字段中包含了字段分隔符的場景。例如，CSV文件中的一行數據如下：


Robbins,Arnold,"1234 A Pretty Street, NE",MyTown,MyState,12345-6789,USA

其中逗號分隔每個字段，但雙引號包圍的是一個字段整體，即使其中有逗號。


這時使用FPAT來劃分各字段比使用FS要方便的多。


echo 'Robbins,Arnold,"1234 A Pretty Street, NE",MyTown,MyState,12345-6789,USA' |\
 awk '
     BEGIN{FPAT="[^,]*|(\"[^\"]*\")"}
     {
         for (i=1;i<NF;i++){
             print "<"$i">"
         }
     }
 '

最後，patsplit()函數和FPAT的功能一樣。


檢查字段劃分的方式


有FS、FIELDWIDTHS、FPAT三種獲取字段的方式，可使用PROCINFO數組來確定本次使用何種方式獲得字段。


PROCINFO是一個數組，記錄了awk進程工作時的狀態信息。


如果：



  • PROCINFO["FS"]=="FS"，表示使用FS分割獲取字段

  • PROCINFO["FPAT"]=="FPAT"，表示使用FPAT匹配獲取字段

  • PROCINFO["FIELDWIDTHS"]=="FIELDWIDTHS"，表示使用FIELDWIDTHS分割獲取字段


例如：


if(PROCINFO["FS"]=="FS"){
     ...FS spliting...
 } else if(PROCINFO["FPAT"]=="FPAT"){
     ...FPAT spliting...
 } else if(PROCINFO["FIELDWIDTHS"]=="FIELDWIDTHS"){
     ...FIELDWIDTHS spliting...
 }
本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能



※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享



※智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選



Orignal From: 精通awk系列(8)：awk劃分字段的3種方式

留言

張貼留言

這個網誌中的熱門文章

架構設計 | 異步處理流程，多種實現模式詳解

本文源碼：GitHub·點這裏 || GitEE·點這裏 一、異步處理 1、異步概念 異步處理不用阻塞當前線程來等待處理完成，而是允許後續操作，直至其它線程將處理完成，並回調通知此線程。 必須強調一個基礎邏輯，異步是一種設計理念，異步操作不等於多線程，MQ中間件，或者消息廣播，這些是可以實現異步處理的方式。 同步處理和異步處理相對，需要實時處理並響應，一旦超過時間會結束會話，在該過程中調用方一直在等待響應方處理完成並返回。同步類似電話溝通，需要實時對話，異步則類似短信交流，發送消息之後無需保持等待狀態。 2、異步處理優點 雖然異步處理不能實時響應，但是處理複雜業務場景，多數情況都會使用異步處理。 異步可以解耦業務間的流程關聯，降低耦合度； 降低接口響應時間，例如用戶註冊，異步生成相關信息表； 異步可以提高系統性能，提升吞吐量； 流量削峰即把請求先承接下來，然後在異步處理； 異步用在不同服務間，可以隔離服務，避免雪崩； 異步處理的實現方式有很多種，常見多線程，消息中間件，發布訂閱的廣播模式，其根據邏輯在於先把請求承接下來，放入容器中，在從容器中把請求取出，統一調度處理。 注意 ：一定要監控任務是否產生積壓過度情況，任務如果積壓到雪崩之勢的地步，你會感覺每一片雪花都想勇闖天涯。 3、異步處理模式 異步流程處理的實現有好多方式，但是實際開發中常用的就那麼幾種，例如： 基於接口異步響應，常用在第三方對接流程； 基於消息生產和消費模式，解耦複雜流程； 基於發布和訂閱的廣播模式，常見系統通知 異步適用的業務場景，對數據強一致性的要求不高，異步處理的數據更多時候追求的是最終一致性。 二、接口響應異步 1、流程描述 基於接口異步響應的方式，有一個本地業務服務，第三方接口服務，流程如下： 本地服務發起請求，調用第三方服務接口； 請求包含業務參數，和成功或失敗的回調地址； 第三方服務實時響應流水號，作為該調用的標識； 之後第三方服務處理請求，得到最終處理結果； 如果處理成功，回調本地服務的成功通知接口； 如果處理失敗，回調本地服務的失敗通知接口； 整個流程基於部分異步和部分實時的模式，完整處理； 注意 ：如...
張貼留言
閱讀完整內容

.NET Core前後端分離快速開發框架(Core.3.0+AntdVue)

.NET Core前後端分離快速開發框架(Core.3.0+AntdVue) 目錄 引言 時間真快，轉眼今年又要過去了。回想今年，依次開源發布了 Colder.Fx.Net.AdminLTE(254Star) 、 Colder.Fx.Core.AdminLTE(335Star) 、 DotNettySocket(82Star) 、 IdHelper(47Star) ，這些框架及組件都是本着以實際出發，實事求是的態度，力求提高開發效率（我自己都是第一個使用者），目前來看反響不錯。但是隨着前端和後端技術的不斷變革，尤其是前端，目前大環境已經是前後端完全分離為主的開發模式，在這樣的大環境和必然趨勢之下，傳統的MVC就顯得有些落伍了。在這樣的背景下，一款前後端分離的.NET開發框架就顯得尤為必要，由此便定了框架的升級目標： 前後端分離 。 首先後端技術的選擇，從目前的數據來看，.NET Core的發展遠遠快於.NET Framework，最簡單的分析就是Colder.Fx.Core.AdminLTE發布比Colder.Fx.Net.AdminLTE晚，但是星星卻後來居上而且比前者多30%，並且這個差距在不斷擴大，由點及面的分析可以看出我們廣大.NET開發人員學習的熱情和积極向上的態度，並不是某些人所認為的那麼不堪（ 走自己的路，讓別人說去吧 ）。大環境上微軟积極擁抱開源，大力發展.NET Core， 可以說前途一片光明。因此後端決定採用 .NET Core3.0 ，不再浪費精力去支持.NET Framework。 然後是前端技術選擇，首選是三大js框架選擇，也是從實際出發，Vue相對其它而言更加容易上手，並且功能也毫不遜色，深得各種大小公司喜歡，如果偏要說缺點的話，那就是對TS支持不行，但是即將發布Vue3.0肯定會改變這一缺陷。選擇了Vue之後，然後就是UI框架的選擇了，這裏的選擇更多了，我選擇了Ant Design Vue，理由便是簡潔方便，十分符合我的設計理念。 技術選型完畢之後便...
張貼留言
閱讀完整內容

台北市住宅、社區建創儲能設備 最高可獲600萬元補助

為了推廣分散式發電，台北市環保局預計補助1億元供住宅社區設置創能、儲能設備，計有3種方案可供選擇。環保局說明，每案補助額度不超過建制總經費49％，社區每案最高可獲200萬至600萬元補助，住宅每案補助上限100萬元，5月1日起開放申請。 環保局說明，台北市溫室氣體排放量7成以上來自住商部門，其中以使用電力造成間接溫室氣體排放為大宗，台北市平均年用電量約159.86億度，1度電約等同排放0.5公斤二氧化碳，若想達成2050年淨零排放目標，僅靠節能減碳無法達成，必須發展綠色創能、儲能，並且參考歐洲、日本的做法，採分散式發電方式，推廣到社區、住家、商辦，達到供電自給自足目標。 因此，環保局推出「台北市住宅社區創能儲能及節能補助計畫」，補助對象為台北市轄內房屋所有權人及社區管理委員會，補助方案共計3種，每一申請人或每一場址僅能獲1次補助，每案補助額度不超過建置總經費49％為限，5月1日到7月31日開放申請，但補助經費用完即停止申請。 環保局說明，方案A補助對象以社區為主，公共區域申請創能儲能及節能項目，每案補助上限新台幣600萬元；方案B分為住宅或社區公共區域申請創能搭配儲能項目（創能或儲能方案不得單獨申請），社區每案補助上限新台幣400萬元，住宅每案補助上限100萬元。方案C補助對象也是社區，公共區域申請節能項目，每案補助上限新台幣200萬元。 網頁設計 最專業,超強功能平台可客製,窩窩以「數位行銷」「品牌經營」「網站與應用程式」「印刷品設計」等四大主軸，為每一位客戶客製建立行銷脈絡及洞燭市場先機,請問 台中電動車 哪裡在賣比較便宜可以到台中景泰電動車門市去看看總店：臺中市潭子區潭秀里雅潭路一段102-1號。 電動車補助 推薦評價好的 iphone維修 中心擁有專業的維修技術團隊，同時聘請資深iphone手機維修專家，現場說明手機問題，快速修理，沒修好不收錢住家的頂樓裝 太陽光電 聽說可發揮隔熱功效一線推薦東陽能源擁有核心技術、產品研發、系統規劃設置、專業團隊的太陽能發電廠商。 網頁設計 一頭霧水該從何著手呢? 回頭車 貨運收費標準宇安交通關係企業，自成立迄今，即秉持著「以誠待人」、「以實處事」的企業信念 台中搬家公司 教你幾個打包小技巧,輕鬆整理裝箱!還在煩惱搬家費用要多少哪？台中大展搬家線上試算搬家費用，從此不再擔心「物品怎麼計費」、「多...
張貼留言
閱讀完整內容