跳至主要内容

awk学习笔记

awk学习笔记

redraiment, 2010-01-05

看完sed部分之后





　　花了几个晚上看完后面 awk 部分。awk 不同于 sed，它是一门模式匹配的程序设计语言。学习 sed 和 awk 时，正则表达式可能是一大障碍。但事有凑巧，去年我暑假我一个人出去散心时，顺带看完了《精通正则表达式（第三版）》，另外我还掌握一些 Bash、Perl 等脚步编程的经验，因此很快就能适应 awk 的风格。
　　写到此处，我突然联系到《倚天屠龙记》中的张无忌，他经常说“我有九阳神功护体，学什么武功都很快”；那我们程序员也可以牛气地喊“我掌握了正则表达式，UNIX下工具上手都很快”，哈哈。

环境的问题

　　比起 sed，使用 awk 时让我有点小意外，哈哈。
　　一、Debian 5.0 默认安装的 awk 是 mawk。我一开始以为是 GNU awk，直到测试“gensub”函数（gawk特有）时才发现不对，于是通过 CD 盘安装了 GNU awk。到目前为止，gawk 的最新版本是 3.1.7，但 Debian 5.0 的软件包中提供的是 v3.1.5。而 fedora 默认安装的是 gawk v3.1.5，另外我在 Windows 下也使用 gawk.exe v3.1.5。
　　二、在上文《sed单行脚本学习笔记》中已经提到用模式“[ -~]”来匹配任意可打印字符，这个特性在 mawk 中也可使用。理论上在 GNU gawk 中不能使用，但在 Windows 平台下的 gawk 却也具备此特性。为保持脚本的可移植性，应该用“[:print:]”来代替。
　　三、gawk 支持扩展的正则表达式，在文档中指出操作符“\B”可以匹配单词中字符与字符之间的空白位置。例如模式“/\Bour/”可以匹配“course”，不能匹配“our”。但这一特性在 gawk v3.1.5 中实现有问题。
$ cat data 
ABCDE
ABCD
ABC
AB
A
$ awk --version | head -1
GNU Awk 3.1.5
$ awk '{gsub(/\B/,"-")}1' data 
A-B-C-DE
A-B-CD
A-BC
A-B
A
　　如上所示，当单词长度大于二，在 gsub 中“\B”不能匹配最后一个空白位置。这个问题在 gawk v3.1.6 版本被修复。
$ gawk-3.1.6/gawk --version | head -1
GNU Awk 3.1.6
$ gawk-3.1.6/gawk '{gsub(/\B/,"-")}1' data 
A-B-C-D-E
A-B-C-D
A-B-C
A-B
A
　　这到底算不算 bug，也只有 gawk 的维护者说了算，哈哈。

awk单行脚本

　　较少的设施总能给人带来更多的快乐。awk 作为一门编程语言，它的能力比原作者预期的更多，一些 sed 很费劲要完成的事情它能轻易完成。这造成的结果是，在大多数情况下用 awk 完成任务后，不会像 sed 一样让你兴奋不已，因为杀鸡用了牛刀，显得理所当然。
　　另一方面，一门抽象的语言不仅拥有丰富的表达能力，也有更具可读性的语句，使得语句不会过分精练。同样是输出，awk 中是“print”、sed 中只需一个字符“p”。
　　综上原因，用 awk 来编写只要 65 个字符的单行脚本显得勉强，下面罗列《AWK单行脚本快速参考》中几段精练的脚本。
# 删除所有空白行 （类似于 "grep '.' "）
awk NF
　　这段脚本使用了 awk 的隐含动作：“{print $0}”。awk 中只要当值为 0 或空（""）时才为“False”，否则都是“True”，而 NF 只有在空行上才为 0。因此整个语句的意思就是“但当前行的字段数大于0时，显示该行”。
# 删除重复的、非连续的行
awk '! a[$0]++'
　　这段脚本同样使用了隐含的打印动作。awk 的数组是一种关联数组，允许用字符串或数值做下标（事实上数值会先根据 CONVFMT 规则来转换成字符串），因此所谓的数组其实更像是键/值映射。通过关联数组来记录每一行的出现次数，且仅在第一次出现时输出。

单行脚本中的错误

# 倒置每行并打印
awk '{for (i=NF; i>0; i--) printf("%s ",i);printf ("\n")}' file
　　其中“printf("%s",i)”应该是“printf("%s",$i)”。这是译文中的错误，原文中正确。
# 删除重复连续的行 （模拟 "uniq"）
awk 'a !~ $0; {a=$0}'
　　运算符“!~”为“不匹配”，运算符右边可以是 awk 中任意表达式，awk 将它作为一个字符串并用来指定一个正则表达式。由此，这段代码不能正确处理以下数据：
$ cat data 
ABCDE
ABCD
ABC
AB
A
$ awk 'a !~ $0; {a=$0}' data 
ABCDE
　　需要将匹配改成比较，即“awk 'a != $0; {a=$0}'”。

评论

发表评论

此博客中的热门博文

JavaScript中的字符串乘法

JavaScript中的字符串乘法 redraiment, Date 原文 原文地址： http://www.davidflanagan.com/2009/08/string-multipli.html 原作者：David Flanagan In Ruby, the "*" operator used with a string on the left and a number on the right does string repetition. "Ruby"*2 evaluates to "RubyRuby", for example. This is only occasionally useful (when creating lines of hyphens for ASCII tables, for example) but it seems kind of neat. And it sure beats having to write a loop and concatenate n copies of a string one at a time--that just seems really inefficient. I just realized that there is a clever way to implement string multiplication in JavaScript: String.prototype.times = function(n) {     return Array.prototype.join.call({length:n+1}, this); }; "js".times(5) // => "jsjsjsjsjs" This method takes advantage of the behavior of the  Array.join()  method for arrays that have undefined elements. But it doesn't even bother creating an array with n+1 undefined ele...
发表评论
阅读全文

DAO层测试

<dependency> <groupId>com.wix</groupId> <artifactId>wix-embedded-mysql</artifactId> <version>2.1.4</version> <scope>test</scope> </dependency> 利用 wix-embedded-mysql 把MySQL嵌入到进程中，作为内存型的MySQL来做单元测试。 脚本： resources/migrations/mysql/<database>/<timestamp>_<action>.sql 但多个项目需要共享数据库脚本，可能可以用 git submodule 共享。
发表评论
阅读全文

人所不欲，勿施于人

谁说博客也要像论文一样结构清晰、有条理？！ 软件卸载 昨天整理自己的本本，卸载了 VMware 7.0 + 深度XP，MS Office 2007 以及 Visual Basic 6.0。我承认这些都是盗版软件，不过剩下的应用程序都是自由软件（freeware）或免费软件（freeware），这下我的计算机“干净”了。闲来无事，我就细数了一下当初装这些软件的原因： VMware + XP：当初刚买本本的时候，正好在上软件工程实践，紧遵老师的教导“将自己的开发环境随身携带”，自然第一款软件就是装了虚拟机（学校机房里是肆无忌惮地用盗版 VMware），另外上课指定使用 Visio 作图，那也只好一起装了；当然，也有部分原因是因为某些人的计算机装的是 XP，我这边有个 XP 环境也是为了方便问题重现（我的本本预装了 Vista）。 MS Office 2007：在毕设期间，我也还是用 Open Office 和 WPS 2010，但现在公司用的却是 Office 2007（正版）。我这次卸载这款办公软件其实也是在提醒自己：工作的事情要在工作时间里完成！ VB 6：你可能无法想象在我们科班的毕业设计中有多少是 VB6 项目，从大二开始，每逢毕业将至，总会有人来找我帮忙看那些不晓得从哪儿搜罗来的 VB6 代码，经不住软磨硬泡，我总会帮着改改；另一个原因在我自己，我一直下不了决心去学 MFC 等，所以但凡要做 GUI 程序，我都是拿 VB6 来画界面，再调用由 C 语言开发的 DLL 库，不过现在改用 QT，于是 VB6 可以功成身退了。 己所不欲，勿施于人 有些人就喜欢把自己的事全盘交托给别人来做，我一直不明白他们既然有精力去说服别人，为什么就没耐心自己去完成（所以我下面说人和人之间是无法理解的）。既然自己都认为这是无聊的事情，为什么偏偏又假设其他人会愿意无偿地帮你来完成呢？ 两千多年前，孔老夫子提出“己所不欲，勿施于人”的观点，但到了今天，我听到关于这句话时的语境普遍是，A说：“那个XX东西你也不要了（或要了也没用），不如就让给我吧？”，B就义正言辞地反对：“那怎么可以！己所不欲，勿施于人嘛。” 己所甚欲，勿施于人 易中天老师在《百家讲坛》讲解诸子百家...
发表评论
阅读全文