跳至主要内容

用awk去除C语言注释

用awk去除C语言注释

redraiment, 2010-01-06





　　今天闲逛Linux宝库，看到论坛里有人在讨论如何用 shell 脚本来处理 C 语言注释，发帖时间是 08-10-23（以前怎么都没注意到，失败...），但问题好像并没被解决。正好这两天玩 sed & awk，来小试一下身手。

C语句注释

　　本文讨论的是 C99 标准，它支持单行注释（“// ...”）和块注释（“/*...*/”），并且当单行注释以“\”结尾时也可以跨多行。测试代码如下：
#include <stdlib.h>
#include <stdio.h>

int main (int argc, char *argv[])
{
// not show\
not show\
not show
// not show
/* not show */
    int is; // not show
    int/* not show */ ms; /* not show */
    double ds; // not show\
    not show\
    not show
    double dm; /* ...
    not show
    not show */ float fs; /**
                           * now show
                           */
    float/**/ fm;
    char cs[] = "aaa // /***/";
    char cm1[] = /* not show */"hello*/";
    char cm2[] = "/*redraiment"/* not show */;
    /* printf("/////"); */

    return EXIT_SUCCESS;
}
　　其中绿色部分就是注释，经过处理后需要将它们全部移除或用替换成空字符。论坛原帖中没有处理以“\”结尾的单行注释，也没处理注释关键字出现在字符串中的情况。

工具的选择

　　sed 是一个流编辑器，它能对文件进行“插入”、“删除”、“替换”、“追加”等编辑操作；而 awk 是一门模式匹配的程序设计语言，它除了能编辑文本还可以统计信息，你可以把它看成基于文本文件的数据库系统。原帖中作者使用 sed 来解决，因为问题涉及的操作仅仅是删除 C 代码中的注释。但由于以下原因导致 sed 心有余而力不足：

一、不支持最小匹配

　　正则表达式默认采用贪心匹配策略，在正则的标准中通过在量词后面加“?”来使用最小匹配策略，详细规则介绍请参见这里。问题中多行注释必须使用最小匹配原则，如果关键词只有一个字符，就可以通过排除字符集来模拟，比如我们经常用“"[^"]*"”来匹配一个字符串。可惜 C 语言的注释关键词都是多字符。

二、排序字符（Collating Symbols）只是一个美丽的梦想

　　排序字符用于字符列表（character list）中。按照文档的描述，排序字符可将多个字符当一个字符来匹配。比如模式“[[.ch.]i]”可以匹配行“char”和“int”，但不能匹配“coho”。如果它能被支持，就可以把“/*”、“*/”、“//”都看做一个字符，通过（一）中的排除字符集来实现最小匹配。可惜到目前为止，我接触的工具中没有一款支持这个特性，更不用说对正则支持平平的 sed 了。

三、字符串来捣乱

　　在《sed单行脚本学习笔记》中我给出了一段 sed 单行脚本，用于替换不在字符串中的模式。看起来正适合解决这个问题，但它的前提是模式要和待修改的文本完全匹配。由（一）、（二）两个条件决定了 sed 实现的正则表达式无法匹配 C 语言所有类型的注释。另外，sed 提供的控制语句是“b、t”，它们的功能是类似于 C 语言的 goto，因此它不能像“if ... else ...”一样方便地判断某个注释的起始位置是否在字符串中。
　　由于上述原因，我们需要一个变量来记录当前状态——是否在字符串中。因此我使用 awk 来解决。

我的解决方案

# filename: strip_c_comment.awk
# issue: awk -f scrip_c_comment.awk test.c

BEGIN { FS="" }

!(ignore_line && $NF == "\\") && !ignore_line-- {
    ignore_line = 0;
    for(i = 1; i <= NF; i++) {
        if (ignore_block) {
            if ($i $(i+1) == "*/") {
                ignore_block = 0
                i++ # remove '*'
            }
            continue
        }
        if (!instr && $i $(i+1) == "/*") {
            ignore_block = 1
            i++ # remove '/'
            continue
        }
        if (!instr && $i $(i+1) == "//") {
            ignore_line = ($NF == "\\")? 1: 0
            break
        }
        if ($i == "\"") {
            instr = 1 - instr
        }
        printf($i)
    }
    printf("\n")
}
　　在开始时将 FS 设为空字符串，使得输入记录的每个字符都成为一个独立的字段。代码中的三个布尔变量分别代表：
  1. ignore_line：如果上一行是以“\”结尾的单行注释则为“True”；
  2. ignore_block：如果当前字符在块注释中则为“True”；
  3. instr：如果当前字符在非注释的字符串内则为“True”。
　　脚本的工作就是保留“ignore_line”和“ignore_block”都为“False”时的字符。

执行结果

#include <stdlib.h>
#include <stdio.h>

int main (int argc, char *argv[])
{



    int is; 
    int ms; 
    double ds; 
    double dm; 

 float fs; 


    float fm;
    char cs[] = "aaa // /***/";
    char cm1[] = "hello*/";
    char cm2[] = "/*redraiment";
    

    return EXIT_SUCCESS;
}

评论

发表评论

此博客中的热门博文

JavaScript中的字符串乘法

JavaScript中的字符串乘法 redraiment, Date 原文 原文地址： http://www.davidflanagan.com/2009/08/string-multipli.html 原作者：David Flanagan In Ruby, the "*" operator used with a string on the left and a number on the right does string repetition. "Ruby"*2 evaluates to "RubyRuby", for example. This is only occasionally useful (when creating lines of hyphens for ASCII tables, for example) but it seems kind of neat. And it sure beats having to write a loop and concatenate n copies of a string one at a time--that just seems really inefficient. I just realized that there is a clever way to implement string multiplication in JavaScript: String.prototype.times = function(n) {     return Array.prototype.join.call({length:n+1}, this); }; "js".times(5) // => "jsjsjsjsjs" This method takes advantage of the behavior of the  Array.join()  method for arrays that have undefined elements. But it doesn't even bother creating an array with n+1 undefined ele...
发表评论
阅读全文

DAO层测试

<dependency> <groupId>com.wix</groupId> <artifactId>wix-embedded-mysql</artifactId> <version>2.1.4</version> <scope>test</scope> </dependency> 利用 wix-embedded-mysql 把MySQL嵌入到进程中，作为内存型的MySQL来做单元测试。 脚本： resources/migrations/mysql/<database>/<timestamp>_<action>.sql 但多个项目需要共享数据库脚本，可能可以用 git submodule 共享。
发表评论
阅读全文

人所不欲，勿施于人

谁说博客也要像论文一样结构清晰、有条理？！ 软件卸载 昨天整理自己的本本，卸载了 VMware 7.0 + 深度XP，MS Office 2007 以及 Visual Basic 6.0。我承认这些都是盗版软件，不过剩下的应用程序都是自由软件（freeware）或免费软件（freeware），这下我的计算机“干净”了。闲来无事，我就细数了一下当初装这些软件的原因： VMware + XP：当初刚买本本的时候，正好在上软件工程实践，紧遵老师的教导“将自己的开发环境随身携带”，自然第一款软件就是装了虚拟机（学校机房里是肆无忌惮地用盗版 VMware），另外上课指定使用 Visio 作图，那也只好一起装了；当然，也有部分原因是因为某些人的计算机装的是 XP，我这边有个 XP 环境也是为了方便问题重现（我的本本预装了 Vista）。 MS Office 2007：在毕设期间，我也还是用 Open Office 和 WPS 2010，但现在公司用的却是 Office 2007（正版）。我这次卸载这款办公软件其实也是在提醒自己：工作的事情要在工作时间里完成！ VB 6：你可能无法想象在我们科班的毕业设计中有多少是 VB6 项目，从大二开始，每逢毕业将至，总会有人来找我帮忙看那些不晓得从哪儿搜罗来的 VB6 代码，经不住软磨硬泡，我总会帮着改改；另一个原因在我自己，我一直下不了决心去学 MFC 等，所以但凡要做 GUI 程序，我都是拿 VB6 来画界面，再调用由 C 语言开发的 DLL 库，不过现在改用 QT，于是 VB6 可以功成身退了。 己所不欲，勿施于人 有些人就喜欢把自己的事全盘交托给别人来做，我一直不明白他们既然有精力去说服别人，为什么就没耐心自己去完成（所以我下面说人和人之间是无法理解的）。既然自己都认为这是无聊的事情，为什么偏偏又假设其他人会愿意无偿地帮你来完成呢？ 两千多年前，孔老夫子提出“己所不欲，勿施于人”的观点，但到了今天，我听到关于这句话时的语境普遍是，A说：“那个XX东西你也不要了（或要了也没用），不如就让给我吧？”，B就义正言辞地反对：“那怎么可以！己所不欲，勿施于人嘛。” 己所甚欲，勿施于人 易中天老师在《百家讲坛》讲解诸子百家...
发表评论
阅读全文