从片段中检测编程语言

在一段代码中检测使用哪种编程语言的最佳方法是什么？

我认为垃圾邮件过滤器中使用的方法可以很好地工作.您将片段拆分为单词.那么你应该比较这些词与已知的片段中的出现次数,并计算这个片段是用语言X为你感兴趣的每一种语言的可能性.

http://en.wikipedia.org/wiki/Bayesian_spam_filtering

如果您有基本机制,那么添加新语言非常容易:只需使用新语言的一些片段训练检测器(您可以将其作为开源项目提供).通过这种方式,它了解到"系统"可能会出现在C#片段中,并且"放入"Ruby片段中.

我实际上已经使用这种方法将语言检测添加到论坛软件的代码片段中.除了模棱两可的情况外,它在100%的时间内都有效:

print "Hello"

让我找到代码.

我找不到代码所以我做了一个新代码.它有点简单,但它适用于我的测试.目前,如果你提供比Ruby代码更多的Python代码,它可能会说这段代码:

def foo
   puts "hi"
end

是Python代码(尽管它确实是Ruby).这是因为Python也有一个def关键字.因此,如果它已经def在Python 中看到了1000x 而def在Ruby中看到了100x ,那么它可能仍然会说Python,尽管puts它end是特定于Ruby的.您可以通过跟踪每种语言所看到的单词并将其除以某处(或通过在每种语言中提供相同数量的代码)来解决此问题.

我希望它可以帮助你:

class Classifier
  def initialize
    @data = {}
    @totals = Hash.new(1)
  end

  def words(code)
    code.split(/[^a-z]/).reject{|w| w.empty?}
  end

  def train(code,lang)
    @totals[lang] += 1
    @data[lang] ||= Hash.new(1)
    words(code).each {|w| @data[lang][w] += 1 }
  end

  def classify(code)
    ws = words(code)
    @data.keys.max_by do |lang|
      # We really want to multiply here but I use logs 
      # to avoid floating point underflow
      # (adding logs is equivalent to multiplication)
      Math.log(@totals[lang]) +
      ws.map{|w| Math.log(@data[lang][w])}.reduce(:+)
    end
  end
end

# Example usage

c = Classifier.new

# Train from files
c.train(open("code.rb").read, :ruby)
c.train(open("code.py").read, :python)
c.train(open("code.cs").read, :csharp)

# Test it on another file
c.classify(open("code2.py").read) # => :python (hopefully)

int i = 5;
int k = 0;
for (int j = 100 ; j > i ; i++) {
    j = j + 1000 / i;
    k = k + i * j;
}