Question

I am on Google App Engine with Python 2.7 and here is the code snippet:

# -*- coding: utf-8 -*-
KEYWORD = u"英語"
URL = u"http://www.google.com/"
content = u"和製英語（わせいえいご）とは、日本で作られた英語風の日本語語彙のことである。"
p=re.compile(u'('+ KEYWORD +u')(?!(([^<>]*?)>)|([^>]*?</a>))',re.UNICODE)
output=p.sub(u'<a href="'+ URL +'">\1</a>',content)

The regular expression and p.sub worked correctly but the backreference \1 wont work! The output of \1 is something like this: ន

I try to modify the code with encode('utf-8') but the result is the same:

p=re.compile(u'('+ KEYWORD +u')(?!(([^<>]*?)>)|([^>]*?</a>))'.encode('utf-8'),re.UNICODE)
output=p.sub(u'<a href="'+ URL +'">\1</a>'.encode('utf-8'),content.encode('utf-8'))

Can anyone told me what is wrong?

Answer 1

Turn the string with \1 into a raw string by adding an r immediately before it:

output=p.sub(u'<a href="'+ URL +r'">\1</a>',content)

This prevents the 1 from being interpreted as a backreferenced 1. Proof:

# -*- coding: utf-8 -*-
import re
KEYWORD = u"英語"
URL = u"http://www.google.com/"
content = u"和製英語（わせいえいご）とは、日本で作られた英語風の日本語語彙のことである。"
p=re.compile(u'('+ KEYWORD +u')(?!(([^<>]*?)>)|([^>]*?</a>))',re.UNICODE)
print p.sub(u'<a href="'+ URL +'">\1</a>',content)
print p.sub(u'<a href="'+ URL +r'">\1</a>',content)

prints

和製<a href="http://www.google.com/"></a>（わせいえいご）とは、日本で作られた<a href="http://www.google.com/"></a>風の日本語語彙のことである。
和製<a href="http://www.google.com/">英語</a>（わせいえいご）とは、日本で作られた<a href="http://www.google.com/">英語</a>風の日本語語彙のことである。

Only the latter works (英語 is within the google link).