Question

I have a string which is in the following format, When there is a match the regex.macth static method runs pretty quickly. However often at times there will be a string which will not match and I was running some scenarios and it goes into backtracking and regex.match never seems to end. that specific case when the fields were not in order and some of the fields were not there. i have to use regex and was wondering if someone has any tips? Also I am only retrieving a few groups values for instance 7.
Okay my data looks like the above, when It matches exaclty it runs fine, forexample 100 hundred of this no problem and I am satisfied with that, When the format could be different for instance some of the fields for example the last four ones are not there or some of the fileds are ordered differenty, in this regex.match just runs forever. In this case if the format is not as my static string, I just want to end the process.

Answer 1

I don’t have your data where I could test a failure.

Update

Thanks for the sample, I see the problem now. Basically, the regex has overlapping sets that are optionally matching. This is the subexpression \s*([^}]*?). When overlapping character classs like these are combined, it can be a reciepe for catastrophic backtracking. In this case the regex is awash with whitespace references.

The solution is to force certain parts to not give back to the backtracker when an optional part doesn’t benefit from backtracking (but only hurts it). Making a section atomic has the affect of making it a literal. In this case the trimming sections are causing problems, remove them from backtracking and it fixes the problem.

But, in order to trim correctly, the \s* expression needs to be alterred.

@Alan Moore mentions there is no possesive quantifiers in .NET.
He’s right, so use the ‘Atomic Grouping’ regex below.

Atomic Grouping version:

TEST_REPLICATE\s*{\s*REPLICATE_ID(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*ASSAY_NUMBER(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*ASSAY_VERSION(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*DILUTION_ID(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*SAMPLE_ID(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*SAMPLE_TYPE(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*TEST_ORDER_DATE(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*TEST_ORDER_TIME(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*TEST_INITIATION_DATE(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*TEST_INITIATION_TIME(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*TEST_COMPLETION_DATE(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*TEST_COMPLETION_TIME(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*ASSAY_CALIBRATION_DATE(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*ASSAY_CALIBRATION_TIME(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*TRACK(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*PROCESSING_LANE(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*MODULE_SN(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*LOAD_LIST_NAME(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*OPERATOR_ID(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*DARK_SUBREADS(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*SIGNAL_SUBREADS(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*DARK_COUNT(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*SIGNAL_COUNT(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*CORRECTED_COUNT(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*STD_BAK(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*AVG_BAK(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*STD_FOR(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*AVG_FOR(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*SHAPE(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*EXCEPTION_STRING(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*RESULT(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*REPORTED_RESULT(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*REPORTED_RESULT_UNITS(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*REAGENT_MASTER_LOT(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*REAGENT_SERIAL_NUMBER(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*RESULT_FLAGS(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*RESULT_INTERPRETATION(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*DILUTION_PROTOCOL(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*RESULT_COMMENT(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*DATA_MANAGEMENT_FIELD_1(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*DATA_MANAGEMENT_FIELD_2(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*DATA_MANAGEMENT_FIELD_3(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*DATA_MANAGEMENT_FIELD_4(?>[^\S\n]*)([^}\n]*?)(?>[^\S\n]*)\s*}

Possesive quantifiers Version:

TEST_REPLICATE\s*{\s*REPLICATE_ID[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*ASSAY_NUMBER[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*ASSAY_VERSION[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*DILUTION_ID[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*SAMPLE_ID[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*SAMPLE_TYPE[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*TEST_ORDER_DATE[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*TEST_ORDER_TIME[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*TEST_INITIATION_DATE[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*TEST_INITIATION_TIME[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*TEST_COMPLETION_DATE[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*TEST_COMPLETION_TIME[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*ASSAY_CALIBRATION_DATE[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*ASSAY_CALIBRATION_TIME[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*TRACK[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*PROCESSING_LANE[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*MODULE_SN[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*LOAD_LIST_NAME[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*OPERATOR_ID[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*DARK_SUBREADS[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*SIGNAL_SUBREADS[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*DARK_COUNT[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*SIGNAL_COUNT[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*CORRECTED_COUNT[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*STD_BAK[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*AVG_BAK[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*STD_FOR[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*AVG_FOR[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*SHAPE[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*EXCEPTION_STRING[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*RESULT[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*REPORTED_RESULT[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*REPORTED_RESULT_UNITS[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*REAGENT_MASTER_LOT[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*REAGENT_SERIAL_NUMBER[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*RESULT_FLAGS[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*RESULT_INTERPRETATION[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*DILUTION_PROTOCOL[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*RESULT_COMMENT[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*DATA_MANAGEMENT_FIELD_1[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*DATA_MANAGEMENT_FIELD_2[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*DATA_MANAGEMENT_FIELD_3[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*DATA_MANAGEMENT_FIELD_4[^\S\n]*+([^}\n]*?)[^\S\n]*+\s*}

Expanded with group numbers:
(this may be a bit painfull to look at)

     TEST_REPLICATE\s*
     {\s*
     REPLICATE_ID
     (?> [^\S\n]* )
1    ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*ASSAY_NUMBER
     (?> [^\S\n]* )
2    ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*ASSAY_VERSION
     (?> [^\S\n]* )
3    ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*DILUTION_ID
     (?> [^\S\n]* )
4    ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*SAMPLE_ID
     (?> [^\S\n]* )
5    ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*SAMPLE_TYPE
     (?> [^\S\n]* )
6    ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*TEST_ORDER_DATE
     (?> [^\S\n]* )
7    ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*TEST_ORDER_TIME
     (?> [^\S\n]* )
8    ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*TEST_INITIATION_DATE
     (?> [^\S\n]* )
9    ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*TEST_INITIATION_TIME
     (?> [^\S\n]* )
10   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*TEST_COMPLETION_DATE
     (?> [^\S\n]* )
11   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*TEST_COMPLETION_TIME
     (?> [^\S\n]* )
12   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*ASSAY_CALIBRATION_DATE
     (?> [^\S\n]* )
13   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*ASSAY_CALIBRATION_TIME
     (?> [^\S\n]* )
14   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*TRACK
     (?> [^\S\n]* )
15   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*PROCESSING_LANE
     (?> [^\S\n]* )
16   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*MODULE_SN
     (?> [^\S\n]* )
17   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*LOAD_LIST_NAME
     (?> [^\S\n]* )
18   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*OPERATOR_ID
     (?> [^\S\n]* )
19   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*DARK_SUBREADS
     (?> [^\S\n]* )
20   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*SIGNAL_SUBREADS
     (?> [^\S\n]* )
21   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*DARK_COUNT
     (?> [^\S\n]* )
22   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*SIGNAL_COUNT
     (?> [^\S\n]* )
23   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*CORRECTED_COUNT
     (?> [^\S\n]* )
24   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*STD_BAK
     (?> [^\S\n]* )
25   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*AVG_BAK
     (?> [^\S\n]* )
26   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*STD_FOR
     (?> [^\S\n]* )
27   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*AVG_FOR
     (?> [^\S\n]* )
28   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*SHAPE
     (?> [^\S\n]* )
29   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*EXCEPTION_STRING
     (?> [^\S\n]* )
30   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*RESULT
     (?> [^\S\n]* )
31   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*REPORTED_RESULT
     (?> [^\S\n]* )
32   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*REPORTED_RESULT_UNITS
     (?> [^\S\n]* )
33   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*REAGENT_MASTER_LOT
     (?> [^\S\n]* )
34   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*REAGENT_SERIAL_NUMBER
     (?> [^\S\n]* )
35   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*RESULT_FLAGS
     (?> [^\S\n]* )
36   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*RESULT_INTERPRETATION
     (?> [^\S\n]* )
37   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*DILUTION_PROTOCOL
     (?> [^\S\n]* )
38   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*RESULT_COMMENT
     (?> [^\S\n]* )
39   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*DATA_MANAGEMENT_FIELD_1
     (?> [^\S\n]* )
40   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*DATA_MANAGEMENT_FIELD_2
     (?> [^\S\n]* )
41   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*DATA_MANAGEMENT_FIELD_3
     (?> [^\S\n]* )
42   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*DATA_MANAGEMENT_FIELD_4
     (?> [^\S\n]* )
43   ( [^}\n]*? )
     (?> [^\S\n]* )
     \s*}