Update structure sanitization script - Biers

[rhiju]

The Biers structure sanitization function should be updated to match the OpenKnotScore sanitize_structure implementation. This will be made consistent across projects.

[rhiju]

Documenting that use of convert_structure_to_bps_v3 and convert_bps_to_structure_v3 at
eternagame/OpenKnotScoreMATLAB@8c9ae5d
allows consistent treatment of dot bracket notation across MATLAB (OpenKnotScoreMATLAB), Python (ARNIE), and Javascript (Eterna.JS). Thanks @tkaragianes @luxaritas!

Output for 23 test cases below:

Test 1
               notes // Sequences currently used in EternaJS tests
           structure ......
            eternajs ......
 openknotscorematlab ......
               arnie ......


Test 2
               notes // Sequences currently used in EternaJS tests
           structure (((((......)))))
            eternajs (((((......)))))
 openknotscorematlab (((((......)))))
               arnie (((((......)))))


Test 3
               notes // Sequences currently used in EternaJS tests
           structure ((((((((...........)).))))))
            eternajs ((((((((...........)).))))))
 openknotscorematlab ((((((((...........)).))))))
               arnie ((((((((...........)).))))))


Test 4
               notes // Sequences currently used in EternaJS tests
           structure (((.((((((((..((((.(((((....)).)))..))))..))))((((...))))))))...)))
            eternajs (((.((((((((..((((.(((((....)).)))..))))..))))((((...))))))))...)))
 openknotscorematlab (((.((((((((..((((.(((((....)).)))..))))..))))((((...))))))))...)))
               arnie (((.((((((((..((((.(((((....)).)))..))))..))))((((...))))))))...)))


Test 5
               notes // Sequences currently used in EternaJS tests
           structure .(((((((((.((((....))))....((((....))))..))))..(((((......)))))...(((.((.(((((((((((((...((((..((((.....))))...)))).))))))))))))))).)))..)))))..
            eternajs .(((((((((.((((....))))....((((....))))..))))..(((((......)))))...(((.((.(((((((((((((...((((..((((.....))))...)))).))))))))))))))).)))..)))))..
 openknotscorematlab .(((((((((.((((....))))....((((....))))..))))..(((((......)))))...(((.((.(((((((((((((...((((..((((.....))))...)))).))))))))))))))).)))..)))))..
               arnie .(((((((((.((((....))))....((((....))))..))))..(((((......)))))...(((.((.(((((((((((((...((((..((((.....))))...)))).))))))))))))))).)))..)))))..


Test 6
               notes // Sequences currently used in EternaJS tests
           structure .....((((((.....))))))....(((((([[[[[[[[[[[........))))))]]]]]]]]]]]........(((((((....))))))).....................
            eternajs .....((((((.....))))))....(((((([[[[[[[[[[[........))))))]]]]]]]]]]]........(((((((....))))))).....................
 openknotscorematlab .....((((((.....))))))....(((((([[[[[[[[[[[........))))))]]]]]]]]]]]........(((((((....))))))).....................
               arnie .....((((((.....))))))....(((((([[[[[[[[[[[........))))))]]]]]]]]]]]........(((((((....))))))).....................


Test 7
               notes // All brackets should be converted to "()"
           structure (((.[[[.(((...))).]]].)))
            eternajs (((.(((.(((...))).))).)))
 openknotscorematlab (((.(((.(((...))).))).)))
               arnie (((.(((.(((...))).))).)))


Test 8
               notes // Internal stem should be "()", tests bulge as well
           structure (((..[[[.(((...))))))]]]
            eternajs (((..[[[.(((...))))))]]]
 openknotscorematlab (((..[[[.(((...))))))]]]
               arnie (((..[[[.(((...))))))]]]


Test 9
               notes // Test case for internal loop; the second highest order pseudoknot set should remain A, not switch to B
           structure ([{<a.aaa....)]}>AAA.A
            eternajs ([{<a.aaa....)]}>AAA.A
 openknotscorematlab ([{<a.aaa....)]}>AAA.A
               arnie ([{<a.aaa....)]}>AAA.A


Test 10
               notes // shapify-hfold output, needs bracket conversion
           structure .....[[[[[[.....]]]]]]....[[[[[[[[[[[....]]]]]]]]]]].......(((((((((((.[[[[[)))))))))))[[[[[[[[[[[[....]]]]].]]]]]]]....]]]]].[[[[[[[[[[[[[....]]]]]]]]]]]]].....................
            eternajs .....((((((.....))))))....(((((((((((....))))))))))).......(((((((((((.[[[[[)))))))))))((((((((((((....))))).)))))))....]]]]].(((((((((((((....))))))))))))).....................
 openknotscorematlab .....((((((.....))))))....(((((((((((....))))))))))).......(((((((((((.[[[[[)))))))))))((((((((((((....))))).)))))))....]]]]].(((((((((((((....))))))))))))).....................
               arnie .....((((((.....))))))....(((((((((((....))))))))))).......(((((((((((.[[[[[)))))))))))((((((((((((....))))).)))))))....]]]]].(((((((((((((....))))))))))))).....................


Test 11
               notes // shapeknots output, needs bracket conversion
           structure .....((((((.....))))))....(((((((((((....)))))))))))........((((((((((.<<<<<))))))))))(((((((((((((....))))).))))))))...>>>>>.(((((((((((((....))))))))))))).....................
            eternajs .....((((((.....))))))....(((((((((((....)))))))))))........((((((((((.[[[[[))))))))))(((((((((((((....))))).))))))))...]]]]].(((((((((((((....))))))))))))).....................
 openknotscorematlab .....((((((.....))))))....(((((((((((....)))))))))))........((((((((((.[[[[[))))))))))(((((((((((((....))))).))))))))...]]]]].(((((((((((((....))))))))))))).....................
               arnie .....((((((.....))))))....(((((((((((....)))))))))))........((((((((((.[[[[[))))))))))(((((((((((((....))))).))))))))...]]]]].(((((((((((((....))))))))))))).....................


Test 12
               notes // ribonanzanet ouput
           structure ((.(.(.((.(.....).)).)....(((((((((((....)))))))))))......)((((((((((...{{{{.)))))))))).(((((((((((....))))).))))))...)[}}}}..[[[[[[[[[[[[[)...]]]]]]]]]]]]]...].................
            eternajs ((.(.(.((.(.....).)).)....(((((((((((....)))))))))))......)((((((((((...[[[[.)))))))))).(((((((((((....))))).))))))...){]]]]..[[[[[[[[[[[[[)...]]]]]]]]]]]]]...}.................
 openknotscorematlab ((.(.(.((.(.....).)).)....(((((((((((....)))))))))))......)((((((((((...[[[[.)))))))))).(((((((((((....))))).))))))...){]]]]..[[[[[[[[[[[[[)...]]]]]]]]]]]]]...}.................
               arnie ((.(.(.((.(.....).)).)....(((((((((((....)))))))))))......)((((((((((...{{{{.)))))))))).(((((((((((....))))).))))))...)[}}}}..[[[[[[[[[[[[[)...]]]]]]]]]]]]]...].................
Warning: WARNING openknotscorematlab and arnie do not agree, but openknotscorematlab and eternajs do! 
> In check_dot_bracket_SCRIPT (line 55) 


Test 13
               notes // 6E8U: Mango-III fluorogenic RNA aptamer; test multiple pseudoknot levels and singlet pairs
           structure (((((((([.{)][..((.{]).)(.}).})))))))
            eternajs (((((((([.{)](..[[.{)].](.}).})))))))
 openknotscorematlab (((((((([.{)](..[[.{)].](.}).})))))))
               arnie (((((((([.{)](..[[.{)].](.}).})))))))


Test 14
               notes // 4QK9: Thermovirga lienii c-di-AMP riboswitch; test'-' character
           structure -(((((..(((((....)))))((((((((.((...-----((((((..(((((((..)))))))(((((({..[[[[[[[)))))))))))..).))).))))))))))))}.]]]]]]]...
            eternajs *throws error*
 openknotscorematlab .(((((..(((((....)))))((((((((.((........((((((..(((((((..)))))))(((((([..{{{{{{{)))))))))))..).))).))))))))))))].}}}}}}}...
               arnie .(((((..(((((....)))))((((((((.((........((((((..(((((((..)))))))(((((([..{{{{{{{)))))))))))..).))).))))))))))))].}}}}}}}... *warns ['-'] is ignored


Test 15
               notes // 3Q50: preQ1 riboswitch; bracket conversion and alpha characters
           structure ((((({<A[[[....))))).......}>]a]]
            eternajs ((((([{<aa<....))))).......]}>>AA
 openknotscorematlab ((((([{<aa<....))))).......]}>>AA
               arnie ((((([{<aa<....))))).......]}>>AA


Test 16
               notes // ribonanzanet prediction; bracket conversion and alpha characters
           structure .....(.((.(.....).)).)....(.((..({(<.{.a.a{........(..(((((.(.[....).)))).)...)).).}).((.(}...}...)>)).A.A...).)..............(((((((((((.(....).)))))))))))............]........
            eternajs .....(.((.(.....).)).)....(.((..([({.[.<.<[........(..(((((.(.a....).)))).)...)).).]).((.(]...]...)})).>.>...).)..............(((((((((((.(....).)))))))))))............A........
 openknotscorematlab .....(.((.(.....).)).)....(.((..([({.[.<.<[........(..(((((.(.a....).)))).)...)).).]).((.(]...]...)})).>.>...).)..............(((((((((((.(....).)))))))))))............A........
               arnie .....(.((.(.....).)).)....(.((..({(<.{.a.a{........(..(((((.(.[....).)))).)...)).).}).((.(}...}...)>)).A.A...).)..............(((((((((((.(....).)))))))))))............]........
Warning: WARNING openknotscorematlab and arnie do not agree, but openknotscorematlab and eternajs do! 
> In check_dot_bracket_SCRIPT (line 55) 


Test 17
               notes // ribonanzanet prediction
           structure ..((...((.........))......(((((((....))))))).(((((((....))))))).(((((((....))))))).(((((((((....)))))))))..(((((((....)))))))..(((((((....)))))))...[[[[[[[......[[[[[[[[......[[.....)).....((..........]]......]]]]]]]]......................))..............]]]]]]].....(((((((....)))))))......................
            eternajs ..((...((.........))......(((((((....))))))).(((((((....))))))).(((((((....))))))).(((((((((....)))))))))..(((((((....)))))))..(((((((....)))))))...[[[[[[[......[[[[[[[[......[[.....)).....((..........]]......]]]]]]]]......................))..............]]]]]]].....(((((((....)))))))......................
 openknotscorematlab ..((...((.........))......(((((((....))))))).(((((((....))))))).(((((((....))))))).(((((((((....)))))))))..(((((((....)))))))..(((((((....)))))))...[[[[[[[......[[[[[[[[......[[.....)).....((..........]]......]]]]]]]]......................))..............]]]]]]].....(((((((....)))))))......................
               arnie ..((...((.........))......(((((((....))))))).(((((((....))))))).(((((((....))))))).(((((((((....)))))))))..(((((((....)))))))..(((((((....)))))))...[[[[[[[......[[[[[[[[......[[.....)).....((..........]]......]]]]]]]]......................))..............]]]]]]].....(((((((....)))))))......................


Test 18
               notes // test case that previously failed in arnie
           structure ((((((((((((((((....)))))))((((.(((((((((((......)))))[[[[[[.)))))).))))(((((((((((((.((.(.....(......(((.(((((((((((.((((.(((((..]]]]]].))))).)))).))(((((((....)))))))(((((((((....)))))))(((((((....)))))))(((.(.((((((((((......)))))[[[[[[.))))).).)))))))))))))).)))..............)..).)).)))))))))))(((((((.(((((..]]]]]].))))).)))))))(((((((....))))))))))))))))))
            eternajs ((((((((((((((((....)))))))((((.(((((((((((......)))))[[[[[[.)))))).))))(((((((((((((.((.(.....(......(((.(((((((((((.((((.(((((..]]]]]].))))).)))).))(((((((....)))))))(((((((((....)))))))(((((((....)))))))(((.(.((((((((((......)))))[[[[[[.))))).).)))))))))))))).)))..............)..).)).)))))))))))(((((((.(((((..]]]]]].))))).)))))))(((((((....))))))))))))))))))
 openknotscorematlab ((((((((((((((((....)))))))((((.(((((((((((......)))))[[[[[[.)))))).))))(((((((((((((.((.(.....(......(((.(((((((((((.((((.(((((..]]]]]].))))).)))).))(((((((....)))))))(((((((((....)))))))(((((((....)))))))(((.(.((((((((((......)))))[[[[[[.))))).).)))))))))))))).)))..............)..).)).)))))))))))(((((((.(((((..]]]]]].))))).)))))))(((((((....))))))))))))))))))
               arnie ((((((((((((((((....)))))))((((.(((((((((((......)))))[[[[[[.)))))).))))(((((((((((((.((.(.....(......(((.(((((((((((.((((.(((((..]]]]]].))))).)))).))(((((((....)))))))(((((((((....)))))))(((((((....)))))))(((.(.((((((((((......)))))[[[[[[.))))).).)))))))))))))).)))..............)..).)).)))))))))))(((((((.(((((..]]]]]].))))).)))))))(((((((....))))))))))))))))))


Test 19
               notes // Some predictors will fail and return a string of sequence length with all x's
           structure xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
            eternajs *throws error*
 openknotscorematlab .............................................
               arnie * Exception:   "Unexpected character 'x'; did you mean to pass allow_pseudoknots=True?",


Test 20
               notes // Test space character
           structure (((....))) (((....)))
            eternajs *throws error*
 openknotscorematlab (((....))).(((....)))
               arnie (((....))).(((....))) *warns [' '] is ignored


Test 21
               notes // Extra closing bracket
           structure (((...))))
            eternajs *throws error*
 openknotscorematlab (((...))).
               arnie * Exception: "Unbalanced parenthesis notation: found closing character ')'"


Test 22
               notes // Only opening brackets
           structure (((
            eternajs *throws error*
 openknotscorematlab ...
               arnie * Exception: "Unbalanced parenthesis notation: found unclosed pair for character '('"


Test 23
               notes // Only closing brackets
           structure ...)))
            eternajs *throws error*
 openknotscorematlab ......
               arnie * Exception: "Unbalanced parenthesis notation: found closing character ')'"

[rhiju]

Fixing this issue is a matter of replacing the convert_structure_to_bps and convert_bps_to_structure functions and testing code -- will leave open but low priority until someone has bandwidth to do the tests.