Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Flaky test: test_bytes_bitarray_agree #237

Open
hardbyte opened this issue Sep 10, 2019 · 1 comment
Open

Flaky test: test_bytes_bitarray_agree #237

hardbyte opened this issue Sep 10, 2019 · 1 comment

Comments

@hardbyte
Copy link
Collaborator

Hypothesis thinks it has found a flaky test:

=================================== FAILURES ===================================
______________ test_bytes_bitarray_agree[dice_coefficient_python] ______________

sim_fun = <function dice_coefficient_python at 0x7f0c82f5b710>

    @given(strategies.data(), strategies.floats(min_value=0, max_value=1))
>   @pytest.mark.parametrize('sim_fun', SIM_FUNS)
    def test_bytes_bitarray_agree(sim_fun, data, threshold):

/project/tests/test_similarity_dice.py:289: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 
/opt/_internal/cpython-3.7.4/lib/python3.7/site-packages/hypothesis/core.py:599: in execute
    % (test.__name__, text_repr[0])
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 

self = <hypothesis.core.StateForActualGivenExecution object at 0x7f0c7e813e90>
message = 'Hypothesis test_bytes_bitarray_agree(sim_fun=dice_coefficient_python, data=data(...), threshold=0.11537689418342748) produces unreliable results: Falsified on the first call but did not on a subsequent one'

    def __flaky(self, message):
        if len(self.falsifying_examples) <= 1:
>           raise Flaky(message)
E           hypothesis.errors.Flaky: Hypothesis test_bytes_bitarray_agree(sim_fun=dice_coefficient_python, data=data(...), threshold=0.11537689418342748) produces unreliable results: Falsified on the first call but did not on a subsequent one

/opt/_internal/cpython-3.7.4/lib/python3.7/site-packages/hypothesis/core.py:758: Flaky
---------------------------------- Hypothesis ----------------------------------
Falsifying example: test_bytes_bitarray_agree(sim_fun=dice_coefficient_python, data=data(...), threshold=0.11537689418342748)
Draw 1: 343
Draw 2: [b'\x98[\xbd\xa0bSU\'\x1e\x19L\xf7#{G\xa8\'\xa9M\xf5\xce\xf6P\x8dMN*\xa9\x81\xc7\x088\xf6t5)\xa0\x9e\x0b7\x08\xe0]\x90%PUH\x16qR\x8f\xbf\xf6\xea\xd6\xd0wd\xce\x9bWr\xc1o"\x112\x19ms\x98\xbe\x9c\xd1\xc5\x84\xb2 [\xf3\xc0b/q\x9c\xf5\xef\x7f\x05X5\xb0\xf0x3H\xe3\xd2j\x80\xf5\xef\x12\x9b%J;\x92\x13\xb9\xe8u\x1fA\xac\xd3(\xbd\xf9\x12\xff\xf2\xfd\xc4\xf6\xf0\xe0\xab\xc5\xbd\xf7\x8f\xf5$\x10X}K\x89\x13\x91m\x08\x8e\xe1\x14r\xd5Q\x19\xef@k\xd6K\xc9\xa0\xf8.\xab\x88\xa1\xd2X\x7f\x8f@\xabQ\xe2 \xecJ6,\x0b\x9aP\x90\xd3\xcd\xef\xc9\xe1\x03\xd4^2\xcb\xf7\x04\x95\x9f\x84\xc7\xcc\xe3\x15\x1ei-G\x9b\xb0\xfb\xfe\x89l/\xae\xbe\xa6Te\xa6\xbc\xe9J\x9f<1i\x9d\xa8\x90hi\xcb?ut\x077+\xbd\xd6\x7f\xe8\xe3\x9b\xca\xdd\xee*\x9f\xbb\xbb\x82\xa5\xde\xa9\x03\x94\x97\xda\xbd\xd0P\xf7\xae\xe4\xfeS\x8a\xd0\xd1d\xe5\xd2\xf0\xb2\'9\xa5\xa1\x076\x0f=\x80n\xbd\x00\x91\\]\x18\xe4\xdb.\xaf\xc9\xa1@+x7\x1fB\t\xe5($\xba\x8e_x\x99\xea{w\xb3\x9b\x03\xde\x02\xc5\x89\xce\x1a\xae\x1d\xbe_\x01\x1cWvN5\xbe\xd6\xd7y?\xdf\x9a\xaf@\xbf\x84\xc9+\xf1\x9d\xcb*\xa2\xa0&\x07W\x13\xa2\x88Y\xcc\xa7\x80\xb0@(\x1b\x19\xb5\xf3B\x8a\x10\x0c\xfe_\tj\x9c\xd9\x93s\xb8#\x8a\xdej\x03\xb8\x13\xf9\xd9u\x05E\x02mC\xd2\x8a(\x14T\x96}v\x9f\xf3L\xf9\x18\xdc\x84~FE\x80JwZT\x02=\x02\x8c\xc5\xacsQC\x84\x1d\x84\x00>vIo#\xc8t/\xffZ\xa1\xda)W\xb5#ZA\xaa\xeb\x9b\xf9\xbbZ\x85\x122\x9c\xf6H\x92\xfa\xd2G\x1fF\x06\t:z\x995e\x15\x9e\xb2\r\xb7\x82\x1c\x1a\xd56\xd3\x8f\x0f.iA\xea\x86\x02\xc8\xecA\xb9kv\xbcMco@\xf7\xfa\xbd\x19T\xdfu\xbb\xe5\x16_\xab\xba7\x9c\xab\x8a\x97\xf8\xb6\x16\x8dsv0C\x00\x91\x1a\xec\x9c\x0c"G\xe0\x0c\x0f\x00\x13=\x9f\xe2\x0c\x19\x03\x92\xc5\xf5Q\xca\xdc\xe1F=3Zv\xac\x08!\xa5\xe3\x1f\x99\xb8\x02Q\x9d\x87\xc4\x9e\xbd\x1f"GV\xeb\xf0\xb1\xb9\xa9B\x85,&#\xde\x8a\xfc\x94\x8d\xad\x18X\x80T\x15\x9a\x12\xda[\x84\xb3m\x8e^\xe1\xca-V\x004\xa6\xcd)\xfaB\'\xa4\x85)\x1c\xef\xeb\xd2\x99\xfdU\xb3<\xeb6\xc0\xee\xde7\xee\x0e\xd2\xfcIf\xbd">\xdf\x89%\xd7\xaeCO\x85I\rA\xb2\x8et\x94\x1c\x8aK\xc6\x03^f\xe2\x14\ra\x83~\xb9\xdb\xae1^n\x96\xbe\xe4I<$\x07F\xb9T\xf7:jX\x0b\x84Z\xf5\xaa\xe7\xd5\xf87\x85\xc4\x97\x8bi\xbaU\xaa\xf4y\xf2\x15\xed\xb3\xa5N\xbb\x02hH]r\x90\x08>\t\x12\xb4\\>\x93\x1d3_\xca\x99\x96((Q\x96\xad\x94\x7f\xf3r\xfav\xc4w\xcc.\xcb*\x87\x05$A"/\xf7\xfcQ\xcc\xa9\x86\xafS(\x9c\xc5w\xf65\xd5\xd0v\xbc\xd5\x02\x8fS\x12\xeaeg-\x9dj\xfd\xee\x87\x0f\xf3\x91\t\xaf\xd3@\xe2\xca5\x1a\xb9\x9e\x92\xaa\x1d\xfb\xe7\xee\xcb[\xad\xf1\xab\xe2\xeen\xa4\x10\xf1\xb5\x87w_\x82\xd2*\x11\xce\xedv\x91`\n\xe7<\x97x\xd5\xd0&\xe7\x16J\xf7l\x95\xb5S>s\xe9\xefX\xec\nAV\xe0\x92\xd5A>\xae\xa8\x08-Jo\xb5\xc9\x03\xdd5}\xf3%\xd3\xc0\xf9\xd7\x00U\x85\xb5}\x13\xeap\x11f\x072\x04\x8d8\xb5k\x99\x06\xdd\x1fl\x8c\xa7\xc3\xd0""Zf\x80\xc1\xae\x9fn7t\xfeA\xe5\xb44\xec\xf7\x97\xd7\x82\xdaZ)\x9b\x06\x91\xc4\x08\x9c\xa4fN\x1e\xab(\x03\x00\x85\x8d-\x1b\x14.\xd1~\xeaDam_\x00B\x05S\x1f-\x85&\x95\x0c_2\xc0&\x0e\x8e=\xb5\x047l\x84\x96\xa6\xe4~\xbdh\x03_\x19~{\xfcx\x8e)\t[A\xc5\xad\x10K\xc1\xedh\x01\xf2\xd4\x14\x8d\xf71\xaf\xa9"\xed\xa6\xd6)F\xaa>U\x17=|>\'z\x96\xcb\x82\x99\xe4\xc4\xd7\x87A\x18\xd0\xce\xf3\xd0\xb3\xa6\xbdt\xa6\xe5\xe0\x19\x9ej\xea\xfa\xb4*\xf1@F\xa3\xfe:*\xb4\xe8W\x88\xf3\xb3\x93\x9eN\x13\xe6\xda\xe1\xea\xb6\xd8\xfcN\xe2\xb1E\xba\x08\x15=PZ=\xba\xa8F\xd6(\xc4n]\x99\xbe\xb0\x89\xeaY\n\xb7}J\xaa\xf0L\xc6\xac\xe5\xbco\xff\xbcG\xc4\xf0a\xf9\xbe\xff\xd9\x05\x01\x96\xb7W<\xb1r\xb2\xa7\x8e\'z\x1a\xbf\x9a\x8f\xd7f\xa2\x83+\x80\xf3\x91E\xea\xa0g&\xf7\x05\x19\xf8\xd7\xb0\x94@\x1f\xe5\xf4\xb4\xb8N}z\xfe\xb8\\I\xc5\x88\x80\xafS\x92T\xb7T\x06t\xc0n\xab\x85\xcb\xd3\x1e\xd9PT\xe5\xc9c\xbc\xbf\xc7\x06\x16\xb0\\\x1an\x81\x1aa$i\x83\x00\xe5\x81\xd0\x9c\x9a\x88$mr\xa5\x0b\x83?/R\x99\x13\xcb\x1a\x8a\xfb\xb0\x8a\xe57W1I\x98\xa9\xd8U\x1cR\xe9\xd0_\x16p\xaf#&\\\x8c\xfc!\xd8\x18\x07\x9a\xb5\x87\xf2\xfd\xa57L{\x00Z\xf6\xe1\xf7\xda9GI\x1a=O*Mv\x8e\x10\x00\xea}\xcd\xe3q|\xa4\xbd+[\xe8\xdf\x0225\xf6oG`\xd2\xbd@o\xfcX\xd1\x06i\x05R$\x86\xd5\x9c\xfay\xd7\xa49\xa7\xaf3\xa7\x9e\xccm\x1e\x04\xccz\xf9\x96W\x9c\x0e1\xa1K\xadPr\xab*\x87\x13\x8d,\xcb\xc7!\x90\xa9\r\xaeD\xc8h\x07\x8e\x0b\x92T\xc1%36\xd8\xef\xa9#"\x1c\xd0\x92\x83\xc4\x8112\x1f\'L\x8bGD\x0chV?\xd3a\x7f\x12\x1a\xda\xa5\xd5\xad\xd8>\xb47\xde\x9f\xb1\xc6\xaa\xff\xc4bu\x9b\t\x1eMP\xfe\xca\xbf$|\r J\xde\xd5\xa9\x9f\xdci\x85\x1b70b\x14w\xe0\xfcz\xc2\xf4\\V\xdb\x0f\xc6\xc8b\xdc\x9b\xb8\xec\xeba_&\xa3=\xf3\x0fM\xd0\xd3\x0eNnw\xe8\xa3\x95n;\x86\xb4\xed\xd4\xaf;\xbdT\xbbRr\xf3 \xaf4?\\\x05%\x84\xd6\xcd_\xf3\x10\xcd\xda\x15\xff\x06\xc5\xa9S\xef\xe4-/e\x95\xb0\xc9\xf7\xa9\xde\x04!<\xf6w\x7f7\xfeu\x9f\x84&#l\xdf\x06\xfa?\xbe\xcc\r \x10\x82\xbe\xb3\x92\xac\xa1\xc6\xc5\xb4\xdak\xc4\xd4U\n:[\xc4d&.}Z\xea\xf4\x0fK\x156\xc9\xc21P\xf8D\xdd\x92{R\x07\x0f\xa4\x9a!\n\x99H\x0f\xd4\xfbZ+\xfc8\xd6\x03\xb5\xf3\x8f%\xa7\x9f\xda\xc2K\xbf\x87e\x02\x80\x11\x00\x87R?\x87\xb6t\x95E\xe4~\x1fjke>\xed*\x15\x9f{fB\\\x82\x86GL\r:\xff\x90\x13\xd1\x07V\xbd\xb5\xf9\xf5,;\x07Z\x1e(x\xc8\x85Vl\xdc{Yn<+\x02%\x05\xe6x+]\xea\n<\x04\xfdT\x9a$ms~\xa5\xe3\xa2\x0f\x8e\xb7\xf6V\xb3k\x9a\x97\x9e=\xe4\x07\xdf\xc6\xab\xa5\xb2P\xc9Q\x18\x90\xdb\x1a.\x05\x185;7\x14j\x9a\xb9\x9f\x9a\xd6\x02\x08\xa4\x02\xae\x1f/^\xc3\x8a\xf0\xe0\n\xbd8\xb9\x00\xb1S\'\xb1\x12dsh\x03\x95*\xf1\x9e\xb4\x93\xa4\xab\x13\xbe\x9e\ra\xaf\x87\t\x90\x03\xa393\xb5~\xb7\x95k\xb4Xf\x7f\xbdQWM2w\xc5\xb0F*Yq\x9b\x98.Ib\x9a`\x066\xdbDz\x9b\xdf\x92d\xd7\xb9\xc8\x17\x15\xee\xf4Z\xf0A\xfb>\x17\x90\xdbf\xf25;\xe7FU$\xf6\x05\xc7\xe2\xf3K\xabo\x13U~\x91\x17#\xb6\xb9\t9\xa2M\xbb\xec.\xa4\xf2\xa4:\xe6\x86\xa6\xa5\xdb\x7f\xc2\x90\x00\x1d\xb6\x19\x19\x93\xc5\xe0\xfe\xb2\x8f\x0bdP\xb7\xb5P(N\x086/\x1a/\x10\x04\x19\x19 \xde\xfb\xbe\xd9\x81\x13<i\xb2\xfb\xb8VA\x88\x03\x14\xfb{:\x8bC\xc4q.|W;a\x83W\x95\xda|\x0f\x1b\x16\xe4X\xf8\xa7\xc2\xf7\xd0\x06\x00~cp6\xcalr\xd2\xea\xc1\xc6\x14*P\x83\x03u\x85\x08~\xa0\n\xec\x97:\x85\tm\xe5\x99=/\xd34\xa6\xca\xcf\xbf\x98\xe5\xf0\x00\x0ejR\xbd\xfb~w\x95%\x010:\x1e\xf2\x7f\x10t\xa7\xab\xc15<i\xedU`\xee\xd0Q%\x8b\x13\x9b\xc2\x8fo\x06\xa5N\'\xe5O(\x07\x02g\x1e\x0c\xc8\xfdh\xb25R\xf3\xf0\xee\xa2\xd9\x88L\x9ax\x03\x00\xba6\x95 \r.\x91*\xb3a\xd4\xa9\x0bp\xa1\x00\xdf\x83K\xe3\xbc\x11\x984\xf3E\xbb\xd1\xff\x82aq\xe2\xde0\x7f\xaa\xcdm\xe7\xd9\xc6b5\x87\xd8\xc1\x02\xee\xcd\x9c\x9d\x01\x0e[\x02\x14_\x8b\x19R\xad\x1c\xeb\x1fW38>\xe7MI\xcf\xec\x88\xef\x84D\xa2\x196\x82\xf1XC(\xf4\x16\x83&M\x7fv?b\xb4E\xdcL\xb0>\xa5\xef\xb9\x8aX\\\x10\x9cd\xcb\xf6X\xd5\xdb\xee!X\xdf(<\x0e}\x14\x17\x81\x07\xf2\x00\xb8a\xac\xda\x155\xaa\x83sR\x06\xfa\xc9iW\x15\xb7\xf3\xc3\x0c(\xb2\x9c\x9b\x07\x0b\x8d\x1a\x04\xf5\xc22-\xdc/\x95\x03\xfb$\xb1X\xfc;\xccG\xe9\x9a\\@M\xc65\xf9Q\x8e\xa6\xcd\xe8Z\xa9\xaelf\xa1WO\xab\xb4Q\xed\x00\xc9?\x89\xd3\x9e\xe3iH\x8f\xf0>\x8a\x14q\xd8\xb8\xad\xb0\xcb,\xe6\xc7\xb4h\xc3\x07O\x1c\xabz\xe8\xeaf\xbd\x0e_Tly0c\x90r\x1885"J|\xd2\xab\x1eT!\xf2\x1a\x06\xbb\x18\xcc\xc1\xb4\xfb\rI\\\xf2\xc7\xba\xdd-32\xe3\x0f.\xa2\xc3\x00x\xf8\x1eL\xe7:\xda>\xac\x08(K\x04*/\xc8\x8fh9b\x92\xae\x86b\xb2\xb3\xf8Sk|\xd2\x90+q}\x1c\\\xa7!\xf7\xe7\x0es\xe1\xf4\x93\xb4\xe9XyW\xf9\xbcb\xc8\xab\xdbp\xe3\x95\xff\xc1\xd5q\xeb\xac6\xa5\x18zd+\xe6T\xa33a\xf4\xe8!,"\xcf\xc3,/(\xc0)\x19m\xe6\x05f9p3\xf9\xf2_\xc8\x9e\xe9\xe9\xe8\xc3-\x9e\xf3\x009uy.o.\xd6o\xe8;\x918\x1dE~\xf0\x0e<\xfa!m:;R\xbaD\n\x0b\xcb\x8eU\x07[D\xc1z\xe34\xe9\x158)S\x9b\xa1\x16\xaaPs]\xc5\xc9$\xb3\xe3`I\xc3\nB\x94\x9f\xcf\x1a\xe22\x19\xb0\xa9\xf0*\xfcA.\xfc!c\xf6u\xe4Q\x0c*z\xffy\xf2V\xd9*`\xd6\xf5!\xcf)FB\xd0^\x9d\xc0`\xb2\x98S\x94W\xb47o\x07\xac\xf0\xd6\xd0(j\x8cv\xb2\x115\x18\x1a\xf8N\x14\x97\x7f\x7f\xa57\xe2\xa6\xe5\x12v\xff\xb0\x8a\xcaZ\x1b05\xc4\x0c\xea\xea\xef)Xi\xd0\xfa\xb9\xe8\x04\xd0\xa0\xd6\xe6\xd4\x9b\xe2\xfaJa(\xd5\xf8\x1d\x12"\xf4\x87\xe8\xfbHZ\x88\xeaY\x89B\x96\x99\x83\xff\x8a\xbfE>\x06\x88\xa5+\x1a\x8b^\xa8MB\xca\x8b\xd5\xf0\xed,rMp\xeb\xa46\xbc\x9a\xeb\x8e\xccI<\x81\xc33V\xf7\xb8\x920b \x89\xdf\x19\xef\xa9\x9b\xff\x8f\xd6J\xccGc\x11\t\xf8w\xac\xa1h_\xb0\xfe\x86\xa6`\xa6x\xd1eUd\xcbS\xf4\xf4J\x00\xd2D\xfe\xa2\xd6`h\xdb\\\x1bU\x81', b'\x1e\xe5m\xf97\x9c\rv\xb9;I\x01\xf0\xa2\xe3\xe7\xd9\xec"\x1d>H\xd1\xc2\xc1\xc3\x0bvD\xa6\xb6$\xb8\xe3h\xf0\xda<o\x8aUYz\x97\xff\'\xc0VHD\r\x8a\xa7\xe2|7zaa\x9d\xf7\xf5\xa1/\xbe\xf7\x9f\xe7<\xb3O\xe6sV Z\x16\xd3b\xee\x0cM\xc5T\x13\xf0\x84\x06\x06\xc4\xf5\x9ddO>\x1c\x1f\xf0\x8bxi\\\xa7\xdd\xb2U\xca\x92Q\xab\xb1\xbeYd*|B&x9"\x85\xb0\xcbe\xd0\xfc\x9eu\x1f\xc01\x1d\xc4\x87\xc1fm\x01\x9fQ\x89\x88\xe6\xbb\x14\x02O\xacjw\xfbB\xf0`\xf5\xe4\xea\x89\x1ap\xb8\x0b\xa6Ko=\xaf\xe8aZo\xc5\xef\xb7\xf2\xc8\xa8B\xce>`\xdb\xce\x19\x032\x87\x897N\xa2\xfdL\x7f\xaeV\xba\x13t}o\x0f\\}b\xa2\xe3e\x87\x9e\x94\x9a\x12\x0f\x06\xcd[\xb2*\xd2\x14\xd3\xf9.pLF\x80\x15\x9a\xb7\x8b\xdc`)H\x7f<\xa0\x8f\xdaN\xd0\xd9j\xd0B\xf0U \x00\xc9\xe9\xdd\x8a\xa4\x8b%V\x9a\x08\x8c\x13r\xfd-)D\n\x00\x1a\x89h\x9e\xd2W\x9c=\xae\x8bA\x13\x19r\xee\xf8-%\x9e^\xb7\xcf\xca\xdf\x94T\xe8\xc8\x06c\xc2\xa5\x01\x9f\x88\x02\xf91SE\xca ml\xc2\x87\xc4\xadr\x1d\x1a\x9a\xc2\xe0x\xb0v\xb9i\xe5:\x10\x00\x96\xaa\x88\x0bs\x18\xf7\xd9\'[\xfb\xf0%8YE\x96b%\xcd\x1b\xf7\x08\xef\xa1+<\xad\x04\xdd9\xee\xc2\xf1\x90W\xb6@{\x06X\x84\x94\xb7\x13E*?\xf5\xb3\xe9\xb4Wc\x94\x8a\x13\xaaw-\xcf\xed\x1f\x19\x97\x1b\xed\xaa\xbd\xe6\x06Fu\xcb\xb8EG\xe6K\r\xb1zT\x94i\xfcM\xfc\xae\x83)\x00"\x96X\x02\xe7k\xab\xbe\xc5M\'\xc8\xc4\x13\x90\xc3Qn\xb2`\xde4\x04\xffI\rjm\x18\xe1\x81\x10\x8d7\xfdj\x8f<oh\x97\xf7\xdd1R\xf3\x1d\xc1\xe4\x06\xf8\xe9\xb0\xe3P\x06Q\xd7M\xda\x83\x0e.\x00D\xcb\x92\xfe\xc8\xf9\xb58\xfb\x01f\xfd\xb8\x91\x11J\xc1\x91\xc4G\x88\x8b4\x11B\xaeb5\xe24\xe7=\xd1\xbc\x88\xab\x95\xf9\x9d\xf5R\t\xb34U\x81\xf0\x87c\\\xfb\x96r\xc9 \x10\x9215\x84=\x91P\x8f\xfbx\x8e\x07\x11,\xde\xf2\x9c\x1d\x9a\x10a\xb2F\xe6\x83\x95U\x82\xc5\xdd\x9b\x0bK\x8c \xa9\xf4e \xaf\xfel>\x916K\xc9\x8c\x1d{o\xfdv\xacU\xc1oc\xad\x1c}\x9cU\x0b\xb4\xc3Pubd\xe3B\xcd\xa6$\xbe\x85,V\xb1\xccEE\xa7\xd0\xd1\x91\n\xce^e\x00\x00\x1ch\x8c"a\xb8\xc2i\x97\x7f\x06\x8e\xbf\xca\xf1R\xa0\x80\x85\x1e\x936\xe1HN\xb8\xd4\xbb\x88r,*<_\x92\x11\x1ey\xcc\xb6\x05\x8d>\x82\xb8\x01\x14\xddz6\x866\x99\r\xc3AG\x96\x8d\x84\xbeXl\xfb\xcd\x0c\xf3\xa0Iw\xea1\xf5{:S\x98\xf1\x03cQI\xab\x99^\xe9\xc6\xda\x1e\x96\\\x99-\xc9\xc0\xda\x01\xad ?\xc1\xe0\xc2\x1e5\x04\x0c!\xc1T\xcd\xa9@\xef\xd3\x0c 1\x0f\x17S\xd3*\x81n\xdd\x8e\xa4\x9b\x8cP>\xf4\xcc\x82\x91\x1c\xfd\x8ac\xbd\x15Y\x03\xde\x80\xacK~+\xdd\xac\n\xfd\x06\xaa\x06\xcc\x9f\x083\xcc\xaf\x98i\xa8]z\xfcK\xaa\x08E\x1b\xfd\xce9\x8c\xfc\'+\xd3@\xa0\xe9M\x0c\xd6o\x98=!$\xf6\xc2\xbb\xdal\xec\xc9\x91\x05\x0b\xa2\xde\xb7\xf45\x99;qH\x87\xeb\xc0\xe6\xd6\xba\x8b\x86+\xed\xe2\xe8\x9a\xdf\xcc\x00\xc9\xeb\xda\x7fDB\xf8%\xba\xcaR\xfd\xa8S\xbf6d\x84\x01\xcd@\xec\xd2\x08\xafm\x83Nw\xd4"l\xb4\xae\xb5\x7f\x7fdO\x8e\xc0\xd1\x12 \n\xcdN\xeb?t\x84A\xec\x066\xac\xe7J\xafZ\xd6\xea\x10YX\xf7\xfdy2\x8b\xc2j}\xbe\xde8\xdf\x93\xe7\x828\xfc\xa3\xf6sO\xf1|o\x8a\x8dU\xde\x82\xb7\x94\xce\x8b\xc8\x8c\xb6pgi\xcf\xe7\x9bz\x93>q\xb0f\xbc\x16\\gM^\x02J\xd3\x8e\x9f&\xb7\xa7f\x81\xa9\xbb\xe9\x196\xffR&\x967\xb7\x16\x04\xf5\xa2f\x9e\x12X\xaam\xec,\xc3\x8dKOFa\x1c\xc5\x13\x8a\xba\xd9O\x95(\x83\x0b\x9e\x00)\xd8\x9a\x1d_5g$\xf5\x86\xcf\x01\xf4\x9e 3\xb8i\x8du\x01?U\x14\x1c\xec_\xefS&WLZ\xf3\x87\xdc\xee\xae\xa9\xba\xf8jh\xf3\r\xd0\xbcj\x80\xf0\x0e\x10\xc5\xdf&\xbb\xa06\xc9\x98\xdaPC\xedUj]%\xfe\xd3\x0b\x89\xfd\xeb\xc0\xfdSx\xf3\x91\xc9\xf2I\xc9\x89G\x9c\x9c@A\x1d\x98R_\xbf\x8a\xaa\xdd,\xab\xab\x82BG-nsO \xafm\x93\xb0\xcf\x9fN\xe9L)\xf0\x93\xfa\x00T\xfc c2\xe63\x19\xa1\xd8\x17\x95~\xca\xa0\x935\x92\xbc\x1c\x81\xb6\xffBd\x80n\xaf\x87W\x18\x15\xad\xd4\xf0\xf3\x06\x8f\x82\xed\xd9-\xf2\'\xc2\x80\x9c\x9b\xe1\xd9\xb7Sw\x9e\xe8\xe86T\x02\x88\xc8\x84s\x03\x00\x91^\xbbE\xd8\xa2=S\xc6\xcb\xca.<\xa0J"\x8f\x15\xe7\xa1vt7\\\x7f\xddV\xc3\xd4l{?\xabZf\xe3\xf0\xf8\x02\x08\xed\xc3\x83\x88\xab\xcc.\x92\x95\xac*D\x8b|8\xf5\x13C.\xd8\ra\x04$\x83\xeeQ\x83\x0e\xce\xed\x86\xb3\xdd\x11?\x95U\x19\xe4\x1fa\xf5\xdd\xb8\xfc\xcfbg\xe4\xa8+f\xe2x\x1c\x88\xcek\x0f\\Qrm\xb0\'\x80k\xc9\xd4\xf4~\xb7`\xab\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00']
Draw 3: []
Unreliable test timings! On an initial run, this test took 252.82ms, which exceeded the deadline of 200.00ms, but on a subsequent run it took 0.31 ms, which did not. If you expect this sort of variability in your test timings, consider turning deadlines off for this test by setting deadline=None.

https://dev.azure.com/data61/Anonlink/_build/results?buildId=429&view=logs&s=bf39c773-85af-5fea-d1a6-375ae44023a6&j=9c92728c-9aef-5183-d124-d450439ea053

@hardbyte hardbyte changed the title Possible flaky test Flaky test: test_bytes_bitarray_agree Sep 10, 2019
@wilko77
Copy link
Collaborator

wilko77 commented Sep 12, 2019

This is odd. The test usually runs in a fraction of a millisecond.
I cannot reproduce this behavior.

I'm not sure why this happened. Maybe we just wait and see if it happens again? Might have just been some very unusual resource constraints on the server (after all, that's shared hardware).

For the hypothesis part:
It's somewhat weird to have strict timing bounds on hardware you don't control.
We can disable the timings check by setting deadline to None. https://hypothesis.readthedocs.io/en/latest/settings.html?highlight=deadline#hypothesis.settings.deadline

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

2 participants