Low/Hi Clue Thresholds

Everything about Sudoku that doesn't fit in one of the other sections

LCT-18 Progress

Postby Mathimagics » Tue Feb 11, 2020 7:28 am

As we have found what we think are roughly 50% of the grids with an 18C puzzle, it seems worthwhile to do some sampling, in order to get a good idea where we are, and whether any bias is evident in the known results.

blue estimated ~968 million 18C grids, based on 100,000 samples using his Find18C function.

I tested 255,000 grids, 1000 in each catalog band, as follows:

  • count K18 = known 18C grids (ie what we have found so far)
  • count P19 = the pool of known 19C grids (ie no 18C found so far)
  • test 1000 of the 19C pool with Find18C
  • calculate E18 = estimated 18C grids for this band, using K18 + (P19 * N18 / 1000), where N18 is the number of sampled grids testing positive

The LCT catalog has 255 band sections. These have 1-1 correspondence with Band Index for sections 1 - 249. Then we have 6 composite sections: 250, 260, 270, 280, 290 and 300. Section 250 corresponds to band indices 250 to 259, ditto for 260, 270, 280 and 290. Section 300 all band indices from 300 to 416.

The bottom line:
Code: Select all
Total K18 =  478,364,693  ( 8.7% of ED grids)
Estd. E18 =  961,772,175  (17.6% of ED grids)

The per-band report suggests that we have found ~50% in each band, and this is a good thing. What is most interesting perhaps is the variation in 18C grids per band, which can range from ~5% to 50%.

The band entries include the number of known 17C grids (K17), and the ratio K17 / E18. There is some evidence of a correlation here, but I haven't looked too deeply at this yet.

"GT time" is grid-test time - the average time taken for each Find18C call in the band. Interestingly, this seems to suggest that bands with high 18C% cost significantly more than bands with low 18C%.

Full band report: Show
Code: Select all
Band       NGB          Known 18          Pool 19           Estimated 18       GT time    K17  K17:E18
------------------------------------------------------------------------------------------------------
   1   1,007,170      102,362 (10.2%)      903,683          155,732  (15.5%)     1.90s     13  0.0083%
   2  25,502,082    3,290,317 (12.9%)   22,206,501        5,666,412  (22.2%)     3.40s    408  0.0072%
   3  16,538,087    2,407,915 (14.6%)   14,129,116        3,947,988  (23.9%)     4.59s    281  0.0071%
   4   8,417,906    1,090,274 (13.0%)    7,326,127        1,874,169  (22.3%)     3.52s    129  0.0069%
   5  48,737,791    8,310,898 (17.1%)   40,424,747       14,374,610  (29.5%)     5.02s   1039  0.0072%
   6  96,229,042   16,267,889 (16.9%)   79,957,318       27,142,084  (28.2%)     5.12s   2146  0.0079%
   7  15,765,443    3,243,183 (20.6%)   12,521,799        5,572,237  (35.3%)     6.39s    393  0.0071%
   8   5,306,280      778,008 (14.7%)    4,528,083        1,285,153  (24.2%)     4.93s     76  0.0059%
   9   8,136,013    1,502,490 (18.5%)    6,632,941        2,596,925  (31.9%)     4.03s    263  0.0101%
  10  47,174,193    8,337,540 (17.7%)   38,834,786       14,939,453  (31.7%)     5.24s   1112  0.0074%
  11  46,788,396    9,962,659 (21.3%)   36,823,885       16,627,782  (35.5%)     5.77s   1590  0.0096%
  12  46,177,270    8,852,664 (19.2%)   37,322,968       15,085,599  (32.7%)     5.83s   1284  0.0085%
  13  15,340,394    3,013,423 (19.6%)   12,326,447        4,997,981  (32.6%)     5.56s    433  0.0087%
  14  45,397,270    9,158,961 (20.2%)   36,236,826       16,768,694  (36.9%)     5.86s   1181  0.0070%
  15  45,600,758    9,164,004 (20.1%)   36,435,170       16,268,861  (35.7%)     5.66s   1368  0.0084%
  16   1,631,576      238,063 (14.6%)    1,393,413          461,009  (28.3%)     5.65s     18  0.0039%
  17  15,093,541    3,461,077 (22.9%)   11,631,896        6,008,462  (39.8%)     5.47s    541  0.0090%
  18  45,101,600    6,813,014 (15.1%)   38,286,495       11,751,972  (26.1%)     5.25s    761  0.0065%
  19  44,832,423    7,614,971 (17.0%)   37,215,817       12,936,833  (28.9%)     5.35s    909  0.0070%
  20  88,782,526   17,601,970 (19.8%)   71,177,703       30,698,668  (34.6%)     5.86s   2394  0.0078%
  21  44,036,568    6,617,852 (15.0%)   37,416,461       12,080,655  (27.4%)     4.91s    815  0.0067%
  22  85,627,559   16,621,394 (19.4%)   69,003,636       31,043,153  (36.3%)     6.20s   2080  0.0067%
  23  42,711,122    7,125,933 (16.7%)   35,583,913       12,997,278  (30.4%)     6.05s    819  0.0063%
  24  85,102,373   15,873,053 (18.7%)   69,226,893       28,680,029  (33.7%)     6.07s   1957  0.0068%
  25  41,847,039    8,244,467 (19.7%)   33,601,433       15,199,964  (36.3%)     6.09s   1040  0.0068%
  26  41,335,391    8,731,143 (21.1%)   32,603,064       15,512,580  (37.5%)     6.21s   1120  0.0072%
  27   4,455,504      728,265 (16.3%)    3,727,112        1,335,784  (30.0%)     6.76s     85  0.0064%
  28  41,102,914    7,436,228 (18.1%)   33,665,625       14,034,690  (34.1%)     6.61s    860  0.0061%
  29   4,591,391    1,000,708 (21.8%)    3,590,548        1,827,360  (39.8%)     6.89s    132  0.0072%
  30   4,664,261      753,741 (16.2%)    3,910,358        1,426,322  (30.6%)     5.73s     86  0.0060%
  31  13,606,209    2,929,494 (21.5%)   10,676,310        5,342,340  (39.3%)     7.02s    389  0.0073%
  32  40,697,707    1,283,160 ( 3.2%)   39,408,903        2,701,880  ( 6.6%)     2.96s     51  0.0019%
  33  80,468,663    1,867,043 ( 2.3%)   78,561,118        3,909,632  ( 4.9%)     1.97s     51  0.0013%
  34  79,175,610    4,163,781 ( 5.3%)   75,009,901        9,114,434  (11.5%)     3.95s    230  0.0025%
  35  77,979,783    3,471,663 ( 4.5%)   74,502,313        7,196,778  ( 9.2%)     3.26s    179  0.0025%
  36  38,536,298    1,690,729 ( 4.4%)   36,844,178        4,048,756  (10.5%)     3.40s     91  0.0022%
  37  76,146,967    3,884,785 ( 5.1%)   72,260,430        7,497,806  ( 9.8%)     4.06s    216  0.0029%
  38  74,505,665    4,086,801 ( 5.5%)   70,416,782        9,227,226  (12.4%)     4.04s    250  0.0027%
  39  74,154,564    3,060,677 ( 4.1%)   71,086,509        5,548,704  ( 7.5%)     3.14s    175  0.0032%
  40  72,171,447    5,459,725 ( 7.6%)   66,710,868       11,263,570  (15.6%)     4.91s    353  0.0031%
  41  36,053,455    2,446,778 ( 6.8%)   33,605,054        5,168,787  (14.3%)     4.01s    161  0.0031%
  42  70,552,290    2,899,282 ( 4.1%)   67,649,889        6,623,750  ( 9.4%)     3.50s    147  0.0022%
  43  69,437,575    3,780,923 ( 5.4%)   65,654,682        9,427,225  (13.6%)     4.15s    237  0.0025%
  44  67,978,951    2,979,974 ( 4.4%)   64,995,083        6,489,708  ( 9.5%)     3.88s    135  0.0021%
  45  33,904,021      920,656 ( 2.7%)   32,973,932        1,942,847  ( 5.7%)     2.34s     38  0.0020%
  46  66,337,407    2,598,410 ( 3.9%)   63,734,013        5,848,844  ( 8.8%)     3.36s    116  0.0020%
  47  65,880,161    2,975,959 ( 4.5%)   62,900,691        6,120,993  ( 9.3%)     3.57s    147  0.0024%
  48  64,996,381    1,520,203 ( 2.3%)   63,449,913        3,360,250  ( 5.2%)     1.96s     66  0.0020%
  49  63,898,062    2,774,967 ( 4.3%)   61,119,455        4,853,028  ( 7.6%)     3.40s    163  0.0034%
  50  62,192,220    5,163,880 ( 8.3%)   57,027,752       11,094,766  (17.8%)     5.44s    363  0.0033%
  51  61,691,475    3,218,501 ( 5.2%)   58,471,028        6,609,820  (10.7%)     3.82s    181  0.0027%
  52  60,192,385    3,540,871 ( 5.9%)   56,650,372        7,393,096  (12.3%)     4.21s    208  0.0028%
  53  29,966,384    2,254,231 ( 7.5%)   27,711,723        4,443,457  (14.8%)     4.80s    159  0.0036%
  54  29,734,495      777,785 ( 2.6%)   28,951,747        1,530,530  ( 5.1%)     2.46s     41  0.0027%
  55  58,731,513    3,515,130 ( 6.0%)   55,215,222        8,760,576  (14.9%)     4.22s    228  0.0026%
  56  57,263,818    4,502,398 ( 7.9%)   52,760,567        9,461,891  (16.5%)     5.10s    370  0.0039%
  57  57,033,275    2,922,722 ( 5.1%)   54,108,105        6,493,856  (11.4%)     3.66s    182  0.0028%
  58  55,394,556    2,795,054 ( 5.0%)   52,597,498        6,108,696  (11.0%)     4.01s    153  0.0025%
  59  55,022,930    2,469,941 ( 4.5%)   52,550,000        4,729,591  ( 8.6%)     3.59s    143  0.0030%
  60  54,018,514    3,754,963 ( 7.0%)   50,262,280        8,781,191  (16.3%)     4.21s    243  0.0028%
  61  52,964,870    4,185,083 ( 7.9%)   48,779,103        9,745,901  (18.4%)     4.89s    337  0.0035%
  62  52,242,492    2,633,309 ( 5.0%)   49,607,007        5,560,122  (10.6%)     3.65s    139  0.0025%
  63  51,245,000    2,977,640 ( 5.8%)   48,266,357        6,838,948  (13.3%)     4.42s    204  0.0030%
  64  50,540,742    3,001,591 ( 5.9%)   47,538,299        6,471,887  (12.8%)     4.30s    206  0.0032%
  65  49,644,127    4,313,629 ( 8.7%)   45,329,977        9,118,606  (18.4%)     5.22s    324  0.0036%
  66  49,190,978    2,514,578 ( 5.1%)   46,672,987        4,801,554  ( 9.8%)     3.99s    121  0.0025%
  67  24,077,300      720,444 ( 3.0%)   23,351,454        1,514,393  ( 6.3%)     2.52s     41  0.0027%
  68  47,978,806    3,605,114 ( 7.5%)   44,372,443        7,066,164  (14.7%)     5.21s    278  0.0039%
  69  47,059,527    2,398,730 ( 5.1%)   44,658,688        4,988,934  (10.6%)     3.89s    137  0.0027%
  70  46,231,581    3,560,275 ( 7.7%)   42,670,558        7,400,625  (16.0%)     5.10s    254  0.0034%
  71  22,715,795    1,154,727 ( 5.1%)   21,559,943        2,707,043  (11.9%)     3.80s     79  0.0029%
  72  44,778,204    1,640,145 ( 3.7%)   43,132,463        4,012,430  ( 9.0%)     2.64s     87  0.0022%
  73  44,053,469    2,672,676 ( 6.1%)   41,379,076        5,983,002  (13.6%)     4.37s    189  0.0032%
  74  43,401,907    1,245,434 ( 2.9%)   42,148,090        2,973,505  ( 6.9%)     2.70s     54  0.0018%
  75  21,398,806      918,417 ( 4.3%)   20,479,312        2,188,134  (10.2%)     3.93s     46  0.0021%
  76  42,061,440    2,720,648 ( 6.5%)   39,339,911        5,985,860  (14.2%)     4.83s    171  0.0029%
  77  41,316,125    2,693,084 ( 6.5%)   38,622,215        5,589,750  (13.5%)     4.20s    191  0.0034%
  78  40,571,245    2,469,303 ( 6.1%)   38,100,974        5,936,492  (14.6%)     4.24s    143  0.0024%
  79  40,282,447    2,838,145 ( 7.0%)   37,443,082        5,983,363  (14.9%)     4.71s    178  0.0030%
  80  39,233,218    2,406,689 ( 6.1%)   36,825,519        5,500,032  (14.0%)     4.29s    182  0.0033%
  81  38,522,319    2,194,958 ( 5.7%)   36,326,235        4,810,447  (12.5%)     3.98s    176  0.0037%
  82  37,881,913    1,924,611 ( 5.1%)   35,955,613        4,261,725  (11.3%)     3.85s    126  0.0030%
  83  37,460,193      805,644 ( 2.2%)   36,638,356        2,051,348  ( 5.5%)     1.65s     38  0.0019%
  84  18,460,204      632,388 ( 3.4%)   17,825,090        1,487,992  ( 8.1%)     3.06s     28  0.0019%
  85  36,127,803    3,107,500 ( 8.6%)   33,019,814        7,102,897  (19.7%)     5.37s    265  0.0037%
  86  35,584,769    2,506,665 ( 7.0%)   33,077,510        5,880,571  (16.5%)     4.48s    203  0.0035%
  87  34,821,531    1,959,524 ( 5.6%)   32,861,080        4,489,827  (12.9%)     4.34s    132  0.0029%
  88  34,334,716    1,864,124 ( 5.4%)   32,469,300        3,974,628  (11.6%)     4.25s    109  0.0027%
  89  33,769,162    2,942,348 ( 8.7%)   30,826,350        6,271,593  (18.6%)     5.63s    239  0.0038%
  90  33,174,401    1,889,146 ( 5.7%)   31,284,057        3,828,757  (11.5%)     4.09s    118  0.0031%
  91  32,520,037    1,804,092 ( 5.5%)   30,714,702        3,861,977  (11.9%)     4.31s    113  0.0029%
  92  31,945,541    1,603,486 ( 5.0%)   30,340,311        4,000,370  (12.5%)     3.92s    102  0.0025%
  93  31,221,072    1,142,453 ( 3.7%)   30,074,758        2,586,041  ( 8.3%)     2.93s     55  0.0021%
  94  30,579,410    1,419,300 ( 4.6%)   29,158,811        3,227,146  (10.6%)     4.25s     77  0.0024%
  95  29,977,732    1,670,045 ( 5.6%)   28,306,825        3,509,988  (11.7%)     4.28s     99  0.0028%
  96  29,390,061    2,024,501 ( 6.9%)   27,365,001        4,213,701  (14.3%)     4.91s    179  0.0042%
  97  14,518,368      673,081 ( 4.6%)   13,844,643        1,628,361  (11.2%)     4.16s     33  0.0020%
  98  14,372,444      674,383 ( 4.7%)   13,697,306        1,646,891  (11.5%)     4.25s     36  0.0022%
  99  28,268,021    1,961,040 ( 6.9%)   26,306,479        4,460,155  (15.8%)     4.85s    138  0.0031%
 100  27,849,953      776,104 ( 2.8%)   27,069,145        1,642,316  ( 5.9%)     2.73s     47  0.0029%
 101  13,768,854      358,670 ( 2.6%)   13,406,511          948,556  ( 6.9%)     2.70s     20  0.0021%
 102  26,929,453    1,480,479 ( 5.5%)   25,448,506        3,210,977  (11.9%)     4.20s     77  0.0024%
 103  26,382,806    1,627,257 ( 6.2%)   24,755,148        3,954,240  (15.0%)     4.97s    102  0.0026%
 104   4,359,314      106,790 ( 2.4%)    4,251,978          204,585  ( 4.7%)     2.84s      5  0.0024%
 105  25,997,296      553,229 ( 2.1%)   25,438,557        1,392,701  ( 5.4%)     1.74s     17  0.0012%
 106  25,467,197    2,046,052 ( 8.0%)   23,420,822        5,187,583  (20.4%)     5.05s    158  0.0030%
 107  24,888,528    2,594,474 (10.4%)   22,293,793        5,492,667  (22.1%)     5.36s    212  0.0039%
 108  24,423,300    1,549,264 ( 6.3%)   22,873,339        3,081,777  (12.6%)     4.87s    115  0.0037%
 109  23,988,326    1,060,926 ( 4.4%)   22,926,252        2,344,796  ( 9.8%)     3.64s     77  0.0033%
 110  23,541,927    1,516,691 ( 6.4%)   22,024,732        3,675,114  (15.6%)     5.16s    101  0.0027%
 111  23,070,530    1,725,617 ( 7.5%)   21,344,524        3,902,758  (16.9%)     5.19s    119  0.0030%
 112  22,609,142    1,439,500 ( 6.4%)   21,169,156        3,090,694  (13.7%)     5.06s     89  0.0029%
 113  22,100,458    1,715,604 ( 7.8%)   20,384,548        3,570,597  (16.2%)     5.36s    135  0.0038%
 114  10,879,514      646,214 ( 5.9%)   10,233,086        1,352,296  (12.4%)     4.83s     54  0.0040%
 115  21,378,062      986,530 ( 4.6%)   20,390,645        2,209,968  (10.3%)     3.90s     70  0.0032%
 116  20,985,174      923,687 ( 4.4%)   20,060,006        2,127,287  (10.1%)     3.37s     65  0.0031%
 117  20,674,972    2,283,050 (11.0%)   18,391,652        4,949,839  (23.9%)     4.69s    219  0.0044%
 118  20,107,116    2,407,570 (12.0%)   17,699,216        4,938,558  (24.6%)     5.60s    299  0.0061%
 119  19,854,606    1,012,689 ( 5.1%)   18,841,219        2,199,685  (11.1%)     4.48s     68  0.0031%
 120   9,732,970    1,254,580 (12.9%)    8,478,241        2,661,968  (27.4%)     7.04s    142  0.0053%
 121  19,084,488    2,241,347 (11.7%)   16,842,865        5,306,748  (27.8%)     6.62s    250  0.0047%
 122   9,491,325      334,076 ( 3.5%)    9,156,443          801,054  ( 8.4%)     3.35s     21  0.0026%
 123  18,532,281    1,431,368 ( 7.7%)   17,100,657        3,192,735  (17.2%)     5.79s     98  0.0031%
 124   9,142,485      546,994 ( 6.0%)    8,595,187        1,303,370  (14.3%)     4.35s     28  0.0021%
 125  18,075,269    1,958,007 (10.8%)   16,116,996        4,520,609  (25.0%)     6.36s    192  0.0042%
 126  17,675,306    1,479,294 ( 8.4%)   16,195,762        3,293,219  (18.6%)     5.46s    113  0.0034%
 127  17,545,752    1,134,197 ( 6.5%)   16,410,992        2,660,419  (15.2%)     4.71s     75  0.0028%
 128  16,990,098    1,505,277 ( 8.9%)   15,484,546        3,487,298  (20.5%)     6.38s    110  0.0032%
 129   8,369,473      461,602 ( 5.5%)    7,907,647        1,078,398  (12.9%)     4.98s     27  0.0025%
 130  16,406,705    1,927,427 (11.7%)   14,479,045        4,258,553  (26.0%)     6.63s    196  0.0046%
 131  16,189,996    1,118,886 ( 6.9%)   15,070,707        2,354,683  (14.5%)     5.17s     61  0.0026%
 132  15,791,769      862,534 ( 5.5%)   14,928,869        1,877,697  (11.9%)     4.87s     66  0.0035%
 133   2,613,345       62,626 ( 2.4%)    2,550,237          136,582  ( 5.2%)     3.09s      1  0.0007%
 134  15,362,664    1,749,834 (11.4%)   13,612,613        4,104,816  (26.7%)     6.29s    168  0.0041%
 135  15,272,476      973,428 ( 6.4%)   14,298,483        2,203,097  (14.4%)     4.85s     73  0.0033%
 136  14,918,036    1,009,141 ( 6.8%)   13,908,358        2,497,335  (16.7%)     4.77s     67  0.0027%
 137   7,254,450      374,522 ( 5.2%)    6,879,664          890,496  (12.3%)     4.68s     21  0.0024%
 138  14,383,075    1,469,623 (10.2%)   12,913,183        2,993,378  (20.8%)     5.53s    150  0.0050%
 139   7,011,714      823,238 (11.7%)    6,188,391        1,683,424  (24.0%)     6.47s     71  0.0042%
 140  13,738,161      706,192 ( 5.1%)   13,031,182        1,592,312  (11.6%)     3.90s     39  0.0024%
 141  13,445,152    1,301,180 ( 9.7%)   12,143,783        2,819,152  (21.0%)     6.68s     95  0.0034%
 142   6,593,805      700,723 (10.6%)    5,892,982        1,661,279  (25.2%)     7.08s     64  0.0039%
 143  12,918,117    1,466,447 (11.4%)   11,451,516        3,207,077  (24.8%)     7.75s    124  0.0039%
 144   6,403,269      588,879 ( 9.2%)    5,814,281        1,321,478  (20.6%)     6.61s     44  0.0033%
 145  12,568,136    1,635,113 (13.0%)   10,932,826        3,810,745  (30.3%)     7.39s    176  0.0046%
 146  12,354,720    1,324,533 (10.7%)   11,029,950        2,868,726  (23.2%)     7.41s    109  0.0038%
 147  12,036,469    1,204,290 (10.0%)   10,832,032        2,558,294  (21.3%)     7.51s     95  0.0037%
 148   5,931,073      383,504 ( 6.5%)    5,547,313          882,762  (14.9%)     5.30s     25  0.0028%
 149   5,949,060      402,344 ( 6.8%)    5,546,439          990,266  (16.6%)     5.77s     29  0.0029%
 150  11,577,852    1,150,011 ( 9.9%)   10,427,678        2,620,313  (22.6%)     7.25s     83  0.0032%
 151  11,435,633      865,019 ( 7.6%)   10,570,270        1,837,483  (16.1%)     5.66s     56  0.0030%
 152  11,155,974      653,313 ( 5.9%)   10,501,976        1,482,969  (13.3%)     3.90s     42  0.0028%
 153  10,671,486    1,376,766 (12.9%)    9,294,550        3,272,854  (30.7%)     7.06s    154  0.0047%
 154  10,525,735    1,325,606 (12.6%)    9,199,988        2,871,203  (27.3%)     7.65s    114  0.0040%
 155  10,188,634    1,641,785 (16.1%)    8,546,678        3,428,040  (33.6%)     8.24s    164  0.0048%
 156  10,059,617    1,046,110 (10.4%)    9,013,368        2,389,101  (23.7%)     7.09s     86  0.0036%
 157   9,805,813    1,119,211 (11.4%)    8,686,461        2,474,299  (25.2%)     6.52s    106  0.0043%
 158   9,629,320      901,716 ( 9.4%)    8,727,445        1,949,009  (20.2%)     7.07s     55  0.0028%
 159   9,490,222    1,011,741 (10.7%)    8,478,323        2,105,444  (22.2%)     7.12s     92  0.0044%
 160   9,280,124      672,569 ( 7.2%)    8,607,156        1,550,498  (16.7%)     5.02s     30  0.0019%
 161   8,844,112      954,447 (10.8%)    7,889,526        2,169,434  (24.5%)     6.47s     70  0.0032%
 162   8,628,099    1,252,150 (14.5%)    7,375,827        2,572,423  (29.8%)     8.09s    110  0.0043%
 163   8,429,593      936,870 (11.1%)    7,492,593        2,068,251  (24.5%)     6.81s     85  0.0041%
 164   8,227,144      859,823 (10.5%)    7,367,211        1,862,766  (22.6%)     6.93s     56  0.0030%
 165   7,998,287    1,305,236 (16.3%)    6,692,908        2,556,809  (32.0%)     8.70s    140  0.0055%
 166   7,813,413      907,560 (11.6%)    6,905,738        2,088,441  (26.7%)     7.16s     79  0.0038%
 167   3,839,149      408,726 (10.6%)    3,430,332          981,591  (25.6%)     6.28s     47  0.0048%
 168   7,548,052    1,322,554 (17.5%)    6,225,324        2,673,449  (35.4%)     7.92s    171  0.0064%
 169   7,349,287    1,158,442 (15.8%)    6,190,682        2,408,959  (32.8%)     7.65s    154  0.0064%
 170   7,146,807    1,155,601 (16.2%)    5,991,102        2,431,705  (34.0%)     8.23s     98  0.0040%
 171   6,993,422      532,938 ( 7.6%)    6,460,300        1,088,523  (15.6%)     4.70s     44  0.0040%
 172   6,828,801      719,064 (10.5%)    6,109,639        1,684,386  (24.7%)     6.88s     61  0.0036%
 173   6,674,911      787,916 (11.8%)    5,886,886        1,741,591  (26.1%)     7.41s     67  0.0038%
 174   6,476,248      525,066 ( 8.1%)    5,951,058        1,209,437  (18.7%)     6.58s     37  0.0031%
 175   3,166,465      319,233 (10.1%)    2,847,166          723,530  (22.8%)     6.24s     33  0.0046%
 176   6,205,963      940,604 (15.2%)    5,265,248        2,067,367  (33.3%)     8.24s     98  0.0047%
 177   6,040,631      973,198 (16.1%)    5,067,310        2,068,832  (34.2%)     7.63s    115  0.0056%
 178   5,882,934      799,224 (13.6%)    5,083,618        1,617,686  (27.5%)     7.11s     80  0.0049%
 179   5,812,748      898,163 (15.5%)    4,914,484        1,841,743  (31.7%)     7.49s     88  0.0048%
 180   5,615,082      706,783 (12.6%)    4,908,217        1,560,812  (27.8%)     7.68s     66  0.0042%
 181   5,461,387      665,782 (12.2%)    4,795,528        1,509,794  (27.6%)     7.33s     62  0.0041%
 182   5,367,414      436,054 ( 8.1%)    4,931,230        1,003,145  (18.7%)     5.96s     35  0.0035%
 183   5,222,068      218,250 ( 4.2%)    5,003,248          513,441  ( 9.8%)     3.53s     12  0.0023%
 184   5,072,949      686,079 (13.5%)    4,386,762        1,414,281  (27.9%)     7.17s     84  0.0059%
 185   4,918,277      806,513 (16.4%)    4,111,648        1,794,296  (36.5%)     7.95s    110  0.0061%
 186   4,778,878      528,659 (11.1%)    4,250,130        1,144,927  (24.0%)     6.26s     47  0.0041%
 187   4,641,003      384,009 ( 8.3%)    4,256,867          869,291  (18.7%)     4.96s     38  0.0044%
 188   4,539,624      379,319 ( 8.4%)    4,160,186          874,381  (19.3%)     5.94s     34  0.0039%
 189   4,407,284      363,626 ( 8.3%)    4,043,551          848,852  (19.3%)     6.11s     28  0.0033%
 190   2,186,822      218,907 (10.0%)    1,967,841          496,372  (22.7%)     6.91s     19  0.0038%
 191   4,220,821      377,160 ( 8.9%)    3,843,582          811,484  (19.2%)     6.30s     30  0.0037%
 192   4,158,097      339,335 ( 8.2%)    3,818,654          740,293  (17.8%)     5.15s     21  0.0028%
 193   4,070,158      283,462 ( 7.0%)    3,786,518          707,552  (17.4%)     5.14s     17  0.0024%
 194   3,857,103      481,491 (12.5%)    3,375,565        1,045,210  (27.1%)     7.89s     37  0.0035%
 195   3,785,628      323,229 ( 8.5%)    3,462,311          718,327  (19.0%)     6.31s     19  0.0026%
 196   3,693,474      298,084 ( 8.1%)    3,395,264          691,934  (18.7%)     4.95s     27  0.0039%
 197   3,555,681      527,692 (14.8%)    3,027,900        1,085,383  (30.5%)     7.92s     74  0.0068%
 198   3,453,089      444,575 (12.9%)    3,008,452          916,901  (26.6%)     7.38s     32  0.0035%
 199   3,345,667      624,739 (18.7%)    2,720,840        1,305,629  (39.0%)     8.33s     80  0.0061%
 200   3,252,227      553,806 (17.0%)    2,698,341        1,177,122  (36.2%)     8.11s     66  0.0056%
 201   3,165,254      581,268 (18.4%)    2,583,902        1,194,265  (37.7%)     8.40s     82  0.0069%
 202   3,064,062      357,476 (11.7%)    2,706,510          763,452  (24.9%)     6.81s     28  0.0037%
 203   2,966,309      373,164 (12.6%)    2,593,089          817,026  (27.5%)     6.77s     34  0.0042%
 204   2,932,890      370,632 (12.6%)    2,562,202          808,768  (27.6%)     7.27s     33  0.0041%
 205   2,841,380      342,124 (12.0%)    2,499,195          767,412  (27.0%)     6.88s     36  0.0047%
 206   2,701,985      517,954 (19.2%)    2,183,958        1,107,622  (41.0%)     7.98s     70  0.0063%
 207   2,628,788      470,484 (17.9%)    2,158,231          963,053  (36.6%)     8.28s     71  0.0074%
 208   2,532,198      309,210 (12.2%)    2,222,944          716,008  (28.3%)     7.56s     22  0.0031%
 209   2,443,960      438,640 (17.9%)    2,005,273          883,810  (36.2%)     8.72s     43  0.0049%
 210   1,243,959      191,871 (15.4%)    1,052,063          382,294  (30.7%)     7.24s     22  0.0058%
 211   2,317,171      458,163 (19.8%)    1,858,952          966,673  (41.7%)     8.18s     54  0.0056%
 212   2,357,854      378,362 (16.0%)    1,979,429          798,841  (33.9%)     7.76s     52  0.0065%
 213   1,137,589       84,372 ( 7.4%)    1,053,164          197,286  (17.3%)     5.35s      5  0.0025%
 214   1,083,228       92,020 ( 8.5%)      991,165          232,906  (21.5%)     6.48s     11  0.0047%
 215   2,183,311      345,527 (15.8%)    1,837,728          760,853  (34.8%)     7.44s     45  0.0059%
 216   2,244,753      311,923 (13.9%)    1,932,778          659,823  (29.4%)     7.39s     38  0.0058%
 217   2,143,677      149,699 ( 7.0%)    1,993,838          321,169  (15.0%)     5.07s     15  0.0047%
 218   2,100,798      144,399 ( 6.9%)    1,956,108          336,097  (16.0%)     4.63s      7  0.0021%
 219   1,007,465       50,583 ( 5.0%)      956,718          121,451  (12.1%)     3.17s      4  0.0033%
 220   1,970,315      138,593 ( 7.0%)    1,831,558          275,959  (14.0%)     4.58s     11  0.0040%
 221   1,841,722      193,786 (10.5%)    1,647,879          396,475  (21.5%)     6.08s     14  0.0035%
 222   1,873,099      176,477 ( 9.4%)    1,696,506          351,217  (18.8%)     5.26s     17  0.0048%
 223   1,772,301      139,764 ( 7.9%)    1,632,393          298,106  (16.8%)     4.58s     12  0.0040%
 224     347,777        8,518 ( 2.4%)      338,076           20,374  ( 5.9%)     2.55s      0  0.0000%
 225   1,968,442      110,730 ( 5.6%)    1,857,312          238,884  (12.1%)     3.67s      6  0.0025%
 226   1,677,704      126,339 ( 7.5%)    1,551,319          273,714  (16.3%)     4.74s      9  0.0033%
 227   1,521,001      178,153 (11.7%)    1,342,823          387,633  (25.5%)     6.72s     17  0.0044%
 228   1,498,734      139,609 ( 9.3%)    1,359,098          293,340  (19.6%)     5.94s     11  0.0037%
 229   1,515,366      167,985 (11.1%)    1,347,346          366,044  (24.2%)     5.75s     22  0.0060%
 230   1,457,098      108,517 ( 7.4%)    1,348,541          282,478  (19.4%)     5.04s     16  0.0057%
 231   1,331,185      173,263 (13.0%)    1,157,909          352,918  (26.5%)     6.93s      8  0.0023%
 232   1,279,569      110,972 ( 8.7%)    1,168,584          233,673  (18.3%)     5.21s      2  0.0009%
 233   1,262,013      111,083 ( 8.8%)    1,150,910          226,174  (17.9%)     5.49s      9  0.0040%
 234   1,218,744      166,427 (13.7%)    1,052,289          372,675  (30.6%)     6.79s     23  0.0062%
 235     386,642       59,837 (15.5%)      326,792          115,175  (29.8%)     7.60s      8  0.0069%
 236   1,182,963      208,728 (17.6%)      974,211          403,765  (34.1%)     7.41s     22  0.0054%
 237     570,172       16,436 ( 2.9%)      553,647           37,474  ( 6.6%)     3.19s      1  0.0027%
 238   1,111,083       78,874 ( 7.1%)    1,032,201          188,396  (17.0%)     4.93s      2  0.0011%
 239   1,076,551      133,326 (12.4%)      943,211          271,978  (25.3%)     6.33s     13  0.0048%
 240     167,032        6,847 ( 4.1%)      160,182           18,748  (11.2%)     4.36s      0  0.0000%
 241     533,940       63,768 (11.9%)      470,159          134,362  (25.2%)     7.80s      5  0.0037%
 242   1,048,083      146,961 (14.0%)      901,103          321,949  (30.7%)     7.33s     15  0.0047%
 243     974,591      185,824 (19.1%)      788,747          379,855  (39.0%)     9.30s     19  0.0050%
 244     967,788      172,055 (17.8%)      795,714          348,880  (36.0%)     9.40s     18  0.0052%
 245     455,310       57,021 (12.5%)      398,282          118,141  (25.9%)     7.84s      2  0.0017%
 246     915,249      125,429 (13.7%)      789,799          269,962  (29.5%)     8.53s     12  0.0044%
 247     500,537       48,591 ( 9.7%)      451,920          101,465  (20.3%)     5.77s      4  0.0039%
 248     783,336      197,539 (25.2%)      585,775          400,217  (51.1%)     9.04s     22  0.0055%
 249     822,496      163,050 (19.8%)      659,427          326,091  (39.6%)     8.68s     18  0.0055%
 250   4,118,353      713,357 (17.3%)    3,404,804        1,533,914  (37.2%)     8.35s    102  0.0066%
 260   4,942,966    1,105,648 (22.4%)    3,837,174        2,287,497  (46.3%)     9.76s    141  0.0062%
 270   2,374,942      585,337 (24.6%)    1,789,524        1,159,132  (48.8%)     9.69s     80  0.0069%
 280   1,443,458      309,734 (21.5%)    1,133,668          618,091  (42.8%)    10.16s     42  0.0068%
 290   1,584,461      388,991 (24.6%)    1,195,407          765,544  (48.3%)     9.96s     63  0.0082%
 300   2,097,068      645,532 (30.8%)    1,451,421        1,186,912  (56.6%)     9.33s    105  0.0088%
------------------------------------------------------------------------------------------------------
   5,472,730,538  478,364,693 ( 8.7%)                   961,772,175  (17.6%)
User avatar
Mathimagics
2017 Supporter
 
Posts: 1480
Joined: 27 May 2015
Location: Canberra

Re: Low/Hi Clue Thresholds

Postby dobrichev » Tue Feb 11, 2020 1:41 pm

Hi Mathimagics,

If I understand your post correctly, you are investigating correlation between a low-clue grids and their respective lexicographically minimal band.

Since grid consists of 6 bands I see no reason to take only one of them.
See this post for alternative approaches for 17s that take into account all 6 bands.
dobrichev
2016 Supporter
 
Posts: 1777
Joined: 24 May 2010

Re: Low/Hi Clue Thresholds

Postby Mathimagics » Tue Feb 11, 2020 3:50 pm

Thanks, Mladen. I'm not actually investigating 17s, only tabulating the 18s that we have found + how many remain to be found.

I just thought that there might be something of interest in this table for the 17s search, but I can see from your linked thread that much work has already been done in this area, and that there is little of relevance in the 18s table.
User avatar
Mathimagics
2017 Supporter
 
Posts: 1480
Joined: 27 May 2015
Location: Canberra

Re: Low/Hi Clue Thresholds

Postby coloin » Wed Feb 12, 2020 10:26 pm

Well it seems you have confirmed the E18 grid number - even though taking 1000 solution grids from each band wasn’t actually a random selection !!
I am not aware of the total band counts for all 6 bands in all of the 5e9 solution grids.... but I would guess that those bands needing 5 or 6 clues would be less likely to have an 18C
coloin
 
Posts: 1858
Joined: 05 May 2005

Gen18Z Testing

Postby Mathimagics » Thu Feb 13, 2020 8:18 am

Ok, Gen18Z now has a built-in mechanism for checking its new grid yield on the fly. I added a function IsNewGrid(G) which identifies the relevant band, then does a binary search using file seek/read operations, and retrieves the grid's LCT status.

This function can be slow on JILL (my test PC) due to the location of the catalog on a slow-access disk, but on JACK (the 16-core production PC) the catalog is on a fast-access disk, and the cost of searching is very much less - each IsNewGrid call takes ~2 msecs.

Testing indicated that the new grids found in each propagation pass first rises and ultimately falls, so a rough rule-of thumb is applied in each batch - if the new grid yield for a given pass has declined for two passes in succession, the batch is terminated, saved, and we move on to a new seed grid.

I ran 16 Gen18Z workers on JILL for 20 hours, and got a net yield of NPH = 4075, which is similar to recent yields from Gen18H:

Code: Select all
Date              Batches     ED grids     New grids   Yield     Hours   NPH
----------------------------------------------------------------------------
01 Feb 2020    1313 - 1328   15,618,031    1,410,782    9.04%     ~22   4008    Gen18H
02 Feb 2020    1329 - 1344   15,676,083    1,423,940    9.08%     ~22   4045     "
03 Feb 2020    1345 - 1360   15,724,916    1,383,585    8.80%     ~22   3931     "
04 Feb 2020    1361 - 1376   15,709,656    1,458,855    9.29%     ~22   4144     "
06 Feb 2020    1377 - 1392   15,684,163    1,328,930    8.47%     ~22   3775     "
07 Feb 2020    1393 - 1408   15,661,502    1,406,948    8.98%     ~22   4000     "
07 Feb 2020    1409 - 1424   15,552,359    1,413,591    9.09%     ~22   4015     "

12 Feb 2020       1 -  419   13,669,983    1,304,065    9.54%      20   4075    Gen18Z

Note that NPH = # of new grids / (16 * Hours). Gen18H sets are all similar size, with 16 batches per set, average time 22 hours to produce. Gen18Z produces many smaller batches.

So, our first test of Gen18Z shows remarkably similar yields to Gen18H. A little disappointing, but there are several "tuning" options that we can play with to try and increase the yield.

Also, since we test each new grid we find with IsNewGrid(G), it makes sense to try a mode in which each list propagation pass discards any grids/puzzles that are not "new 18C" grids. So we only keep and propagate (apply selective {-2,+2} search) newly found puzzles on "new 18c grids".

Tests on JILL suggest that this can boost yields considerably. I'm running a live test on JACK now and will have results later tonight.
User avatar
Mathimagics
2017 Supporter
 
Posts: 1480
Joined: 27 May 2015
Location: Canberra

Re: Low/Hi Clue Thresholds

Postby coloin » Thu Feb 13, 2020 9:07 pm

Great ... with all the mini tests we have done , im hopeful that searching the new puzzles/grids is/will be the way to improve the yield.
As time goes the Gen18H yield inherently will tail .
The increased time and reduced rate of puzzle making will be made up by finding the more remote puzzles - the puzzles a random search inherently again tends to miss.
Will also do a run continuation of a large batch of which 10% will be new C18s by searching {-1+2} the high sol count subpuzzles [300 sol plus] , and then complete with a final {-1+1} to bump up the numbers, and then calculate the NPH.
coloin
 
Posts: 1858
Joined: 05 May 2005

LCT-18 Progress

Postby Mathimagics » Fri Feb 14, 2020 2:44 pm

Over 48 hours, the modified Gen18Z ("propagate new grids only") produced just over 5 million new grids:

Code: Select all
Date              Batches     ED grids     New grids   Yield     Total 18C
--------------------------------------------------------------------------
14 Feb 2020     420 -  525    3,254,665    2,353,494   72.31%  482,120,866   NPH =  6129
15 Feb 2020     526 -  671    3,031,685    2,789,058   92.00%  484,909,924   NPH =  7263
16 Feb 2020     672 -  827    3,143,887    2,829,749   90.01%  487,739,673   NPH =  7369
17 Feb 2020     828 - 1033    3,308,208    3,043,139   91.99%  490,782,812   NPH =  7925
18 Feb 2020    1034 - 1228    3,133,941    2,951,931   97.00%  493,734,743   NPH =  7687
19 Feb 2020    1229 - 1413    2,739,329    2,609,664   95.27%  496,344,407   NPH =  6796
20 Feb 2020    1414 - 1637    3,048,216    2,890,944   94.84%  499,235,351   NPH =  7528


For obvious reasons we shall keep these workers employed ... 8-)

For coloin:
GenPM1.zip
(68.66 KiB) Downloaded 1 time
User avatar
Mathimagics
2017 Supporter
 
Posts: 1480
Joined: 27 May 2015
Location: Canberra

Previous

Return to General