[과학세상] AI 시대 초격차 이끌 ‘리만가설’

정연섭 한국원자력학회 사무총장ㆍ과학칼럼니스트

숙제는 부담이 아니라 희망이다. 숙제는 진보를 견인하기 때문이다. 뻔한 정책들로 식상할 때 가끔은 수학의 난체를 쳐다봐야 하는 이유다.

리만가설은 소수 분포에 대한 수학적 난제로 150년 동안 안개 속에 가려있다. 힐베르트는 리만가설을 20세기의 숙제로 두었고, 클레이연구소는 21세기 밀레니엄 문제로 재지정하고 10억 원 상금까지 걸었다. 필즈상을 수상한 마이클 아티아는 2018년 리만가설을 잊지 말라는 투로 소란을 피웠다.

소수는 1과 자기로만 나눠지는 숫자이다. 2, 3, 5, 7, 11은 소수이다. 반면에 4는 2로 나눠지고, 6은 2 또는 3으로 나눠지므로 소수가 아니다. 소수 여부는 자기보다 작은 수로 차례 차례 나눠보면 쉽게 알 수 있다.

이렇게 뻔한 성질을 지닌 소수이지만 규칙이 없다. 인류는 맨땅에서 헤딩하는 방법으로 소수를 찾아왔고 지금까지 찾은 최대 소수는 ‘2^(82,589,933)-1’로 25,036,993의 자릿수이다. 발견된 소수는 표에 기록돼 현대 문명에 기여하고 있다. 특히 소수표에서 두 소수를 뽑아 암호를 만들면 규칙이 없어 짧은 시간에 해독이 어렵다.

소수는 나눠지는 성질이 없으므로 수의 원소로 불리기도 한다. 화학에서 원소는 더 이상 나눠지지 않는 물질이다. 118개 화학 원소를 조합해 천문학적인 분자를 만들어 내듯이 소수의 곱으로 모든 자연수를 나타낼 수 있다. 차이라면 소수는 118개로 한정된 화학 원소와 다르게 무한하다.

수많은 수학자들은 소수의 규칙을 찾기 위해 도전했다. 가우스는 소수를 세는 계량 함수를 도입했다. 가령 소수 계량함수 π(10)은 10까지의 소수의 개수이다. 10 안에는 2, 3, 5, 7이라는 4개 소수가 있으니 π(10)은 4이다. π(11)은 소수 11이 추가돼 5이다. 이렇게 특정 숫자 n에 대해 π(n)을 구할 수 있다. π(n) 그래프는 소수 분포뿐만 아니라 소수까지 알려 준다. 다시 말해 π(11)은 π(10)보다 1만큼 증가하므로 자연수 11이 소수임을 알려준다.

1부터 차례차례 누적하는 방식으로 π함수를 얻었던 가우스는 π함수를 단번에 계산할 수 있는 수식을 얻고자 했다. 이 시도는 성공하지 못했지만 가우스는 π(n)의 근사치 n/log(n)을 얻었다. 근사 공식도 엄청난 발견이지만 특정 숫자가 소수인지는 알려주지 못하는 한계를 지닌다. π(11)과 π(10)은 엄밀히 1 차이가 나지만 근사 공식에서는 0.24 차이밖에 나지 않으므로 자연수 11이 소수라고 단정할 수는 없다.

가우스 제자 리만도 π함수를 근접시키는 연구를 계승했다. 그는 1+1/2+1/4+1/8+… 기하급수 형식의 리만제타함수를 정의하고, 후대에 리만가설로 명명된 가설을 도입하면 π함수를 더 가깝게 근사할 수 있다고 주장했다. 리만가설은 리만제타 함수의 영점이 실수값 0.5를 갖는다는 가설이다.

수학자들은 컴퓨터로 1조 개 영점을 샅샅이 뒤져 리만 추측대로 실수값이 0.5임을 확인했다. 그러나 아무리 많은 영점을 조사해도 모든 영점이 0.5라는 증명이 되지 못한다. 수학은 물고기 자체보다 잡는 방법만 인정하기 때문이다.

리만가설과 소수 분포는 서로 연결된 난제이다. 대부분 수학 난제는 외골수로 풀리기보다는 융합을 통해 해결되었다. 리만가설 증명도 융합 능력을 요구한다. 수는 개체의 많고 적음에서 유래되었지만 도형과도 연관이 있다. 정다면체가 4면체, 6면체, 8면체, 12면체, 20면체밖에 없듯이 소수도 어떤 기하적 속성과 연관될 수 있다. 가령 인수분해되면 사라지는 기하학적 어떤 구조가 소수의 본질일 수 있다.

우리나라는 미래의 전략기술로 인공지능을 꼽고 있다. 인공지능 칩을 선제적으로 확보하고 수백조 원의 기금을 조성하고자 한다. 표면적 현상에 대응하는 정책을 잘못이라 말할 수는 없지만 초격차 대책은 심층적 지식을 버리지 않는다. 리만가설이 심층의 난제이다.