현재는 동신대학교 한의과대학에서 재학중이지만 이 학교에 오기 전에는 모 대학교의 사범대를 다닐 때가 있었다. 나는 수학교육과에서 재학중이었는데, 가장 처음 전공으로 배웠던 것이 미적분학과 집합론이었다. 미적분학은 이과로 대학에 간 학생이라면 누구나 배우는 과목이지만 집합론은 수학과나 수학교육과만 배우는 과목이었다. 본격적으로 정수론을 배우기 전에 수학적 마인드를 기르는 연습과목 정도인 것 같았다. 하지만 난이도는 절대 연습과목의 난이도가 아니었다. 우리가 흔히 생각하던 수학의 집합이라는 개념을 처음부터 다시 배우는데, 그것은 마치 1+1이 왜 2가 되냐고 물어보는 것 같았다. [집합A의 원소가 모두 집합 B에 있으면, A라는 집합은 B의 부분집합이다]라는 것은 중학교 이상을 나왔다면 누구나 다 알고 있는 사실이다. 그런데 이것을 증명하라고 하니, 기가 찰 노릇이었다. 이 모든 것을 삼단논법이나 수학적 귀납법 등을 통해 풀어내는데, 교수님이 앞에서 해설하고 있는 것을 보고 있으면 경의로울 따름이었다. 당시 나는 집합론 수업을 참 재미있게 들었지만, 시험을 앞둔 상황에서는 정말 끔찍한 과목이었다. 차라리 시험이 없었다면 더 자유롭게 공부할 수 있었을텐데...라는 생각을 하며 예제문제들의 풀이를 외워서 시험문제를 풀었다.

하지만 지금은 전공시험이라는 굴레에서 벗어나 있다. 맨 처음 호기심만으로 접근했던 그 상태로 집합론을 다시 볼 수 있게 되었다. 사실 내가 처음에는 연습과목 같다고 이야기했지만 집합론에서는 상당히 넓은 부분을 다룬다. 집합의 기본 개념으로부터 시작해서, 수의 범위를 점차 확장해나간다. 그러면서 무한이라는 개념을 만들어내고, 그 무한들이 각자 다른 차원에 있다는 것으로 발전시킨다. 끝으로는 현대 수학에서 남아있는 몇가지 난제들로 결론을 맺는다.

집합론에서 가장 중요한 것 중 하나는 집합의 크기를 재는 것이다. 이것을 바탕으로 무한의 개념이 자세하게 나타난다. 집합론의 창시자라고 할 수 있는 칸토르는 집합의 크기를 세는 방법으로 일대일 대응을 모색한다. X라는 집합과 Y라는 집합이 있다면, 각자의 집합에 있는 원소들을 하나씩 짝을 지어 보면 어느 하나가 남게 될 것이다. 그렇다면 남는 쪽의 집합이 부족한 쪽의 집합보다 더 크다는 것이다.

그렇다면 무한개의 원소를 지니고 있는 집합끼리는 어떨까? 일단 짝수와 홀수는 집합 크기가 같겠다는 것을 쉽게 유추할 수 있다. 그러면 {2,3,4,....}로 계속되는 1을 제외한 자연수 집합 A와, {1,2,3,....}로 진행되는 자연수 집합 B가 있다. 그렇다면 두 집합들 중 어느 것이 더 큰 집합일까? 대부분의 사람들은 당연히 B가 한개 더 많으므로 B가 더 큰 집합이라고 말할 것이다. 하지만 정답은 A와 B의 크기는 같다. A집합의 2와 B집합의 1, A집합의 3과 B집합의 2, 이런 식으로 계속 선을 그어 나가다보면 어느 한쪽이 남는 상황은 발생하지 않는다. 즉 두 집합의 크기는 같은 것이다. 

그러나 무한대가 모두 같은 무한대는 아니다. 자연수의 개수와 실수의 개수는 모두 무한대지만 두 개가 같은 무한대가 아니다. 칸토어의 대각선 논법으로 유명한 이 증명방법은 수학을 공부하는 사람들에게 충격을 준다. 만약 자연수와 실수가 일대일 대응을 한다고 가정해 보자. 그렇다면 두 집합의 크기는 같을 것이다.

1 - 0.214311...

2 - 0.502141...

3 - 0.051241...

과연 자연수와 실수가 모두 일대일로 대응되었을까? 그렇다면 한번 이런 수를 고안해 보자. 1과 대응한 수의 소수아래 첫째자리, 2와 대응한 수의 소수아래 둘째자리, 3과 대응한 수의 소수아래 셋째자리, 이것을 끝까지 반복해서 모두 따와서 0.201...이라는 숫자를 만든다고 하자. 이 수는 어떤 자연수하고도 일대일 대응하지 못한다. 즉 두 집합의 크기가 같다는 명제는 모순이 되는 것이다.

그럼 실수가 가장 큰 집합일까? 실수의 크기에서 제곱이 된 것이 복소수이고, 복소수도 순서쌍 식으로 (a+bi, c+di)로 집합을 새로 만들면 또다시 크기가 제곱이 된다.

흔히 수학이라고 하면 단순 계산을 떠올린다. 아마 입시위주의 사고가 그런 인식을 만들어냈을 것이다. 수학교육과를 다니며 엠티를 갔을 때도 교수님이 나에게 수학이 뭐라고 생각하는지 물어본 적이 있었다. 그 때 나의 대답과 교수님도 동의했던 생각은 수학은 인간의 사고체계 전반을 다루는 학문이라는 것이다. 인간이 현재 다루고 있는 것들 중 수학적인 사고과정을 거치지 않은 것은 거의 없다. 수학적 사고를 기반으로 논리적인 판단을 내릴 수 있는 것이다. 단순히 숫자를 다루는 것이 아니라 사고하는 과정 전반을 다룬다는 생각을 가지고 앞으로도 수학 공부를 꾸준히 해 볼 생각이다.