클로드 섀넌
정보의 양을 숫자로 잴 수 있을까?
그때 그곳
벨 연구소는 전화 회사의 연구소였습니다. 그러니 문제도 실용적이었죠. 잡음이 섞이는 선로로 얼마나 많은 이야기를 얼마나 정확히 보낼 수 있는가.
당시에는 이것이 공학자들의 감과 경험에 맡겨진 문제였습니다.
왜 이 질문이었나
섀넌이 가장 먼저 한 일은 버리는 것이었습니다. 메시지가 무슨 뜻인지는 이 문제와 아무 상관이 없다고 잘라낸 겁니다.
사랑한다는 말이든 숫자 나열이든, 선로 입장에서는 똑같습니다.
그러면 무엇이 남을까요. 그는 정보의 양을 놀라움의 정도로 잡았습니다. 뻔한 것은 정보가 적습니다. 내일 해가 뜬다는 말에는 정보가 거의 없죠. 어느 쪽일지 모를 때, 그 모름이 해소되는 만큼이 정보입니다.
알아낸 것
이렇게 놓자 정보를 숫자로 잴 수 있게 되었습니다. 단위는 비트입니다. 둘 중 하나를 가리는 데 필요한 양이죠.
그리고 그는 놀라운 정리를 증명했습니다. 선로에 잡음이 있어도, 오류를 원하는 만큼 작게 만들 수 있다는 겁니다.
방법은 여분을 덧붙이는 것입니다. 다만 무작정 반복하는 것이 아니라 영리하게 덧붙이면, 잡음이 있는 선로에서도 거의 완벽한 전송이 가능합니다. 선로마다 넘을 수 없는 속도의 한계가 있고, 그 아래에서는 언제나 가능합니다.
오류는 피할 수 없는 것이 아니라 다룰 수 있는 것이 되었습니다.
이전 생각
잡음이 있으면 오류는 어쩔 수 없다
증거
채널마다 한계 속도가 있고 그 아래에서는 오류를 얼마든지 줄일 수 있다는 증명
그 뒤
그는 이보다 앞서 석사 논문에서, 불의 논리대수가 전기 스위치 회로와 같은 구조임을 밝혔습니다. 스물한 살 때였습니다