Име: Анна Николова
Роля: Специалист и изследовател по компютърна сигурност и млад посланик към Women4Cyber Bulgaria
За да прочетете статията на английски език, моля, превъртете надолу. / To read this article in English, please scroll down.
Статия 1: Какво е теория на информацията?
В тази поредица от статии се стремим да разгледаме теорията на информацията и криптографията от гледната точка на млад изследовател по киберсигурност, а не на математик. Целта не е да се представи напълно строго математическо изложение, а по-скоро да се изгради интуитивно разбиране за концепциите, които стоят в основата на съвременната киберсигурност, като същевременно се ограничи математическата сложност, за да бъде материалът достъпен за по-широка аудитория.
Започваме с теорията на информацията, защото някои от най-важните идеи в криптографията, като ентропия, случайност и неопределеност, произлизат именно от нея. В тази първа статия ще разгледаме накратко историята на областта, защо е била създадена, защо изследователите изобщо са искали да измерват информацията и как тези идеи продължават да влияят върху киберсигурността днес.
И така, какво е теорията на информацията?
В основата си теорията на информацията е математическото изследване на количественото измерване, кодирането и предаването на информация. Областта е формално разработена през 40-те години на XX век от Клод Шанън, пионер в електротехниката, математиката, криптографията, компютърните науки и изобретателството. По-ранни фундаментални приноси са направени от Хари Найкуист и Ралф Хартли през 20-те и 30-те години.
Първоначално създадена за телекомуникации, теорията на информацията по-късно се разширява и намира приложение в компютърните науки, статистиката, електроинженерството, физиката и дори невронауката.
Достатъчно история засега. Нека преминем към същината и видим какво всъщност представлява теорията на информацията.
Елементът на изненадата
Ако хвърлите зар, от момента на разклащането му в ръката до момента непосредствено преди да спре, вие не знаете какво число ще се падне. След като видите резултата, получавате информация за изхода. Ако сравним това с монета, виждаме, че по-малък брой възможни резултати означава по-малка неопределеност. Това подсказва, че количеството информация расте с броя на възможните изходи.
Сега ще изразим математически количеството информация, по-точно наречено самоинформация, което получаваме при наблюдение на конкретен резултат от честен шестстенен зар.
Вероятността за всеки резултат при честен зар е 1/6. Ако приемем, че зарът е честен и няма пристрастие, получаваме:
I(x) = -log₂(1/6) ≈ 2.585 бита.
Нека разгледаме това по-интуитивно. Когато използваме примера със зара, всъщност питаме каква е вероятността да се падне конкретна страна от 1 до 6.
Сега вероятно се питате какво означават битовете. Тук помага примерът с монетата. При хвърляне на монета можем да зададем прост въпрос: „Ези ли е?“. Ако отговорът е „да“, знаем резултата, ако е „не“, остава „тура“. Това съответства на 1 бит информация.
Бинарната система функционира като превключвател с две състояния, 0 и 1, или „да“ и „не“.
Защо получаваме 2.585 бита? Това е теоретичният минимален среден брой бинарни (да или не) въпроси, необходими за определяне на резултата при оптимална стратегия.
Например можем да питаме дали числото е по-голямо от 3. Ако да, елиминираме 1, 2 и 3. Ако не, елиминираме 4, 5 и 6. С всеки въпрос намаляваме пространството на възможностите наполовина, докато достигнем резултата.
Приложение в киберсигурността
На този етап нещата може да изглеждат абстрактни, затова нека ги свържем с киберсигурността. Колкото по-непредсказуем е даден резултат, толкова повече информация се получава при неговото разкриване.
Ако нападател знае, че паролата е една от шест възможности, тя може лесно да бъде разбита чрез brute force. В реалността атакуващите използват компютърни системи, но принципът остава същият, намаляване на неопределеността чрез търсене.
Затова големите пространства от ключове са толкова важни, например дълги и непредсказуеми пароли. Дори системи с милиарди комбинации стават практически незащитими, ако ентропията е ниска.
Ако трябва да запомните едно нещо, то е следното: нуждаем се от неопределеност. И колкото повече, толкова по-добре.
Заключение: нуждата да измерваме информацията
До този момент вероятно съм породил повече въпроси, отколкото съм отговорил. Но защо изобщо измерваме информацията?
Клод Шанън показва, че информацията може да се измерва подобно на физически величини като маса или дължина. Това откритие поставя основите на съвременните телекомуникации, киберсигурността, науката за данни и много други области.
В следващата статия ще разгледаме ентропията, не от гледна точка на термодинамиката, а през теорията на информацията, компютърните науки и киберсигурността.
An Intuitive Guide to Information Theory & Cryptography: A Multi-Part Cybersecurity Series
Anna Nikolova, Security Researcher
Article 1: What is Information Theory?
In this series of articles, I aim to explore Information Theory and Cryptography from the perspective of an early-career security researcher rather than a math- ematician. The goal is not to provide a fully rigorous mathematical treatment of the subject, but rather to build an intuitive understanding of the concepts that underpin modern cybersecurity, while limiting mathematical complexity in order to accommodate a wider audience.
We begin with Information Theory because some of the most important ideas in cryptography, such as entropy, randomness, and uncertainty, originate from it. In this first article, we will briefly examine the history of the field, why it was developed, why researchers sought to measure information in the first place, and how these ideas continue to influence cybersecurity today.
So, what is Information Theory?
At its core, Information Theory is the mathematical study of the quantification, encoding, and transmission of information. The field was formally developed in the 1940s by Claude Shannon – a pioneering electrical engineer, mathematician, cryptographer, computer scientist, and inventor. Earlier foundational contribu- tions were made by Harry Nyquist and Ralph Hartley in the 1920s and 1930s.
Originally developed for telecommunications, Information Theory has since expanded into fields such as computer science, statistics, electrical engineering, physics, and even neuroscience.
Enough history now. Let’s dive in and see what Information Theory is all about.
The Element of Surprise
If you throw a die, from the moment of shaking it in your hand to the moment before it stops spinning, you lack information about what number will land.
After observing the result, you gain information about the outcome. Compar- ing this with a coin, we see that fewer outcomes imply less uncertainty, which suggests that information increases with the number of possible outcomes.
We will now express mathematically the amount of information – specifically called self-information – gained from observing a specific outcome of a 6-sided die.
The probability of any outcome on a fair 6-sided die is 16 . Assuming the die is fair, meaning it is not biased, we have:
I(x) = -log₂(1/6) ≈ 2.585 bits
Now, let us go through this together. When we use the die example, we are asking: what is the probability of obtaining a specific face from 1 to 6? The fraction above represents exactly that.
Now some of you are asking what’s up with those bits at the end. This is where the coin example helps. When we flip a coin, we can ask a simple question: “Is it heads?” If yes, we know the outcome; if not, it is tails. This corresponds to 1 bit of information.
The binary system functions like a switch with two states: 0 and 1, or yes and no.
Let’s get back to the die. Why is the result approximately 2.585 bits? In reality, you cannot ask a fraction of a question. This value represents the theo- retical minimum average number of binary (yes/no) questions needed to identify the outcome under an optimal strategy.
Imagine you’re throwing the die and, in a split second, trying to determine the result. You could ask if it is 1, 2, 3, and so on – but that is inefficient. A better approach is to reduce the number of possibilities efficiently.
For example, we can ask whether the number is greater than 3. If yes, we eliminate 1, 2, and 3. If no, we eliminate 4, 5, and 6. With one question, we reduce the search space by half. We then continue narrowing down the possibilities until the result is determined.
Bringing it to Cybersecurity
At this point, it may feel a bit abstract, so let us translate it into cybersecurity. The less predictable an outcome is, the more information is gained when it is revealed.
If an attacker knows that a password is one of six possible values, the problem is still small enough to brute-force easily. In practice, attackers use computa- tional systems rather than manual guessing, but the underlying idea remains the same: they reduce uncertainty through search.
This is why large keyspaces are important – meaning long and unpredictable passwords. Even if a system has a billion possible combinations, brute-force search becomes impractical when the entropy is sufficiently high.
So, if there is one thing I want you to remember from everything we’ve covered so far, it is this: we need uncertainty. And the more, the better.
But how do we measure uncertainty? That brings us to the central concept – drum roll please – entropy! However, we will cover that in the next article.
Conclusion: The Need to Quantify Information
By now, I have probably raised almost as many questions as I have answered. But let us ask: why do we assign numbers to information? Claude Shannon showed that we can measure information just like physical quantities such as distance or mass. This insight laid the foundation for modern telecommunica- tions, cybersecurity, data science, and many other fields.
In the next article, we will explore entropy – not from the perspective of thermodynamics, but through the lens of Information Theory, computing, and cybersecurity.
I am incredibly excited about it. Are you? You better be, or I might start worrying that I’m the only one nerding out over entropy.