Board.KolibriOS.org

Недавно, 4 сентября, я начал разработку библиотеки TLS. Первую неделю я читал документацию и прикидывал, насколько реально это сделать. Затем начал кодировать. За основу я взял старую версию TLS (1.0), потом можно будет модернизировать до 1.2. До завершения еще далеко, но кое-что уже есть. Программа может подключиться к https-серверу, обменяться ключами, отправить прикладной запрос и прочитать ответ. Парсер сертификатов я пока не сделал, а просто захардкодил открытый ключ Википедии.

Надо запустить программу и ввести в консоли "en.wikipedia.org/wiki/Main_Page" или "en.wikipedia.org/wiki/KolibriOS" (регистр имеет значение). Программа обменяется ключами и отправит запрос

GET /wiki/??? HTTP/1.1
Host: en.wikipedia.org

Полученный ответ будет показан в консоли и сохранен в файле /tmp0/1/1.txt.

Пока программа работает довольно медленно: криптографические алгоритмы очень тяжелые, O7/11 тут не справляется. Вроде бы, где-то здесь были готовые алгоритмы на асме, я пока их не рассматривал, но в будущем, конечно, надо применить ассемблерные решения. Даже на Core i7 требуется ~3 сек для вычисления RSA. 3DES работает со скоростью 60-70 кбайт/c. Небыстро...

Кстати, сервер Википедии иногда, вместо нормального ответа возвращает предупреждение, что, дескать, ваш "браузер" (IE 8.0, Windows XP) устарел и поддержка 3DES прекращается. Я знал, что 3DES устарел, но думал, что он еще вполне поддерживается. Просто мне показалось, что 3DES проще сделать, чем AES. Но всё равно надо перейти на AES.

При первом запуске программы, соединение с сервером устанавливается не сразу, а примерно через минуту. Программа пишет "connecting..." а дальше надо ждать. Есть какая-то проблема с сокетами. При последующих запусках, когда сокеты "прогрелись", соединение устанавливается незамедлительно.

Максимальный размер ответа ограничен 4 Мб -- если больше, будет аварийная ситуация. Оперативной памяти программа тратит тоже немало (40-50 Мб), но это вроде несложно уменьшить.

Пока всё очень ненадежно и медленно. Но начало положено...

Так выглядит в NetSurf главная страница Википедии, которая была загружена этой программой.



----
05-oct-2017

Увеличена скорость получения данных из сети.

Добавлены функции AES и SHA256.

список поддерживаемых шифронаборов:

TLS_RSA_WITH_3DES_EDE_CBC_SHA (устарел)
TLS_RSA_WITH_AES_128_CBC_SHA
TLS_RSA_WITH_AES_256_CBC_SHA
TLS_RSA_WITH_AES_128_CBC_SHA256 (TLS 1.2)
TLS_RSA_WITH_AES_256_CBC_SHA256 (TLS 1.2)

последние два используются только с TLS 1.2, пока не нужно, но потом пригодятся.

Сервер перестал присылать сообщения об устаревшем 3DES. К тому же, AES работает намного быстрее.

----
15-oct-2017

Сделана обработка ошибок, оптимизация по памяти, улучшена внутренняя структура, готовится преобразование программы в библиотеку: убраны почти все глобальные переменные, сформирован интерфейс будущей библиотеки. Остается еще много мелких недоработок + парсер сертификатов.

----
22-oct-2017

Большой прогресс. Сделан простой парсер сертификатов (программа подключается только к Wikipedia, но теперь открытый ключ не встроен в программу, а извлекается из сертификата сервера). Предусмотрена возможность возобновления сессии. Сделана обработка сетевых событий. Снято ограничение на размер ответа. Повышена надежность работы программы. Оптимизирован алгоритм AES -- теперь на мощных машинах он работает в несколько раз быстрее, чем сетевая подсистема в KolibriOS.
Остается сделать кое-какую мелочь, преобразовать программу в библиотеку, написать примеры использования и описание функций.

Очень полезное и серьезное начинание.

_________________
Звиздеть не мешки ворочать

Good work! Glad to see that someone tackles it!

Когда-то я делал алгоритм шифрования des посмотреть можно здесь:
http://websvn.kolibrios.org/listing.php ... 162e2aad94
А алгоритм aes делал diamond для программы kfar:
http://websvn.kolibrios.org/filedetails ... %2Faes.inc

Nice work akron1, have you seen viewtopic.php?f=24&t=3290 ?

_________________
"Any intelligent fool can make things bigger, more complex, and more violent. It takes a touch of genius -- and a lot of courage -- to move in the opposite direction." Albert Einstein

hidnplayr,
Yes, I know about that work, but I don't code in asm.

What language did you write this in?
Do you care to share the source code? Maybe it can be used to improve ASM version

_________________
"Any intelligent fool can make things bigger, more complex, and more violent. It takes a touch of genius -- and a lot of courage -- to move in the opposite direction." Albert Einstein

Oberon-07/11. This compiler is another my work. Later the cryptographic algorithms will be replaced by those written in C (or asm). But it's not yet soon.
Yes, I'll share the source code. But it's still early.

Cool, keep up the good work!

_________________
"Any intelligent fool can make things bigger, more complex, and more violent. It takes a touch of genius -- and a lot of courage -- to move in the opposite direction." Albert Einstein

Hello akron1

This looks pretty useful for Netsurf as well to support HTTPS.

Maybe I'll be able to incorporate it into Netsurf once this is matured enough.

_________________
---
Check out the Netsurf Web Browser for KolibriOS.
Read the wiki and happy hacking with KolibriOS!

ashmew2

I hope it will be possible. I continue to develop...

Программа преобразована в библиотеку. Пока еще есть недоработки, но уже можно пробовать ее использовать.

Вероятно, есть проблемы с сетевой подсистемой KolibriOS: иногда библиотека не может открыть сокет и возвращает код ошибки -23. Библиотека сделана с возможностью компиляции как для KolibriOS, так и для Windows (я вынес все системные зависимости в один модуль). Компиляция для Windows мне нужна для упрощения разработки и тестирования. Поэтому библиотека содержит небольшую избыточность. В Windows всё работает безотказно. В KolibriOS -- то не открывается сокет, то теряется соединение.

Пока я возьму паузу и продолжу после нового года. Планирую сделать:

- поддержку TLS 1.1 и 1.2
- заменить криптоалгоритмы на высокоэффективные, написанные на асме или C (прежде всего RSA)
- улучшить надежность работы
- возможно переписать отдельные части или даже всё. Я впервые писал сетевое приложение и многие особенности работы с сетью мне были неизвестны. И поэтому, то, что я написал мне не нравится. Теперь, когда есть работающая реализация и получен опыт, написать новую будет несложно.

Описание функций


----
03-nov-2017

До перерыва, я всё же сделал одно небольшое, но важное улучшение. Я переделал алгоритм RSA (изменил форму представления длинных чисел и сделал предварительные вычисления). Теперь RSA работает в 7 раз быстрее. На Core i7 время работы алгоритма сократилось с 2250 мс до 320 мс. Приложению требуется дополнительно 64 Кб стэка для хранения результатов предварительных вычислений.

Very nice work, I will try to connect it to HTTP library in the future and see how usable it can be.

_________________
"Any intelligent fool can make things bigger, more complex, and more violent. It takes a touch of genius -- and a lot of courage -- to move in the opposite direction." Albert Einstein

Всё же, учитывая сравнительно малый объем оставшейся работы по этой библиотеке, я решил не откладывая довести программу до предварительного завершения.

- Изменен интерфейс
- Исправлены баги
- Добавлена поддержка TLS 1.1

Тщательного тестирования я не проводил, но простые тесты программа проходит.

Я раньше писал о нестабильной работе билиотеки в KolibriOS по сравнению с Windows. Теперь можно описать проблемы более точно:

- "не открывается сокет". На самом деле сокет открывается, просто в некоторых случаях функция 75.4 не может установить соединение с сервером. После неудачного вызова f75.4, регистр ebx содержит значение 60. Если это код ошибки, то "Connection timeout". Решение: в случае неудачи, библиотека пробует подключиться еще 4 раза, то есть, делается до пяти попыток соединения, обычно удается подключиться со второй попытки, если не удалось с первой.

- "теряется соединение". Теряется не соединение, а данные, если буфер сокета был переполнен. Это может произойти, когда приложение обрабатывает данные медленнее, чем они поступают из сети. Не знаю, баг ли это в реализации протокола TCP, или просто Windows использует буфер сокета большего размера.

Новый интерфейс библиотеки. Вместо указателей на параметры соединения, используются целочисленные идентификаторы для защиты памяти.

Список кодов ошибок. На практике, многие ошибки никогда не возникают, если сервер работает правильно. Если ошибку возвращает функция open, то ничего делать не надо. Если код ошибки (в том числе и код -17) возвращают функции send или recv, то после этого надо вызвать функцию close чтобы освободить память.

Поддержку TLS 1.2 и оптимизацию криптографических алгоритмов пока можно отложить.
Если будут какие-либо рациональные предложения по улучшению, изменению интерфейса и т. п., то я, по-возможности, сделаю. А пока на этом всё.

very nice

отличная заделка на будущее. грац