#ZаПобеду Они защищают тебя и мир. Поддержим наших парней. Они это услышат!

Фотография предоставлена https://t.me/rt_russian/97829

UPD: почему я поддерживаю операцию по денацификации Украины -

Этот документ предназначен тем, у кого еще есть вопросы, зачем Россия проводит операцию, против кого и против чего. Когда будете изучать материалы преступлений, совершенных укрофашистами, вспоминайте материалы Нюрнбергского процесса и сравнивайте. А прямо сейчас эти преступления происходят по всей Украине, когда укровоенными и добробатами загоняется тяжелое вооружение в города, происходят убийства и грабежи, отстреливают  своих граждан, принимая их за диверсантов, взрывают мосты и рушат свою же инфраструктуру. При этом всем украинцам конкретно объявлено, что России  «богатства Украины» даром не нужны, она сама еще тот подарочек, от которого 8 лет мозг взрывается. В общем, читайте, делитесь, просвещайте…

(с) https://t.me/kremlinprachka/17367

Перевод на Английский язык: https://t.me/ivan_arkatov/175

Я горжусь Россией.
#ZаПобеду

Фотография взята из https://t.me/rt_russian/97829

UPD: почему я поддерживаю операцию по денацификации Украины -

Этот документ предназначен тем, у кого еще есть вопросы, зачем Россия проводит операцию, против кого и против чего. Когда будете изучать материалы преступлений, совершенных укрофашистами, вспоминайте материалы Нюрнбергского процесса и сравнивайте. А прямо сейчас эти преступления происходят по всей Украине, когда укровоенными и добробатами загоняется тяжелое вооружение в города, происходят убийства и грабежи, отстреливают  своих граждан, принимая их за диверсантов, взрывают мосты и рушат свою же инфраструктуру. При этом всем украинцам конкретно объявлено, что России  «богатства Украины» даром не нужны, она сама еще тот подарочек, от которого 8 лет мозг взрывается. В общем, читайте, делитесь, просвещайте…
(с) https://t.me/kremlinprachka/17367


Перевод на Английский язык:
https://t.me/ivan_arkatov/175

Всем хороша среда выполнения Javascript NodeJS, но у неё есть три недостатка.
Первый недостаток - много низкокачественных NPM модулей, включая те, в которых происходят утечки памяти.
Второй недостаток - обычная программа требует множество модулей, и обязательно среди них будет несколько, в которых утекает память.
Третий недостаток - иногда утечки памяти начинаются после часов, а то и суток работы программы.

Что с этим делать?
Можно потратить много времени, разобраться, где утекает память, написать исправление к модулю и послать Pull-Request разработчикам модуля, который они скорее всего проигнорируют,
так как у них проблема не воспроизводится.

А можно просто перезапустить программу через несколько часов работы, когда начинают появляться утечки памяти.

Для примера, рассмотрим почтовый сервер на основе https://haraka.github.io/, который, после запуска потребляет 56.8 мегабайт памяти, а через несколько суток - уже 80 мегабайт.

Данный сервер запускается с помощью systemd, используя этот unit файл.

[Unit]
Description=Haraka inbound STMP server
After=network.target

[Service]
Type=simple

User=haraka
Group=haraka

WorkingDirectory=/opt/haraka/haraka-inbound
ExecStart=/usr/bin/npm start
Restart=always
RestartSec=1s
Environment=NODE_ENV=production

# Hardening
ProtectHome=yes
AmbientCapabilities=CAP_NET_BIND_SERVICE

[Install]
WantedBy=multi-user.target

Как его можно перезапустить, допустим, раз в час, используя systemd?

Для этого достаточно почитать документацию к systemd, и найти этот параметр конфигурации https://www.freedesktop.org/software/systemd/man/systemd.service.html#RuntimeMaxSec

RuntimeMaxSec=

Configures a maximum time for the service to run. If this is used and the service has been active for longer than the specified time it is terminated and put into a failure state. Note that this setting does not have any effect on Type=oneshot services, as they terminate immediately after activation completed. Pass "infinity" (the default) to configure no runtime limit.

То есть, задав этот параметр равным 3600, мы добьёмся того, что systemd будет автоматически останавливать, и снова запускать почтовый сервер каждый час.
Так как Haraka написан неожиданно хорошо для nodejs приложений, он не только быстро перезагружается, он ещё знает, как закончить все транзакции перед перезапуском, и поэтому ни одно письмо не пропадёт.

Такой unit файл был в итоге создан для почтового сервера:

[Unit]
Description=Haraka inbound STMP server
After=network.target

[Service]
Type=simple

User=haraka
Group=haraka

WorkingDirectory=/opt/haraka/haraka-inbound
ExecStart=/usr/bin/npm start
Restart=always
RestartSec=1s
Environment=NODE_ENV=production

# Gracefully restart service every hour to prevent memleaks
RuntimeMaxSec=3600

# Hardening
ProtectHome=yes
AmbientCapabilities=CAP_NET_BIND_SERVICE

[Install]
WantedBy=multi-user.target

Теперь почтовый сервер перезапускается раз в час, и в среднем потребляет около 60 мегабайт памяти.

Недавно на работе у меня было такое задание - соединить NodeJS приложение с OpenLDAP сервером, обладающем следующей структурой данных: в корне - структура  Organization Unit с профилями пользователями, доступная, для примера, по DN:

ou=people,dc=vodolaz095,dc=life.

И имеющая следующую струкруту:

dn: ou=people,dc=vodolaz095,dc=life
objectclass: organizationalUnit
ou: people

В этой структуре - уже были профили пользователей - например, uid=user1,ou=people,dc=vodolaz095,dc=life, uid=user2,ou=people,dc=vodolaz095,dc=life и т.д.

Аккаунты пользователей принадлежали к типам posixAccount, inetOrgPerson,organizationalPerson,person.

Аккаунты пользователей выглядели примерно вот так:

dn: uid=user1,ou=people,dc=vodolaz095,dc=life
cn: Jane Doe
gidnumber: 1000
givenname:  Jane
homedirectory: /home/janedoe
initials: JS
loginshell: /bin/bash
objectclass: posixAccount
objectclass: inetOrgPerson
objectclass: organizationalPerson
objectclass: person
mail: user1@vodolaz095.life
sn: Doe
uid: user1
uidnumber: 1002
userpassword: {SSHA}HF3O9bpD+/a5iswMxRCwBgboZgV2Mkpp

При этом для каждого пользователя был задан пароль.

Задача состояла в том, что пользователь вводит логин (в виде user1) и пароль в NodeJS приложении. И программа должна проверить, угадал ли пользователь пароль, а потом программа должна загрузить все данные о пользователе из базы данных OpenLDAP.

Сначала я попробовал данный метод авторизации, который, к сожалению, требует наличия пользователя readonly с полным доступом на чтение ко всей базе данных, что, по моему, не очень безопасно - так как данный пользователь может прочитать все данные, включая те, которые могут составлять коммерческую или же медицинскую тайну. Также пароль пользователя readonly может изменится, и приложение перестанет работать.

Для работы по протоколу openLDAP я использовал следующую NodeJS библиотеку - https://www.npmjs.com/package/ldapjs
Минимальный работающий образец исходного кода представлен тут:

'use strict';

const ldap = require('ldapjs');

const ldapClient = ldap.createClient({
  url: 'ldap://127.0.0.1:389'
});

const username = 'cn=readonly,dc=vodolaz095,dc=life';
const password = 'readonly';

ldapClient.bind(
  username,
  password,
  function (error) {
    if (error) {
      throw error;
    }
    console.log('bind performed');

    ldapClient.search('ou=people,dc=vodolaz095,dc=life', {
      filter: `(uid=vodolaz095)`,
      scope: 'one',
      attributes: ['uid', 'dn', 'cn', 'mail']
    }, function (error, res) {
      if (error) {
        throw error;
      }
      res.on('searchEntry', function (data) {
        // console.log('Data found', data);
        console.log('Data object', JSON.stringify(data.object, null, 2));
      });
      res.once('error', function(error){
        throw error;
      });
      res.once('end', function () {
        console.log('Completed');
        process.exit(0)
      });
    });
  }
);

Как видно из кода, мы сначала "биндимся" к базе данных как пользователь readonly с DN cn=readonly,dc=vodolaz095,dc=life, потом ищем пользователя в
коллекции ou=people,dc=vodolaz095,dc=life по фильтру (uid=vodolaz095), и если мы его нашли, то можно попробывать "забиндиться" как этот пользователь к базе данных, тем самым проверив пароль, подходит ли он.

'use strict';

const ldap = require('ldapjs');

const ldapClient = ldap.createClient({
  url: 'ldap://127.0.0.1:389'
});

const username = 'uid=vodolaz095,ou=people,dc=vodolaz095,dc=life';
const password = 'superSecretPasswordOfVodolaz095!';

ldapClient.bind(
  username,
  password,
  function (error) {
    if (error) {
      throw error;
    }
    console.log('пароль подошёл, пользователь vodolaz095 авторизирован!');
});

Можно ли как то упростить данную процедуру?

Возможно ли не использовать пользователя readonly?

Можно ли минимизировать число запросов данных к базе данных ldap?

Ответ:

Да, можно

И сейчас я расскажу, как.
Оказывается, большинство openLDAP серверов позволяют авторизоваться ("забиндиться") как искомый пользователь, и даже получить его профиль.

Рассмотрим данный код:

'use strict';

const ldap = require('ldapjs');

const ldapClient = ldap.createClient({
  url: 'ldap://127.0.0.1:389'
});


const username = 'uid=vodolaz095,ou=people,dc=vodolaz095,dc=life'
const password = 'thisIsVerySecureSecretPassword';


ldapClient.bind(
  username,
  password,
  function (error) {
    if (error) {
      throw error;
    }
    console.log('bind performed');

    ldapClient.search('uid=vodolaz095,ou=people,dc=vodolaz095,dc=life', { 
      scope: 'base', // important
      attributes: ['uid', 'dn', 'cn', 'mail']
    }, function (error, res) {
      if (error) {
        throw error;
      }
      res.on('searchEntry', function (data) {
        // console.log('Data found', data);
        console.log('Data object', JSON.stringify(data.object, null, 2));
      });
      res.once('error', function (error){
        throw error;
      });
      res.once('end', function () {
        console.log('All passed');
        process.exit(0);
      });
    });
  }
);

С помощью этого кода мы напрямую пытаемся "забиндиться" к базе данных ldap как ограниченный пользователь, используя функцию
ldapClient.bind(username, password, function(error){....}).

Если "забиндиться" получилось, то это означает, что пароль подошёл. Теперь надо получить профиль пользователя, и по умолчанию, все пользователи ldap имеют права на чтение своего собственного профиля.
По крайней мере, так работает в контейнеризированной сборке openLDAP из https://github.com/osixia/docker-openldap

После того, как мы забиндились, мы можем попробывать найти свой собственный профиль. Это можно сделать с помощью данной функции:

    ldapClient.search('uid=vodolaz095,ou=people,dc=vodolaz095,dc=life', { 
      scope: 'base', 
      attributes: ['uid', 'dn', 'cn', 'mail']
    }, function (error, res) {....})

В итоге, мы получаем всю информацию из профиля пользователя в базе данных openldap, при этом приложение использует только пароль, который предоставил сам пользователь, доступ на чтение ко всей базе данных не нужен.

В глубинах исходных кодов одного из проприентарных продуктов, который я пилю по субботам, я нашёл упоминение Советского бога программирования А.В. Курова, который воспитал не одно поколение одарённых (не только в общепринятом смысле) программистов.

func TestWorkspace_WriteFile(t *testing.T) {
	w, err := GetWorkSpaceByID(workspaceIDForTests)
	if err != nil {
		t.Error(err)
	}
	assert.Equal(t, "nobody", w.User, "wrong user")
	assert.Equal(t, "unknown", w.Company, "wrong company")
	assert.Equal(t, config.Config.Hostname, w.Server, "wrong server")
	assert.Equal(t, 0, w.DiskUsage, "wrong disk usage")
	assert.Equal(t, 0, w.NumberOfFiles, "wrong number of files")
	assert.Equal(t, "0 bytes", w.HumanizeDiskUsage(), "wrong disk usage in human readable form")

	assert.Equal(t,
		fmt.Sprintf("%s%s", config.Config.Path.Workspace, workspaceIDForTests),
		w.GetDirectoryPath(),
		"wrong directory path",
	)
	assert.FileExists(t, w.GetMetadataPath(), "metadata file not exists")
	assert.True(t, w.DoBelongsToUser("nobody", "unknown"), "not belongs to user")
	assert.False(t, w.DoBelongsToUser("somebody", "unknown"), "belongs to wrong user")
	assert.False(t, w.DoBelongsToUser("nobody", "Microsoft"), "belongs to wrong user")
	assert.False(t, w.DoBelongsToUser("somebody", "Microsoft"), "belongs to wrong user")
	err = w.WriteFile("test.txt", []byte("this is test.txt file with some data in it. Как говорил мой преподаватель программирования Андрей Владимирович Куров, писать код надо так, чтобы моча ухом шла!"))
	if err != nil {
		t.Error(err)
	}
}

this is test.txt file with some data in it. Как говорил мой преподаватель программирования Андрей Владимирович Куров, писать код надо так, чтобы моча ухом шла!

В общем:

НЕПЫА́ЙТЕ АДУ́ЙТЕ!

(в переводе на Русский язык - "не проверяйте, а думайте")

Иногда мой блог вместо страницы выдавал ошибку 500, с отображением SQL запроса, который не прошёл.

Это выглядело так:

Код ошибки мог меняться в замисимости от страницы, но почти всегда это был SQL запрос вроде такого

select count(distinct posts.id) as aggregate 
from posts 
where (posts.status = 'published' and posts.page = false)

Главное, что в нём всегда встречалось read ECONNRESET.

Причина неполадок состояла в том, что сервер базы данных закрывал соединение с блог платформой, так как оно, по мнению сервера, не использовалось.

Данная неполадка чинится отправкой этих запросов на MariaDB сервер через консоль:

SET GLOBAL connect_timeout=28800;
SET GLOBAL wait_timeout=28800;
SET GLOBAL interactive_timeout=28800;

Эти переменные задают критерии, используемые сервером для того, чтобы определить, какие соединения считаются неиспользуемыми, и их можно разорвать. Я поставил значение в 8 часов (28800 секунд), и разрывы соединения пропали.

Подробнее о всех системных переменных базы данных MariaDB.

Обновление 1.

При перезагрузке сервера с базой данных, глобальные переменные к сожалению сбрасываются. Одно из возможных решений проблемы ошибки с разрывом соединения было описано в этом комментарии

https://github.com/TryGhost/Ghost/issues/9739#issuecomment-406240883

Пользователь с ником Toub посоветовал переодически загружать главную страницу блога, чтобы платформа посылала запросы к базе данных, и соединение восстанавливалось.

При этом техническая поддержка платформы Ghost показала особенную клиентоориентированность, и я понял, что они ничем помочь не могут и не хотят, по их мнению, официальные образы докера с не правильно работающим соединением с базой данных это нормально.

Поэтому, проблему я начал решать сам.

Я написал такой скрипт на nodejs, который открывает главную страницу блога до тех пор, пока не будет возвращаться ответ  со статусом 200 - то есть блог работает в штатном режиме.

'use strict';

const async = require('async'); // tested with  version >=2.6.2
const request = require('request'); //  tested with version >=2.88.0

let i = 0;
async.doWhilst(
  function (callback) {
    request('https://blog.vodolaz095.life', function (error, response) {
      if (error) {
        return callback(error);
      }
      i += 1;
      console.log('Test %s. Status code - %s', i, response.statusCode); // eslint-disable-line
      callback(null, response.statusCode);
    });
  },
  function (statusCode) {
    return statusCode !== 200;
  },
  function (error) {
    if (error) {
      throw error;
    }
    console.log('Blog awaken!');  // eslint-disable-line
    process.exit(0);
  }
);

И поставил его в крон на запуск каждую минуту.

* * * * * cd /home/vodolaz095/ && node /home/vodolaz095/wakeBlog.js   

Посмотрим, что из этого получится...

Андрей Владимирович Куров - преподаватель из МГТУ имени Баумана с очень необычной манерой говорить.

Далее - попытка сделать перевод того, что он говорит.

1.1. ЯГУ́
1.2. Я ЖГУ Я говорю / Я же говорю. Обычно используется в начале или конце предложения, иногда не несёт смысловой нагрузки.
2. Я ГЫЛ Я говорил. Обычно используется в середине предложения, иногда не несёт смысловой нагрузки.
3.1. ЮРИВТИ́ФЫЧЬ.
3.2. ЮРДИ́ЧЬ.
3.3. ЕВТИИ́ЧЬ.
3.4. ЕБВЗДИ́ЧЬ.
3.5. БВЗБВЗДИ́ЧЬ.
3.6. *****ДИ́ЧЬ. Преподаватель кафедры ИУ-7 Алексеев Юрий Евтихович. Варианты приведены в порядке возрастания эмоциональности и уменьшения умственной активности. Последний вариант не поддаётся расшифровке.
4. КЛЫАТУ́РА Клавиатура. Устройство ручного ввода информации в персональный компьютер.
5. КАА́́ Когда. Употребляется в начале предложения, иногда не несёт смысловой нагрузки.
6. ДА Когда. Употребляется в конце предложения, иногда не несёт смысловой нагрузки. Бывает частью составных выражений вроде НУДА́, означающего "ну когда".
7. В ОБЩА́ГЕ Вообще говоря. Далее обычно следует очередь гласных звуков, количество которых свидетельствует об уровне умственного развития говорящего
8. ПАССА́ЛЬ Pascal. Компилируемый язык программирования, изобретённый Никлаусом Виртом в 1970-м году. Используется в IDE Delphi. Изучается по программе первого курса кафедры ИУ-4 МГТУ имени Н.Э. Баумана.
9. ЙЕНТ End. Оператор конца блока в языке Pascal.
10. ВЫ́НЮ! Выгоню! Восклицание, применяемое в состоянии эмоционального возбуждения. Часто применяется не к месту.
11. CЪЕ́МА Схема. Довольно умное слово.
12. АЛАРИ́ТУМ Алгоритм. Последовательность действий, направленная на получение необходимого результата.
13. ПРОАГАИ́РОАНИЕ Программирование. Процесс создания исходного кода программ, компилируемого в итоговое приложение.
14. ПШВО! Пошёл вон! Обычно следует через несколько минут после слова, указанного в пункте №10.
15. ЩО Ещё. Чаще всего встречается в словосочетании ШОЩО, обозначающем "что ещё".
16. АА́ЧЕМ? А зачем? Обычно используется в процессе завала студентов на лабораторных работах или экзаменах.
17. ИЗТОШО́ Из того, что. Крайне интеллектуальное выражение.
18.1 И́ЦА.
18.2 КАКЫ́ЦА.
18.3 НЕГЫ́ЦА. Говорится, как говорится, не говорится. Вставляется в предложение тогда, когда мозг говорящего не может догнать до смысла говорённого.
19. АЧЁ́ЭТО ТАО́Е? А что это такое? Обычно используется в процессе завала студентов на лабораторных работах или экзаменах.
20. ВЫ́ССИ ЗАО́БКУ! Вынеси за скобку! Применяется тогда, когда преподаватель не хочет принимать лабораторную работу студента в настоящий момент.
21. НЕПЫА́ЙТЕ АДУ́ЙТЕ! Не проверяйте, а думайте! Применяется в случае длительного дебага лабораторной работы студентом.
22. АДЕ́ ТЫЭ́ТО ПОЧИТА́Л? А где ты это прочитал? Обычно используется в процессе завала студентов на лабораторных работах или экзаменах.
23. ДУБА́ЙЕР. Дебаггер. Средство отладки программ в IDE.
24. РИИТАТИ́Л. Repeat until. Оператор цикла с постусловием в языке Pascal.
25.1 ПАГАА́МА.
25.2 ПАПАГАА́МА. Программа, подпрограмма.
26. СОСАМА́ИЦЫ. Свойства матрицы. Употребляется чаще всего там, где матрицы нету вовсе.
27.1 АОМЕ́РНЫЙ.
27.2 ДУМЕ́РНЫЙ. Одномерный, Двумерный. Обычно используется применительно к массивам.
28. ГАДЕО́Б. Гардероб. С наибольшей частотой произносится в первые 15 минут пары.
29. ССАСА́Л. Сказал. Одно из немногих слов, всегда употребляемых там, где надо.
30. СУКИВШКА́Ф! Сумки убрать в шкаф. Обычно находится в одном потоке слов вместе со словом, указанным в пункте №28.
31. НАЧТ. Значит. Чаще всего обозначает начало очередного потока слов.
32. РАССО́ИМСЯ. Расходимся. Последняя фраза на паре.
33. ФУРЫ́ЧЬ. For each. Процедура языка Pascal для работы с множествами.
34. КАДВА́ТАЯ. Квадратная. Чаще всего используется примениельно к матрице.
35. БЫКА́ТАЯ. B[k]. Обычно - про элемент множества.
36. ЛОХМА́ТАЯ МА́ИЦА. Лохматая матрица. Матрица, у которой при выводе на экран в виде таблицы получается неровный правый край.
37. ДИНОЗА́УР ПОАГАИ́РОАНИЯ. Динозавр программирования. Программист с опытом работы более 30 лет.
38. СТАРИЧКИ́. Преподавательский состав МГТУ им. Н. Э. Баумана.
39. БОРМО́ЧУТ. Преподают. Обычно используется применительно к СТАРИЧКАМ.
40. ДВО́ИШНИК. Студент кафедры ИУ-4. Надо воспринимать не как характеристику, а как ссылку.
41. КАСТА́ТА. Константа.
42. ПЬЕЭ́ННАЯ. Переменная.
43. ВАРЕ́БЕЛ. Variable.
44. МУ́ЙЕСТВО. Множество. Тип данных, включающий в себя несколько однотипных элементов
45. НУА́ЙТЕ! Ну давайте! Проявление снисходительности и/или доброй воли и/или побуждение к действию.
46. МЕТАБОЩА́. Метод борща. Вольное переименование пузырькового метода сортировки.
47. КАКА́Т. Concat. Функция языка Pascal для строковых переменных.
48.1 САКА́
48.2 ПАСАКА.́ Строка, подстрока. Тип данных в языке Pascal.
49. РИСА́ЛЬТ Result. Псевдопеременная для записи результата работы функции в языке Pascal.
50. КА́ЧАСТЕ В качестве. Очень высокоинтеллектуальное выражение.
51. ПРО́СТО Я АМГЫ́Л Просто я Вам говорил. Крайне неоднозначное выражение. По неопытности можно принять за оправдание.