CNMCyber Usable

CNM Cloud Usable (in the Russian-language version, known as Работы над Облаком) is the fourth, current, phase of the CNM Cloud Project. CNM Cloud (hereinafter - the Cloud) is a set of technologies that supports CNM Cyber. This very wikipage presents the primary list of those endeavors that are included in that phase. CNM Cyber Project Coordinators (hereinafter, the Coordinators) are invited to organize work on its endeavors.

Trivia

Projects vs operations

The endeavors include:

• Projects undertaken to develop new systems to be deployed at the Cloud.
• Operations undertaken to sustain productive functions of deployed systems of the Cloud.

Cloud layers

1. CNM Farms. The Cloud infrastructure or, in other words, ecosystem of computing servers and cloud OS to support both Opplet and CNM apps.
2. Opplet. The enterprise-wide utility software that supports CNM apps regardless of their location of those applications in the Cloud.
3. CNM apps. End-user applications of the Cloud.

Farms

CNM Farms (hereinafter, the Farms) present the infrastructure for the functioning of both the CNM apps and Opplet that serves those apps.

Farms' administration

For the purposes of this wikipage, the Farms' administration refers to those endeavors that are utilized or can be used on several rather than one individual Farm:

• Integration for CNM Cloud. Development of CNM Cloud Integration that is based on exploring the possibilities of integrating the Cloud, such as using Jenkins and Kafka, and adding VPNs, such as integrating email services across the Farms.
• Configuration for CNM Cloud. Development of CNM Cloud Configuration that is based on exploring the possibilities of adding the ability to automatically create virtual machines, possibly using Terraform and Ansible.
• Statistics for CNM Cloud. Development of CNM Cloud Statistics that is based on exploring the possibilities of using ZooKeeper and log management.
• Revisions for CNM Cloud. Development of CNM Cloud Revisions that aims to build the system of periodic revisions of the Cloud.

Authorized endeavors related to the Farms' administration

Endeavors	Integration	Configuration	Statistics	Revisions
Business requirements
Product prototypes
User requirements
Work requirements
Technical requirements
Endeavor consent
Utility
Applicability
Controllability

Database management

For the purposes of this wikipage, database management refers to those endeavors that are related to databases of the Cloud:

• MariaDB for CNM Cloud. Further development of CNM MariaDB to explore using additional tools such as MariaDB MaxScale and MariaDB xPand in the existing MariaDB cluster of the Cloud.
• PostgreSQL for CNM Cloud. New development of CNM PostgreSQL to create a cluster of PostgeSQL databases of the Cloud. In general, linking similar databases with each other may make their functioning more stable.
• DBs for Opplet. Further development of Opplet DB to optimize existing databases of Opplet and to add new databases that can be shared by CNM apps. New databases, for instance, can manage the data of the customers to be taken from and shared with CNM Venture and CNM Linkup.
• Ceph for CNM Cloud. Further development of CNM Bureau DB to document and optimize it.

Authorized endeavors related to database management

Работы	MariaDB	PostgreSQL	Opplet (DBs)	Ceph
Business requirements
Product prototypes
User requirements
Work requirements
Technical requirements
Endeavor consent
Utility
Applicability
Controllability

DNS management

For the purposes of this wikipage, DNS management refers to those endeavors that are utilized or can be used to manage DNS of the Cloud:

• CDN в Облаке -- изучение возможности использования функционала content delivery network или CDN для некоторой прилады the Cloud.
• DNSSEC в Облаке -- изучение возможности добавки к какой-то части the Cloud функционала DNSSEC.
• Geocast в Облаке -- изучение возможности добавки к какой-то части the Cloud функционала Geocast.
• IPv6 в Облаке -- перевод DNS the Cloud, кроме общественных доступов, на протокол IPv6.
• Ревизия DNS -- ревизия всех DNS записей the Cloud.

CDN in the Cloud -- exploring the possibility of using the content delivery network or CDN functionality for some of the Cloud's applications.

    DNSSEC in the Cloud -- exploring the possibility of adding DNSSEC functionality to some part of the Cloud.
    Geocast in the Cloud -- exploring the possibility of adding Geocast functionality to some part of the Cloud.
    IPv6 in the Cloud -- Migration of the Cloud's DNS, except for public access, to IPv6.
    DNS Revision -- A revision of all the Cloud's DNS records.

Authorized endeavors related to DNS management

Endeavors	CDN	DNSSEC	Geocast	IPv6	Ревизия DNS
Business requirements
Product prototypes
User requirements
Work requirements
Technical requirements
Endeavor consent
Utility
Applicability
Controllability

Support tools

For the purposes of this wikipage, support tools refer to those software development and sysadmin administrative tools that are (a) listed at https://github.com/kahun/awesome-sysadmin and (b) not mentioned in other sections of the endeavors:

• Панели управления для Облака -- построение Панелей управления в Облаке на базе изучения возможности добавления VestaCP, а также использования Cachet.
• Рабочие среды для Облака -- построение Рабочих сред в Облаке на базе изучения возможности добавления Eclipse.

Control Panels for the Cloud -- building Control Panels in the Cloud based on exploring the possibility of adding VestaCP, as well as using Cachet.

    Cloud Workspaces -- building Cloud Workspaces based on exploring the possibility of adding Eclipse.

Authorized endeavors related to support tools

Endeavors	Панели управления	Рабочие среды
Business requirements
Product prototypes
User requirements
Work requirements
Technical requirements
Endeavor consent
Utility
Applicability
Controllability

Node clusters

For the purposes of this wikipage, node clusters refers to clusters of nodes that are utilized or can be used to build the Farms. The four Farms are made up of clustered nodes. Each cluster must have at least one (a) entrance, which for highly available Farms includes a load balancer on a public web address, (b) synchronization of resources of common individual nodes, at least databases, (c) monitoring, ( d) security, including firewalls; and (e) backup and recovery systems:

• Работа над Деловой -- это проекты развития и поддержания Деловой Фермы. В настоящее время, кластер на основе трёх "железных" серверов принят у подрядчика после сборки и добавки функционала высокой доступности. Затем сюда будет перенесено содержимое прилад. Не решены вопросы (а) входа по IPv4, (б) безопасности за пределами iptables, (в) добавления NAS и продвинутого резервного копирования и восстановления, а также (г) продвинутого мониторинга. В качестве оптимизации расходов, рассматривается вопрос замены одного "железного" сервера на сервер Опытной Фермы.
• Работа над Кампусной -- это проекты развития и поддержания Кампусной Фермы. В настоящее время, собран кластер из трёх виртуальных частных серверов, базы данных которых синхронизированы, и для них заказывается функционал высокой доступности, включая (а) вход, (б) мониторинг, (в) безопасность и (г) система резервного копирования и восстановления. К одному из серверов также подключено дополнительное хранилище, которое предполагается переделать на NAS.
• Работа над Опытной -- это проекты развития и поддержания Опытной Фермы. В настоящее время, находится в неопределённом положении. Формально, она состоит из двух "железных" серверов, однако они фактически не включены в работу. Из всех Farms, эта -- единственная, которая не требует функционала высокой доступности из-за эксперементальной природы установленных на ней приложений. Из-за отсутствия высокой доступности, эта ферма потребует продвинутую систему резервного копирования и восстановления.
• Работа над Оплётной -- это проекты развития и поддержания Оплётной Фермы. В настоящее время, состоит из двух виртуальных частных серверов, которые между собою не синхронизированы. Ожидается, что часть наработок Кампусной Фермы будет использованы здесь.

Ранее, использовалось частное облако построенное на OpenStack. Оно было закрыто из-за высокой стоимости и низкой в то время загруженности. Развитие проекта может потребовать перевода части ресурсов the Farms на облачное решение снова. В последнее время, популярным также стал Apache CloudStack. Eсли таковое решение будет принято, необходимо будет решить, какой пакет обеспечения задействовать и будет ли это развитием Опытной или Оплётной Фермы.

Work on the Delovaya is projects for the development and maintenance of the Delovaya Farm. Currently, a cluster based on three "iron" servers has been accepted from the contractor after assembly and adding high availability functionality. Then the contents of the attachment will be transferred here. Issues of (a) IPv4 login, (b) security outside of iptables, (c) adding NAS and advanced backup and recovery, and (d) advanced monitoring remain unresolved. As a cost optimization, the issue of replacing one "iron" server with an Experimental Farm server is being considered.

       Work on the Campus is a project to develop and maintain the Campus Farm. Currently, a cluster of three virtual private servers is assembled, the databases of which are synchronized, and high availability functionality is ordered for them, including (a) login, (b) monitoring, (c) security, and (d) backup and recovery system. One of the servers is also connected to additional storage, which is supposed to be converted to NAS.
       Work on the Experimental Farm is a project to develop and maintain the Experimental Farm. Currently, it is in an uncertain position. Formally, it consists of two "iron" servers, but they are not actually included in the work. Of all the Farms, this one is the only one that does not require high availability functionality due to the experimental nature of the applications installed on it. Due to the lack of high availability, this farm will require an advanced backup and recovery system.
       Work on the Weave Farm is a project to develop and maintain the Weave Farm. Currently, it consists of two virtual private servers that are not synchronized with each other. It is expected that part of the developments of the Campus Farm will be used here.

   Previously, a private cloud built on OpenStack was used. It was closed due to high cost and low workload at the time. The development of the project may require the transfer of some of the Farms resources to the cloud solution again. Recently, Apache CloudStack has also become popular. If such a decision is made, it will be necessary to decide which support package to use and whether it will be the development of a Experimental or Braided Farm.

Authorized endeavors related to node clusters

Endeavors	Над Деловой	Над Кампусной	Над Опытной	Над Оплётной
Business requirements
Product prototypes
User requirements
Work requirements
Technical requirements
Endeavor consent
Utility
Applicability
Controllability

Opplet

Разработку Оплёта можно разбить на две группы:

1. Услуги приладам -- это усилия по построению тех федерационных услуг, которые Оплёт предоставляет пользовательским приложениям.
2. Услуги пользователям -- это усилия по построению тех услуг, которые Оплёт предоставляет конечным пользователям.

Усилия по переделке Оплёта на кластер относятся к проектам связок баз.

App-oriented

For the purposes of this wikipage, app-oriented Opplet refers to those endeavors that are utilized or can be used on several rather than one individual Farm:

• Перевод Оплёта на WSO2 IS -- перевод Оплёта с использования OpenLDAP в его коммуникации с приладами на использование WSO2 IS. OpenLDAP не позволяет осуществить услугу "технологии единого входа" (single sign-on или SSO). Кроме того, созидатели the Cloud столкнулись с проблемой изменения ролей в OpenLDAP.
• Регистрация Оплёта на курсы -- перевод регистрации на курсы участников Bskol из Учебки в Оплёт. Регистрация на курсы в Учебке сегодня осуществляется через инструмент cron, который имеет задержку срабатывания. Однако главная проблема, которую надо решить, -- это регистрация участников в учебных системах, которые отличаются от Учебки.
• Почтовый агрегатор Оплёта -- федерализация отдельных почтовых агентов различных приложений.
• Регистрация Оплёта в приладах -- добавление приладам функции регистрации пользователей в Оплёте. В данный момент, пользователь должен предварительно зарегистрироваться в Оплёте для того, чтобы пользоваться продвинутыми услугами прилад.
• Роли Оплёта -- добавление функции автоматического изменения ролей Оплёта в зависимости от завершения курсов и определённых элементов курсов на Учебке. В данный момент, роли в Оплёте изменяются только администраторами вручную.
• Склады Оплёта -- добавление федеративных баз данных и хранилищ в Оплёт и синхронизация хранения данных по всему the Cloud. Прежде всего, эта федерация касается данных клиентов для Справы и Связки. Ранее, обсуждалась возможность использования MongoDB для хранения данных, MuleESB для их сбора и Apache Hadoop для "причёсывания". В дополнение, шёл разговор об включении будущего вики-склада для хранения картинок используемых в Брацкой Правке в Оплёт. Ещё одной идеей было задействование Брацкой Крынки в хранении файлов.
• Тестовый агрегатор Оплёта -- перенос блока банка вопросов из Учебки в Оплёт.

Transition of Oplet to WSO2 IS -- transition of Oplet from using OpenLDAP in its communication with attachments to using WSO2 IS. OpenLDAP does not allow "single sign-on" (SSO) service. In addition, the creators of the Cloud faced the problem of changing roles in OpenLDAP.

   Registration of Oplet for courses - transfer of registration for courses of Bskol participants from Uchebka to Oplet. Registration for courses in Uchebka today is carried out through the cron tool, which has a response delay. However, the main problem to be solved is the registration of participants in training systems that are different from Training.
   Oplet mail aggregator -- federation of separate mail agents of various applications.
   Registration of Oplet in Appliances -- adding the function of registering users in Oplet to attachments. At the moment, the user must first register with Opleta in order to use the advanced add-on services.
   Opleth Roles -- Adding a feature to automatically change Opleth roles based on completion of courses and certain elements of Courses in Training. At the moment, roles in the Opleth are only changed manually by administrators.
   Oplet Warehouses -- Add federated databases and storage to Opleth and sync data storage across the Cloud. First of all, this federation concerns the data of the clients for the Right and the Bundle. Earlier, the possibility of using MongoDB for data storage, MuleESB for data collection and Apache Hadoop for "combing" was discussed. In addition, there was talk of including a future wiki store for storing pictures used in Bratskaya Edit in Oplet. Another idea was to involve Bratska Krynka in file storage.
   Oplet test aggregator -- transfer of the block of the bank of questions from Uchebka to Oplet.

Authorized endeavors related to app-oriented Opplet

Endeavors	Идентификация	Курсы	Почтовый агрегатор	Регистрация	Роли	Склады	Тесты
Business requirements
Product prototypes
User requirements
Work requirements
Technical requirements
Endeavor consent
Utility
Applicability
Controllability

User-oriented

For the purposes of this wikipage, user-oriented Opplet refers to those endeavors that are utilized or can be used on several rather than one individual Farm:

• Интерфайс Оплёта -- обновление интерфейса opplet.net до лучше выглядещего и более удобного для пользователей.
• Мероприятия Оплёта -- добавление функции управления участия в мероприятиях организованных в рамках проекта Bskol.
• Почта корпоративная -- доведение услуг почты Оплёта от минимально-жизнеспособного продукта до готового изделия.
• Рассылки Оплёта -- добавление функции подписки на рассылки и отписки от них.

Opplet Interface -- Updated the opplet.net interface to look better and be more user friendly.

    Oplet Events -- adding the function of managing participation in events organized within the framework of the Bskol project.
    Corporate mail -- bringing the services of the Oplet mail from a minimally viable product to a finished product.
    Oplet's Mailing Lists -- adding the function of subscribing to mailing lists and unsubscribing from them.

Authorized endeavors related to user-oriented Opplet

Endeavors	Интерфейс	Мероприятия Оплёта	Почта корпоративная	Рассылки
Business requirements
Product prototypes
User requirements
Work requirements
Technical requirements
Endeavor consent
Utility
Applicability
Controllability

Apps

Усилия по построению пользовательских приложений, которые включены в существующую и могут потенциально быть включены в технологию перспективную. Для всех, надо:

1. Обновлять все приложения до последних стабильных версий и устанавливать свежие патчи, если и когда они появляются в наличии. Основное требование для любого приложения -- привязка к нашему WSO2 Identity Server (WSO2 IS). Дополнительное требование для любого приложения -- привязка к нашему OpenLDAP.
2. Документировать то, что у нас есть, и выявлять проблемы.

Efforts to build custom applications that are included in existing and could potentially be included in future technology. For everyone, you need:

    Update all applications to the latest stable versions and install the latest patches if and when they become available. The basic requirement for any application is to be connected to our WSO2 Identity Server (WSO2 IS). An additional requirement for any application is to bind to our OpenLDAP.
    Document what we have and identify problems.

Utilizing MariaDB

For the purposes of this wikipage, utilizing MariaDB apps refer to those endeavors that are utilized or can be used on several rather than one individual Farm:

Пять полных прилад the Cloud используют MariaDB в качестве своих баз данных:

• Работа над Бачками для разработок Брацкой Бачки, её курсовой и будущей версии, а также ПО. В настоящее время, основная прилада установлена, но не используется. Ранее, туда были записаны несколько пробных видео, их судьба в данный момент не известна. Основная прилада, скорее всего, не будет установлена на главном кластере Кампусной Фермы из-за особенностей добавки функционала высокой доступности. Нет решения где и как она будет окончательно установлена.
• Работа над Вебками для разработок Брацкой Вебки, её курсовой и будущей версии, а также ПО. В настоящее время, установленных прилад нет. Предпринималось несколько попыток установки, однако эффективной стратегии борьбы с вирусами найдено не было.
• Работа над Правками для разработок Брацкой Правки, её курсовой и будущей версии, а также ПО. В настоящее время, основная прилада установлена и активно используется. Из-за проблем интеграции с LDAP, версии уже несколько лет не обновляются. Также периодически появляются проблемы с картинками. Почтовый агент либо не подключен, либо не работает.
• Работа над Сетками для разработок Брацкой Сетки, её курсовой и будущей версии, а также ПО. В настоящее время, основная прилада установлена, но используется несистематически. Почтовый агент либо не подключен, либо не работает.
• Работа над Учебками для разработок Брацкой Учебки, её курсовой и будущей версии, а также ПО. В настоящее время, основная прилада установлена и активно используется. Несколько проблем задокументировано на странице Работа над Учебками. Почтовый агент либо не подключен, либо не работает.

Authorized endeavors related to utilizing MariaDB apps

Endeavors	Бачки	Вебки	Правки	Сетки	Учебки
Business requirements
Product prototypes
User requirements
Work requirements
Technical requirements
Endeavor consent
Utility
Applicability
Controllability

Так как приложения существуют не в вакууме, часть усилий по развитию приложений относится к другим группам. Например, к:

• Доменным проектам относится CDN в Облаке.
• Эксперементальным проектам относится LDAP для Правки.

Utilizing non-MariaDB

For the purposes of this wikipage, utilizing non-MariaDB apps refer to those endeavors that are utilized or can be used on several rather than one individual Farm:

• Перевод Крынки на GitLab для разработок Брацкой Крынки, её курсовой и будущей версии, а также ПО. Окончательный перевод Крынки с Redmine на GitLab. В настоящее время, GitLab стоит и несистематически используется, хотя и не на верном веб-адресе. База данных -- PostgreSQL. Тот Redmine, который использовался для Крынки, надо перевести на Опытно Облако.
• Работа над Связками для разработок Брацкой Связки, её курсовой и будущей версии, а также ПО. В настоящее время, не используется вообще. База данных -- PostgreSQL.
• Работа над Справами для разработок Брацкой Справы, её курсовой и будущей версии, а также ПО. В настоящее время, не используется, но есть планы переводить туда отдел кадров и рекрутирование. База данных -- PostgreSQL.
• Устойчивость для Жици для разработок Брацких Жиц, её курсовой и будущей версии, а также ПО. Построение кластера для высокой доступности Брацких Жиц. Основная прилада стоит и, в настоящее время, предпринимаются попытки её использования. База данных неизвестна.

Authorized endeavors related to utilizing non-MariaDB apps

Endeavors	Крынки	Связки	Справы	Жици
Business requirements
Product prototypes
User requirements
Work requirements
Technical requirements
Endeavor consent
Utility
Applicability
Controllability

Experimental

For the purposes of this wikipage, experimental apps refer to those endeavors that are utilized or can be used on several rather than one individual Farm:

Усилия по построению перспективных и популярных ресурсов the Cloud:

• MediaWiki LDAP -- уже много лет, стабильная версия MediaWiki не обновляется из-за конфликта новых версий с нашим плагином LDAP. Однако принято решение о переводе интеграции на WSO2 IS и не ясно, будет ли оставлен LDAP в качестве обязательного.
• OpenEdX -- Moodle решено оставить исключительно под три начальных курса Лестницы к Профессии. Другие курсы, включая языковые, планируется делать на платформе OpenEdX.
• ProjecQtOr -- некогда был установлен для коротких тренингов по ПО для управления проектами.
• Redmine -- некогда использовался для Крынки, сейчас рассматривается возможность оставить для тренинга или в качестве "музейного" экспоната.
• Taiga -- некогда был установлен для коротких тренингов по ПО для управления проектами.

Authorized endeavors related to experimental apps

Endeavors	MediaWiki LDAP	OpenEdX	ProjecQtOr	Redmine	Taiga
Business requirements
Product prototypes
User requirements
Work requirements
Technical requirements
Endeavor consent
Utility
Applicability
Controllability

Enterprise

Venture administration

For the purposes of this wikipage, venture administration refers to those endeavors that are utilized or can be used on several rather than one individual Farm:

• Кадры для Облака -- построение Кадров Облака, отдела кадров и практик по обслуживанию существующего персонала.
• Организация для Облака -- построение Организации Облака, структуры организации стоящей за the Cloud.
• Финансы для Облака -- построение Финансов Bskol, финансового учёта и отчётности, а также управления финансами.
• Юридическое для Облака -- построение Юридических аспектов Облака, юридического оформления деятельности Облака.

Authorized endeavors related to enterprise administration

Endeavors	Кадровое	Организационное	Финансовое	Юридическое
Business requirements
Product prototypes
User requirements
Work requirements
Technical requirements
Endeavor consent
Utility
Applicability
Controllability

External operations

For the purposes of this wikipage, enterprise external operations refer to those endeavors that are utilized or can be used on several rather than one individual Farm:

• Индустрия для Облака -- построение Слежения за индустрией Облака, системы по сбору данных об индустриях the Cloud, их новостях и тенденциях, изучению этих данных, сравнение организации работы с the Cloud с общими тенденциями и выработки предложений по измемениям в работе с the Cloud.
• Разработчики для Облака -- построение Работы с разработчиками Облака.
• Технологии для Облака -- построение Слежения за технологиями Облака, системы по сбору данных о технологиях на рынках the Cloud, их новостях и тенденциях, изучению этих данных, сравнение предложений the Cloud с предложениями конкурентов и выработки предложений по измемениям в the Cloud.
• Техподдержка для Облака -- построение Службы техподдержки Облака
• Эксплуатационщики для Облака -- построение Работы с эксплуатационщиками Облака.

Authorized endeavors related to enterprise external operations

Endeavors	Индустрия	Разработчики	Технологии	Техподдержка	Эксплуатационщики
Business requirements
Product prototypes
User requirements
Work requirements
Technical requirements
Endeavor consent
Utility
Applicability
Controllability

Stakeholder groups

For the purposes of this wikipage, stakeholder groups refer to those endeavors that are utilized or can be used to manage groups of the Cloud stakeholders:

• Комитеты для Облака -- построение Ценных Облаку комитетов
• Советы для Облака -- построение Ценных Облаку советов
• Пользователи для Облака -- построение Групп пользователей Облака
• Сисадмины для Облака -- построение Сообщества Сисадминов‎.

Authorized endeavors related to stakeholder groups

Endeavors	Комитеты	Советы	Пользователи	Сисадмины
Business requirements
Product prototypes
User requirements
Work requirements
Technical requirements
Endeavor consent
Utility
Applicability
Controllability