added layers, synapses, neurons

kb/sd_algorithms_and_functions/concept_hyperbolic_tangent_function.scs

@@ -0,0 +1,7 @@
+concept_hyperbolic_tangent_function
+
+	=> nrel_main_idtf:
+	[функция гиперболического тангенса](* <-lang_ru;; *);
+	[hyperbolic tangent function](* <-lang_en;; *);;
+
+concept_hyperbolic_tangent_function <-rrel_explored_concept: section_subject_domain_of_algorithms_and_functions;;

kb/sd_algorithms_and_functions/concept_relu_function.scs

@@ -0,0 +1,7 @@
+concept_relu_function
+
+	=> nrel_main_idtf:
+	[функция ReLU](* <-lang_ru;; *);
+	[relu function](* <-lang_en;; *);;
+
+concept_relu_function <-rrel_explored_concept: section_subject_domain_of_algorithms_and_functions;;

kb/sd_algorithms_and_functions/concept_sigmoid_function.scs

@@ -0,0 +1,7 @@
+concept_sigmoid_function
+
+  => nrel_main_idtf:
+  [сигмоидная функция](* <-lang_ru;; *);
+	[sigmoid function](* <-lang_en;; *);;
+
+concept_sigmoid_function <- rrel_explored_concept: section_subject_domain_of_algorithms_and_functions;;

kb/sd_algorithms_and_functions/concept_softmax_function.scs

@@ -0,0 +1,6 @@
+concept_softmax_function
+
+  =>nrel_main_idtf:
+  [softmax function](* <-lang_en;;  *);;
+
+concept_softmax_function <-rrel_explored_concept: section_subject_domain_of_algorithms_and_functions;;

kb/sd_algorithms_and_functions/concept_threshold_function.scs

@@ -0,0 +1,4 @@
+concept_threshold_function=>nrel_main_idtf:[threshold function](* <-lang_en;; *);;
+concept_threshold_function=>nrel_main_idtf:[пороговая функция](* <-lang_ru;; *);;
+
+concept_threshold_function<-rrel_explored_concept: section_subject_domain_of_algorithms_and_functions;;

kb/sd_algorithms_and_functions/nrel_activation_function.scs

@@ -6,14 +6,30 @@ nrel_activation_function=>nrel_idtf:[функция возбуждения](* <-
 		=> nrel_main_idtf: [Опр.(функция активации*)](* <- lang_ru;; *);;
 		<= nrel_sc_text_translation:...
 		(*
-			-> rrel_example: [Функция активации - взаимно-однозначное соответствие, областью определения которого являются множество нейронных узлов предыдущего слоя, а областью значений - множество сигналов текущего слоя, преобразованного по заданной формуле.](* <- lang_ru;; *);;
+			-> rrel_example: [Функция активации* - взаимно-однозначное соответствие, областью определения которого являются множество нейронных узлов предыдущего слоя, а областью значений - множество сигналов текущего слоя, преобразованного по заданной формуле.](* <- lang_ru;; *);;
 		*);;
 		-> rrel_key_sc_element: nrel_activation_function;;
 		<= nrel_using_constants :...
 		(*
 			->  nrel_bijective_mapping; concept_neuron_node; nrel_layer; logical_formula;;
 		*);;
 	*);; 
+
+ definition -> ...
+	(*
+		=> nrel_main_idtf: [Опр.(функция активации*)](* <- lang_ru;; *);;
+		<= nrel_sc_text_translation:...
+		(*
+			-> rrel_example: [Функция активации* - неролевое отношение, связывающее формальный нейрон с функцией,
+результат применения которой к взвешенной сумме нейрона определяет его выходное значение.](* <- lang_ru;; *);;
+		*);;
+		-> rrel_key_sc_element: nrel_activation_function;;
+		<= nrel_using_constants :...
+		(*
+			->  nrel_bijective_mapping; concept_neuron_node; nrel_layer; logical_formula;;
+		*);;
+	*);; 
+
  statement -> ...
 	(*
          -> rrel_key_sc_element: nrel_activation_function; nrel_inclusion; concept_neural_network_in_graphical_representation;;
@@ -23,16 +39,27 @@ nrel_activation_function=>nrel_idtf:[функция возбуждения](* <-
 			-> rrel_example: [Механизм любой нейронной сети подразумевает наличие функции активации](* <- lang_ru;; *);;
 		*);;
 	*);; 
-nrel_activation_function => nrel_first_domain: concept_neuron_node;;
- nrel_activation_function => nrel_second_domain: concept_neuron_node;;
- nrel_activation_function=> nrel_definitional_domain:...
+nrel_activation_function => nrel_first_domain: formal_neuron;;
+nrel_activation_function => nrel_second_domain: function;
+
+
+=> nrel_subdividing: {
+	concept_threshold_function;
+  concept_sigmoid_function;
+  concept_hyperbolic_tangent_function;
+  concept_relu_function;
+  concept_softmax_function
+
+};;
+
+ nrel_activation_function => nrel_definitional_domain:...
 	(*
 		<= nrel_combination: number;;
 	*);;
 nrel_activation_function<-oriented_relation; antireflexive_relation; antitransitive_relation; antisymmetric_relation;;
 nrel_activation_function=>nrel_inclusion:radial_basis_activation_function; nrel_linear_threshold_activation_function; nrel_linear_activation_function; nrel_sigmoid_activation_function;
                                          nrel_threshold_activation_function;;
-//done
+																				 
 
 nrel_activation_function<-rrel_explored_concept: section_subject_domain_of_algorithms_and_functions;;
 

kb/sd_algorithms_and_functions/threshold_func.scs

@@ -1,5 +1,5 @@
 sc_node_norole_relation->nrel_threshold_activation_function;;
-nrel_threshold_activation_function=>nrel_main_idtf:[threshlod activation function*](* <-lang_en;; *);;
+nrel_threshold_activation_function=>nrel_main_idtf:[threshold activation function*](* <-lang_en;; *);;
 nrel_threshold_activation_function=>nrel_main_idtf:[пороговая функция активации*](* <-lang_ru;; *);;
 nrel_threshold_activation_function=>nrel_idtf:[активационная функция единого скачка*](* <-lang_ru;; *);;
 definition -> ...

kb/sd_output_data/nrel_output_layer.scs

@@ -3,7 +3,7 @@ nrel_output_layer
 	[выходной слой*]
 	(* <- lang_ru;; *);
 	=>nrel_idtf:
-	[обрабатывающий слой*]
+	[выходной слой*]
 	(* <- lang_ru;; *);
 
 ///////////////////////////////////////////////////////////////////////////////

kb/sd_structure_of_artificial_neural_networks/SD_layers/IGOR14_Kohonen_layer.scs

@@ -1,31 +1,31 @@
-sc_node_norole_relation->Kohonen_layer;;
-Kohonen_layer->nrel_main_idtf:[Kohonen nrel_layer*](* <-lang_en;; *);;
-Kohonen_layer->nrel_main_idtf:[слой Кохонена*](* <-lang_ru;; *);;
+sc_node_norole_relation->nrel_Kohonen_layer;;
+nrel_Kohonen_layer->nrel_main_idtf:[Kohonen nrel_layer*](* <-lang_en;; *);;
+nrel_Kohonen_layer->nrel_main_idtf:[слой Кохонена*](* <-lang_ru;; *);;
  definition -> ...
 	(*
 		=> nrel_main_idtf: [Опр.(слой Кохонена*)](* <- lang_ru;; *);;
 		<= nrel_sc_text_translation:...
 		(*
 			-> rrel_example: [Слой Кохонена - слой нейронной сети Кохонена без нейронов смещения, где наибольший нейронный узел становится единичным, остальные обращаются в ноль.](* <- lang_ru;; *);;
 		*);;
-		-> rrel_key_sc_element: Kohonen_layer;;
+		-> rrel_key_sc_element: nrel_Kohonen_layer;;
 		<= nrel_using_constants :...
 		(*
 			-> concept_context_neuron; nrel_layer; concept_neuron_node; self_organizing_neural_network; unique_existence;;
 		*);;
 	*);; 
-Kohonen_layer => nrel_first_domain: concept_neural_network_in_graphical_representation;;
-Kohonen_layer => nrel_second_domain: number;;
-Kohonen_layer => nrel_definitional_domain:...
+nrel_Kohonen_layer => nrel_first_domain: concept_neural_network_in_graphical_representation;;
+nrel_Kohonen_layer => nrel_second_domain: number;;
+nrel_Kohonen_layer => nrel_definitional_domain:...
 	(*
 		<= nrel_combination:...
 		(*
 			-> concept_neural_network_in_graphical_representation; number;;
 		*);;
 	*);;
-Kohonen_layer<-oriented_relation; antireflexive_relation; antitransitive_relation; antisymmetric_relation;;
+nrel_Kohonen_layer<-oriented_relation; antireflexive_relation; antitransitive_relation; antisymmetric_relation;;
 
-Kohonen_layer<-rrel_explored_concept: section_subject_domain_of_layers;;
+nrel_Kohonen_layer<-rrel_explored_concept: section_subject_domain_of_layers;;
 //done
 
 

kb/sd_structure_of_artificial_neural_networks/SD_layers/IGOR18_Grossberg_layer.scs

@@ -1,22 +1,22 @@
-sc_node_norole_relation->Grossberg_layer;;
-Grossberg_layer->nrel_main_idtf:[Grossberg nrel_layer*](* <-lang_en;; *);;
-Grossberg_layer->nrel_main_idtf:[слой Гроссберга*](* <-lang_ru;; *);;
+sc_node_norole_relation->nrel_Grossberg_layer;;
+nrel_Grossberg_layer->nrel_main_idtf:[Grossberg nrel_layer*](* <-lang_en;; *);;
+nrel_Grossberg_layer->nrel_main_idtf:[слой Гроссберга*](* <-lang_ru;; *);;
  definition -> ...
 	(*
 		=> nrel_main_idtf: [Опр.(слой Гроссберга*)](* <- lang_ru;; *);;
 		<= nrel_sc_text_translation:...
 		(*
 			-> rrel_example: [Слой Гроссберга - слой нейронной без нейронов смещения, где только один нейронный узел отличен от нуля.](* <- lang_ru;; *);;
 		*);;
-		-> rrel_key_sc_element: Grossberg_layer;;
+		-> rrel_key_sc_element: nrel_Grossberg_layer;;
 		<= nrel_using_constants :...
 		(*
 			-> concept_context_neuron; nrel_layer; concept_neuron_node; self_organizing_neural_network; unique_existence; negation;;
 		*);;
 	*);; 
-Grossberg_layer => nrel_first_domain: concept_neural_network_in_graphical_representation;;
-Grossberg_layer => nrel_second_domain: number;;
-Grossberg_layer => nrel_definitional_domain:...
+nrel_Grossberg_layer => nrel_first_domain: concept_neural_network_in_graphical_representation;;
+nrel_Grossberg_layer => nrel_second_domain: number;;
+nrel_Grossberg_layer => nrel_definitional_domain:...
 	(*
 		<= nrel_combination:...
 		(*
@@ -25,16 +25,16 @@ Grossberg_layer => nrel_definitional_domain:...
 	*);;
 statement -> ...
 	(*
-         -> rrel_key_sc_element:  Grossberg_layer; Kohonen_layer; negation; nrel_equal_of_quantities; concept_neuron_node; nrel_mapping;;
+         -> rrel_key_sc_element:  nrel_Grossberg_layer; nrel_Kohonen_layer; negation; nrel_equal_of_quantities; concept_neuron_node; nrel_mapping;;
 		=> nrel_main_idtf: [Утв.(нейронный узел, слой Кохонена*, соответствие*, отрицание, равенство величин*)](* <- lang_ru;; *);;
 		<= nrel_sc_text_translation:...
 		(*
 			-> rrel_example: [Ненулевой нейронный узел слоя Гроссберга ставится в соответствие единичному нейронному узлу слоя Кохонена.](* <- lang_ru;; *);;
 		*);;
 *);;
-Grossberg_layer<-oriented_relation; antireflexive_relation; antitransitive_relation; antisymmetric_relation;;
+nrel_Grossberg_layer<-oriented_relation; antireflexive_relation; antitransitive_relation; antisymmetric_relation;;
 
-Grossberg_layer<-rrel_explored_concept: section_subject_domain_of_layers;;
+nrel_Grossberg_layer<-rrel_explored_concept: section_subject_domain_of_layers;;
 //done
 
 

kb/sd_structure_of_artificial_neural_networks/SD_layers/concept_artificial_neural_layers.scs

@@ -0,0 +1,60 @@
+concept_artificial_neural_network_layer
+// <- sc_node_class;
+<= nrel_inclusion: layer;
+
+	=> nrel_main_idtf:
+	[слой искусственной нейронной сети](* <-lang_ru;; *);
+	[artificial neural network layer](* <-lang_en;; *);
+
+	=> nrel_idtf:
+	[слой и.н.с.](* <-lang_ru;; *);
+	[слой](* <-lang_ru;; *);
+	[множество слоев искусственных нейронных сетей](* <-lang_ru;; *);
+
+	<-rrel_key_sc_element: 
+	Affirmation_of_concept_artificial_neural_network_layer
+		(*
+			-> rrel_key_sc_element: concept_artificial_neural_network_layer;;
+
+			=> nrel_main_idtf: [Примечание(слой и.н.с.)] (* <- lang_ru;; *);;
+
+			<= nrel_sc_text_translation: ...
+				(*
+					-> [Отдельный слой является искусственной нейронной сетью с одним слоем] (* <- lang_ru;; *);;
+					-> [Конфигурация слоя задается типом, количеством формальных нейронов, функцией активации] (* <- lang_ru;; *);;
+					-> [Функция активации слоя является функцией активации всех формальных нейронов этого слоя] (* <- lang_ru;; *);;
+					-> [Описание последовательности слоев и.н.с. с конфигурацией каждого слоя задает архитектуру и.н.с.] (* <- lang_ru;; *);;
+
+				*);;
+		*);
+
+	<-rrel_key_sc_element: 
+	Definition_of_concept_artificial_neural_network_layer
+		(*
+		  <- definition;;
+			<=nrel_sc_text_translation:...
+			(*
+				-> rrel_example: 
+				[<p>
+				<b>Слой и.н.с.</b> - это множество нейронных элементов, на которые в каждый такт времени параллельно
+				поступает информация от других нейронных элементов сети.
+				</p>]
+				(*
+				<- lang_ru;; 
+				=> nrel_format: format_html;;
+				*);;
+			*);;
+
+		=>nrel_main_idtf:[Опр. (слой и.н.с.)](* <-lang_ru;; => nrel_format: format_html;;*);;
+		*);
+
+=> nrel_subdividing: {
+concept_convolution_layer_of_an_artificial_neural_network;
+concept_dropout_artificial_neural_network_layer;
+concept_full_link_layer_of_artificial_neural_network;
+concept_layer_of_artificial_neural_networks_of_nonlinear_transformation;
+concept_pooling_artificial_neural_network_layer;
+concept_artificial_neural_network_layer_batch_normalization
+};;
+
+concept_artificial_neural_network_layer<-rrel_explored_concept: section_subject_domain_of_layers;;

kb/sd_structure_of_artificial_neural_networks/SD_layers/concept_artificial_neural_network_layer_batch_normalization.scs

@@ -0,0 +1,5 @@
+concept_artificial_neural_network_layer_batch_normalization
+
+=> nrel_main_idtf:
+	[слой искусственной нейронной сети батч-нормализации](* <-lang_ru;; *);
+	[artificial neural network layer batch normalization](* <-lang_en;; *);;

kb/sd_structure_of_artificial_neural_networks/SD_layers/concept_convolution_layer_of_an_artificial_neural_network.scs

@@ -0,0 +1,32 @@
+concept_convolution_layer_of_an_artificial_neural_network
+
+	=> nrel_main_idtf:
+	[свёрточный слой искусственной нейронной сети](* <-lang_ru;; *);
+	[convolution layer of an artificial neural network](* <-lang_en;; *);
+
+  => nrel_idtf:
+	[свёрточный слой и.н.с.](* <-lang_ru;; *);
+
+<-rrel_key_sc_element: 
+	Definition_of_concept_convolution_layer_of_an_artificial_neural_network
+		(*
+			<-definition;;
+			<=nrel_sc_text_translation:...
+			(*
+				-> rrel_example:
+				[<p>				
+				<b>Свёрточный и.н.с.</b>  - слой, в котором каждый нейрон является сверточным.
+        </p>] 
+				(*
+				<-lang_ru;;
+				=> nrel_format: format_html;;
+			  *);;
+      *);;
+		=>nrel_main_idtf:[Опр. (Свёрточный слой и.н.с).](* <-lang_ru;; => nrel_format: format_html;;*);;
+		*);
+
+	=> nrel_first_domain:concept_artificial_neural_network;
+	=> nrel_second_domain:concept_artificial_neural_network_layer;;
+
+
+  convolution_layer_of_an_artificial_neural_network<-rrel_explored_concept: section_subject_domain_of_layers;;

kb/sd_structure_of_artificial_neural_networks/SD_layers/concept_dropout_artificial_neural_network_layer.scs

@@ -0,0 +1,40 @@
+concept_dropout_artificial_neural_network_layer
+
+	=> nrel_main_idtf:
+	[dropout_artificial_neural_network_layer](* <-lang_en;; *);
+
+	=> nrel_idtf:
+	[слой, реализующий технику регуляризации dropout](* <-lang_ru;; *);
+
+
+	<-rrel_key_sc_element: 
+	Affirmation_of_concept_dropout_artificial_neural_network_layer
+		(*
+			-> rrel_key_sc_element: cconcept_dropout_artificial_neural_network_layer;;
+
+			=> nrel_main_idtf: [Примечание(dropout_artificial_neural_network_layer)] (* <- lang_en;; *);;
+
+			<= nrel_sc_text_translation: ...
+				(*
+					-> [Данный тип слоя функционирует только во время обучения и.н.с.] (* <- lang_ru;; *);;
+
+				*);;
+		*);
+
+    <-rrel_key_sc_element: 
+	Affirmation_of_concept_dropout_artificial_neural_network_layer
+		(*
+			-> rrel_key_sc_element: concept_dropout_artificial_neural_network_layer;;
+
+			=> nrel_main_idtf: [Пояснение(dropout_artificial_neural_network_layer)] (* <- lang_en;; *);;
+
+			<= nrel_sc_text_translation: ...
+				(*
+					-> [Поскольку полносвязные слои имеют большое количество настраиваемых параметров,
+они подвержены эффекту переобучения. Один из способов устранить такой негативный
+эффект — выполнить частичный отсев результатов на выходе полносвязного слоя. На
+этапе обучения техника dropout позволяет отбросить выходную активность некоторых
+нейронов с определенной, заданной вероятностью. Выходная активность “отброшенных”
+нейронов полагается равной нулю.](*<-lang_ru;;*);;
+				*);;
+		*);;

kb/sd_structure_of_artificial_neural_networks/SD_layers/concept_full_link_layer_of_artificial_neural_network.scs

@@ -0,0 +1,42 @@
+concept_full_link_layer_of_artificial_neural_network
+
+	=> nrel_main_idtf:
+	[полносвязный слой искусственной нейронной сети](* <-lang_ru;; *);
+	[full-link layer of artificial neural network](* <-lang_en;; *);
+
+  => nrel_idtf:
+	[полносвязный слой и.н.с.](* <-lang_ru;; *);
+
+<-rrel_key_sc_element: 
+	Definition_of_concept_full_link_layer_of_artificial_neural_network
+		(*
+			<-definition;;
+			<=nrel_sc_text_translation:...
+			(*
+				-> rrel_example:
+				[<p>				
+				<b>Полносвязный слой и.н.с.</b>  - слой, в котором каждый нейрон имеет связь с каждым нейроном предшествующего
+        слоя.
+        </p>] 
+				(*
+				<-lang_ru;;
+				=> nrel_format: format_html;;
+				*);;
+				-> rrel_example:
+				[<p>				
+        <b>Полносвязный слой и.н.с.</b>  - слой, в котором каждый нейрон является полносвязным.
+        </p>] 
+				(*
+				<-lang_ru;;
+				=> nrel_format: format_html;;
+				*);;
+			*);;
+
+		=>nrel_main_idtf:[Опр. (Полносвязный слой и.н.с.)](* <-lang_ru;; => nrel_format: format_html;;*);;
+		*);
+
+	=> nrel_first_domain:concept_artificial_neural_network;
+	=> nrel_second_domain:concept_artificial_neural_network_layer;;
+
+
+  concept_full_link_layer_of_artificial_neural_network<-rrel_explored_concept: section_subject_domain_of_layers;;