Siempre los parámetros de configuración de dfs.namenode.handler.count

Always Configuration Parameters Dfs

El fallo de este artículo, aunque utilizando el método por lotes inició el nodo DN, evitando la aparición de problemas de reinicio de la memoria HDFS. Pero una solución temporal, el riesgo aún existe. Para que esta curación de enfermedades incurables fundamentalmente, debemos partir de los demás parámetros de configuración.

Al final, una configuración de bloqueo de los parámetros dfs.namenode.handler.count. Veamos su interpretación.
NameNode hay un grupo de subprocesos de trabajo para manejar las llamadas de los clientes, el demonio de llamadas a procedimientos remotos y los clústeres. Cuanto mayor sea el número de procedimientos de procesamiento, mayor será el grupo para manejar operaciones de metadatos de latidos simultáneos y clientes de diferentes DataNode concurrentes. Para un clúster grande o un clúster de un gran número de clientes, generalmente es necesario aumentar los parámetros dfs.namenode.handler.count El valor predeterminado de 10. El valor establecido de principios generales se establece como un número natural multiplicado por 20 para el tamaño del clúster. , es decir, 20logN, N es el tamaño del grupo.
Si el valor se establece demasiado pequeño, la situación es, obviamente, DataNode NameNode siempre cuando se deniega el tiempo de espera de la conexión o la conexión, pero la llamada de procedimiento remoto de NameNode cuando la cola es grande, el retraso de la llamada de procedimiento remoto aumentará. Si influye en los otros síntomas, es difícil decir que las modificaciones dfs.namenode.handler.count resolverán el problema, pero al solucionar problemas, es necesario verificar la configuración de este valor.



Encontramos en el cluster, este parámetro se modifica mucho el personal de mantenimiento local, llegando a 4000, es decir, configurar un grupo de subprocesos, puede acomodar 4000 subprocesos, por lo que al momento de enviar mensajes, para acomodar la cantidad de información aquí es muy grande, eventualmente lo que provoca un desbordamiento de la memoria. Por lo tanto, este valor se puede ampliar, pero no se puede agregar demasiado. Cuanto con Hay fórmulas



|_+_|