Wednesday, March 16, 2016

Board Resets due to High Temperature


Summary: In V800R008 and earlier versions, the MA5683T and MA5603T, if working in the automatic 
fan speed adjustment mode, read the air intake vent temperature as a reference temperature for fan speed 
adjustment. The air intake vent temperature is usually the ambient temperature, which is low. As a result,
 fans are running at low speed and cannot meet heat dissipation requirements. The possibility of board resets due to high temperature increases.
Moreover, finish fan tray replacement within a proper period (less than 3 minutes from removal of the original fan tray to the insertion of a new fan tray as suggested by the product manual). If the replacement takes too 
long time, ineffective heat dissipation of equipment may occur, causing high risks of board resets due to high 
temperature. 
[Problem Description]
Trigger conditions:
The MA5683T/MA5603T products are involved.
The software version is V800R008 or an earlier version.
Fans work in the automatic speed adjustment mode.
If all the above three conditions are met, poor board heat dissipation is prone to occur and there are risks of board resets due to high temperature.
Symptom:
The equipment or NMS has high temperature alarms for boards. Board resets and service interruptions or 
even repeated board resets and service interruptions may occur.
Identification method:
Check whether fans are blocked. If high temperature is confirmed to cause the boards resets, query board 
temperature to see whether it is over high (recommended board temperature: 65°C or lower). Meanwhile,
check whether fans work in the automatic speed adjustment mode.
Run the display fan alarm command to check whether fans are blocked.
MA5603T(config-if-fan-0)#display fan alarm                                      
  EMU ID: 0                                                                     
  ----------------------------------------------------------------------------  
  Alarm name                    Alarm state                                     
  ----------------------------------------------------------------------------  
  Read temperature fault        Normal                                          
  Fan block                     Normal                                          
  Temperature abnormal          Normal                                          
  Power fault                   Alarm                                           
 ----------------------------------------------------------------------
Run the MA5603T (diagnose)%%display reset-record command to check for historical alarms of boards. 
The board reset and high-temperature alarm logs are as follows:
------------------------------------------------------------------------            
  05-04 09:57:13  Frame 0  Slot 8  Line:3085                
  Reset reason:The board is reset when the link is faulty.                
  Stack info: 0x03474ef8  0x0349582c
  ----------------------------------------------------------------------------                 
  05-04 09:56:23  Frame 0  Slot 16  Line:1207                
  Reset reason:The board or LSW port is powered off due to high-temperature 
protection of the main control board                
  Stack info: 0x03474ef8  0x03461388
  -----------------------------------------
Run the MA5603T(config)#display temperature 0/slotid command to query the board temperature.
Run the MA5603T(config-if-fan-0)#display fan speed mode command to query the working mode of fans.
[Root Cause]
The heat dissipation design for fan trays of the MA5683T/MA5603T is at the early version planning phase. The fan trays are intended for low-power boards. With the development and application of high-density, large-capacity, and high-power boards, the fan speed adjustment policy of the MA5683T and MA5603T of V800R008 or an earlier version is inadequate.
In V800R008 and earlier versions, the MA5683T and MA5603T, if working in the automatic fan speed 
adjustment mode, automatically adjust the fan speed according to the temperature of the air intake vent on 
the equipment. The temperature of the air intake vent on the equipment is close to the ambient temperature 
(lower than the board temperature). As a result, fans work at a low speed most of the time. 
In this case, heat cannot be properly dissipated from the equipment and boards work at high temperature, 
causing board resets and service interruptions.
Fan tray of the MA5683T and MA5603T

[Impact and Risk]
In summer, the ambient temperature is high. If the equipment configuration or service load is high, board 
resets in the problem description may occur, causing service interruptions.
[Measures and Solution]
Recovery measures:
Set the fan speed adjustment mode to the manual mode, and adjust speed levels.
For V800R008 and earlier versions, fans in the manual mode can only be adjusted to a fixed rotation speed. Fan speed levels range from 0 to 5. Level 0 indicates a 50% rotation speed. The increase of a level means 
a 10% increase of the rotation speed. The maximum rotation speed is 100%. It is recommended that you 
set the fan speed to level 2 or 3. Observe the board temperature for a period of time. If the board 
temperature stays at about 65°C, the fan speed is suitable.
Run the following commands to query the fan tray parameters:
MA5603T(config)#interface emu 0
MA5603T(config-if-fan-0)#display fan system parameter
EMU ID: 0                                                                     
  FAN configration parameter:                                                   
  ----------------------------------------------------------------------------  
  FAN timing mode: Manual timing                                                
  FAN speed level: 1                                                            
  ----------------------------------------------------------------------------  
  Alarm_name                        Permit/Forbid                               
  Read temperature fault                Permit                                  
  Fan block                             Permit                                  
  Temperature high                      Permit                                  
  Power fault                           Permit                                  
  ----------------------------------------------------------------------------
MA5603T(config-if-fan-0)#fan speed mode manual         
MA5603T(config-if-fan-0)# fan speed adjust 2       

Preventive measures:
Periodically clean the subrack air filter and dust on fans to avoid poor heat dissipation.
For MA5683T and MA5603T NEs, query the board temperature. If the board temperature exceeds 65°C, set the fan speed adjustment mode to the manual mode, and adjust speed levels. For details, refer to the 
recovery measures above.
Solution: 
Upgrade the equipment version to V800R009 or later. In V800R009 and later versions, the MA5683T and MA5603T, if working in the automatic fan speed adjustment mode, automatically adjust the fan speed 
according to the board temperature.
[Relevant Maintenance Precautions] (Not Directly Related to the Warning Above)
Time Constraints on Fan Tray Replacement
If a fan tray is removed for cleaning or replacement, large-power components on boards heat apparently and board temperature rises fast. To prevent abnormal board resets due to high temperature, finish the fan tray replacement within a proper period.
As described by the following precautions for operation guidance of the relevant product manual, the time used for replacing a fan tray is suggested to be within 3 minutes.


[Rectification Scope and Time Requirements]
N/A
[Attachment]
N/A



More blog:


How to change the MA5600T Boards


No comments:

Post a Comment